Transformerとその周辺

2022年12月のご受講、および、録画販売についてお申し込み受付中です。録画視聴による参加、途中参加も可能。こちらからお申込みいただけます。

講座の概要

“Attention Is All You Need”

これは、2017年に発表されたある論文のタイトルです。この論文で提案されたモデルは、DeepLやGoogle翻訳に代表される機械翻訳の最高精度を叩き出し、この5年間のうちに自然言語処理に収まらず、時系列予測、画像認識にまで制空権を拡大してきました。その名前こそ、Transformerです。

Transformerは、需要予測、テキスト分類、機械翻訳、文章生成、画像分類、物体検出などあらゆる機械学習課題に浸透しつつあります。そこで、この講座ではTransformerを知りたい、使ってみたいという方を対象に

・テキスト分類・画像分類

に絞って、Transformerの仕組みとコーディング例を解説します。

また、事前学習モデルであるBERTの応用や、Attention Mapを用いたTransformerの予測根拠の可視化についても触れます。

前提知識

  • ニューラルネットワークの基本的な知識(CNNなど)
  • PyTorchのコーディング経験(授業中に復習します)

できるようになること

  • Transformer・BERTを用いたテキスト分類
  • ViT、Swin Transformerを用いた画像分類
  • Attention Mapによる予測根拠の可視化

カリキュラム

前半 12月4日(日): Transformerとその応用

前半はニュースに対してそのカテゴリを分類するような「テキスト分類」という課題を例に、Transformerの仕組みを解説し、PyTorchによるコーディング例を紹介します。また、同様の例を用いてBERTとよばれるモデルの紹介やデモを行います。最後に、Attention Mapの可視化によってどの単語に注目して分類結果が決まったのかを推察できる話についてもデモを行います。

後半 12月11日(日) : 画像データへのTransformerの応用

後半は、手書き文字画像に対して書かれている文字ラベルを分類するような「画像分類」という課題を例に、画像データへTransformerを用いてアプローチする方法を2種類紹介します。一つは旧来から使われているVision Transformer (ViT)、もう一つは最近話題のSwin Transformerです。ViTからSwin Transformerにかけて、画像データ特有の性質をTransformerにどう取り込んだのかを解説します。

受講詳細

お申し込み、録画視聴はお申込フォームからお願いします。

本講座の前半(12月4日)は、2021年後期と2022年前期の Deep Learning入門講座 と半分程度内容が重複しております。ご受講いただいた方は、ご了承の上お申込みをお願いいたします。なお、後半(12月11日)のみのお申込みも可能です。

名称Transformerとその周辺
講師内場 崇之
日程

前半:2022年12月4日(日)10:00-15:00

後半:2022年12月11日(日)10:00-15:00

場所

Zoomによるオンライン講座となります。

受講料

全2回 税込34,500円

前半または後半のみ参加 税込各17,250円

※開講スケジュールはこちらから

クレジットカード支払いはこちらのページから。

持ち物

・PyTorchをインストールしたPython言語環境があるPC

・資料は、講師が作成したものを配布して用います。

その他・授業は録画されます。授業終了から2年間オンラインにて見放題となります(ダウンロード不可)。
・動画視聴のみの受講も可能です。お申し込みはページ下部より。アーカイブ視聴全般の詳細はこちら

お申込み

お申し込みは、以下のお申込フォームからお願いします。

    お名前 (必須)


    件名(必須)

    受講回(必須)
    全2回前半のみ後半のみ

    お問合せ内容 詳細

    開講スケジュール

     日曜日
    10:00〜15:00
    第1回12月4日
    第2回12月11日