統計・機械学習講座
スポット講座
Sスタンダード
アーカイブ講座（録画販売中）
Transformerは、需要予測、テキスト分類、機械翻訳、文章生成、画像分類、物体検出などあらゆる機械学習課題に浸透しつつあります。そこで、この講座ではTransformerを知りたい、使ってみたいという方を対象に
・テキスト分類・画像分類
に絞って、Transformerの仕組みとコーディング例を解説します。
また、事前学習モデルであるBERTの応用や、Attention Mapを用いたTransformerの予測根拠の可視化についても触れます。
※アーカイブ講座の動画販売についてお申し込み受付中です。
“Attention Is All You Need”
これは、2017年に発表されたある論文のタイトルです。この論文で提案されたモデルは、DeepLやGoogle翻訳に代表される機械翻訳の最高精度を叩き出し、この5年間のうちに自然言語処理に収まらず、時系列予測、画像認識にまで制空権を拡大してきました。その名前こそ、Transformerです。
Transformerは、需要予測、テキスト分類、機械翻訳、文章生成、画像分類、物体検出などあらゆる機械学習課題に浸透しつつあります。そこで、この講座ではTransformerを知りたい、使ってみたいという方を対象に
・テキスト分類・画像分類
に絞って、Transformerの仕組みとコーディング例を解説します。
また、事前学習モデルであるBERTの応用や、Attention Mapを用いたTransformerの予測根拠の可視化についても触れます。
すうがくぶんかのオリジナルテキスト
デジタルデータ（jupyter）をメール添付にてお送りいたします
前半はニュースに対してそのカテゴリを分類するような「テキスト分類」という課題を例に、Transformerの仕組みを解説し、PyTorchによるコーディング例を紹介します。また、同様の例を用いてBERTとよばれるモデルの紹介やデモを行います。最後に、Attention Mapの可視化によってどの単語に注目して分類結果が決まったのかを推察できる話についてもデモを行います。
後半は、手書き文字画像に対して書かれている文字ラベルを分類するような「画像分類」という課題を例に、画像データへTransformerを用いてアプローチする方法を2種類紹介します。一つは旧来から使われているVision Transformer (ViT)、もう一つは最近話題のSwin Transformerです。ViTからSwin Transformerにかけて、画像データ特有の性質をTransformerにどう取り込んだのかを解説します。
| 講座名 | Transformerとその周辺：機械学習の数理シリーズ |
|---|---|
| 担当講師 | |
| 開講スケジュール |
全2回 |
| 受講方法 |
Zoomによるオンライン講座 |
| 教科書 | すうがくぶんかのオリジナルテキスト |
| 受講料 | 全2回 税込34,500円 |
| お支払い方法 |
クレジットカード決済
お手続き方法は「ご利用ガイド」をご確認ください。
|
| 準備物 | ・PyTorchをインストールしたPython言語環境があるPC |
下記のボタンを押すと該当する集団講座のチケットをご購入いただけます。
※ボタンを押すと、stripeの決済ページへ遷移します。
| 全2回 | 1回 |
|---|---|
2020年前期分よりオンライン授業を録画し、授業の録画販売（アーカイブ販売）を行っております。
アーカイブ講座の動画購入をご検討いただく場合は、下記についてご確認をお願いいたします。
開講中の講座でも、参加時までに終了した講義はアーカイブ動画（講義の録画）にてご受講いただけます。
講義内で直接講師にご質問いただけますので、特にお急ぎでなければ、開講中の講座がおすすめです。
開講中の講座をご希望の方はこちらからお申し込みください。
年度別 講座情報
| 年度 | 講座情報 |
|---|---|
| ー | 本講座は2022年後期のみの開講です。 |
講座のお申し込み・ご相談は
気軽にお問い合わせください。
