Transformerの仕組みとコーディング例を解説
多岐にわたる応用が拡がるTransformerを、テキスト・画像分類にスポットを当てて解説します。
コーディング実例を交え、BERTやAttention Mapを利用した応用例も紹介。
Transformerの仕組みとその応用について学んでいきましょう。
※2023年12月のご受講についてお申し込み受付中です。アーカイブ視聴による参加も可能です。
集団授業
Transformerとその周辺：機械学習の数理シリーズ
統計・機械学習講座
スポット講座
Sスタンダード
アーカイブ講座（録画販売中）
講座概要
Overview
“Attention Is All You Need”
これは、2017年に発表されたある論文のタイトルです。この論文で提案されたモデルは、DeepLやGoogle翻訳に代表される機械翻訳の最高精度を叩き出し、この5年間のうちに自然言語処理に収まらず、時系列予測、画像認識にまで制空権を拡大してきました。その名前こそ、Transformerです。
Transformerは、需要予測、テキスト分類、機械翻訳、文章生成、画像分類、物体検出などあらゆる機械学習課題に浸透しつつあります。そこで、この講座ではTransformerを知りたい、使ってみたいという方を対象に
・テキスト分類・画像分類
に絞って、Transformerの仕組みとコーディング例を解説します。
また、事前学習モデルであるBERTの応用や、Attention Mapを用いたTransformerの予測根拠の可視化についても触れます。
教科書
- 書籍
すうがくぶんかのオリジナルテキスト
- 送付方法
デジタルデータ（jupyter）をメール添付にてお送りいたします
※ テキスト代は受講料に含まれています。
講義の目標
- Transformer・BERTを用いたテキスト分類
- ViT、Swin Transformerを用いた画像分類
- Attention Mapによる予測根拠の可視化
前提とする知識
- ニューラルネットワークの基本的な知識（CNNなど）
- PyTorchのコーディング経験（授業中に復習します）
カリキュラム
Curriculum
01前半 12月3日(日): Transformerとその応用
前半はニュースに対してそのカテゴリを分類するような「テキスト分類」という課題を例に、Transformerの仕組みを解説し、PyTorchによるコーディング例を紹介します。また、同様の例を用いてBERTとよばれるモデルの紹介やデモを行います。最後に、Attention Mapの可視化によってどの単語に注目して分類結果が決まったのかを推察できる話についてもデモを行います。
02後半 12月10日(日) : 画像データへのTransformerの応用
後半は、手書き文字画像に対して書かれている文字ラベルを分類するような「画像分類」という課題を例に、画像データへTransformerを用いてアプローチする方法を2種類紹介します。一つは旧来から使われているVision Transformer (ViT)、もう一つは最近話題のSwin Transformerです。ViTからSwin Transformerにかけて、画像データ特有の性質をTransformerにどう取り込んだのかを解説します。
受講生の声
Voice
講座情報
Information
| 講座名 | Transformerとその周辺：機械学習の数理シリーズ |
|---|---|
| 担当講師 | |
| 開講スケジュール |
全2回 |
| 受講方法 |
Zoomによるオンライン講座 |
| 教科書 | すうがくぶんかのオリジナルテキスト |
| 受講料 | 全2回 税込34,500円 |
| お支払い方法 |
クレジットカード支払いは本ページ下部「受講料のお支払いについて」よりお願いいたします。 |
| 準備物 | ・PyTorchをインストールしたPython言語環境があるPC |
特記事項
・授業は録画されます。録画（アーカイブ動画）は授業終了から5年間オンラインにて繰り返しご視聴いただけます。（ダウンロード不可）
・アーカイブ視聴のみの受講も可能です。お急ぎの方は、開講済みの講座のアーカイブ動画にてご受講いただけます。
関連講座
Pick up
この講座の前におすすめ
受講料のお支払いについて
Payment options
Transformerとその周辺：機械学習の数理シリーズ講座のクレジットカード決済フォームです。（決済にはStripeというサービスを使っています。）
下記のボタンを押すと該当する集団講座のチケットをご購入いただけます。
- 消費税については内税(10%)です。
- 全てのチケットの有効期限はご購入日より1年となっていますのでご注意ください。
※ボタンを押すと、stripeの決済ページへ遷移します。
| 全2回 | 1回 |
|---|---|
アーカイブ講座の動画販売
Archive video
2020年前期分よりオンライン授業を録画し、授業の録画販売（アーカイブ販売）を行っております。
視聴期限は5年
自分のペースで学習できます。
開講時と同じ受講料
お気に入りの講師の
過去の講義も購入できます。
過去の講義も購入できます。
Slackにて質問できます
アーカイブ講座の場合も、
質問等は受け付けます。
質問等は受け付けます。
注意事項
アーカイブ講座の動画購入をご検討いただく場合は、下記についてご確認をお願いいたします。
- お申し込み時にご登録いただいたメールアドレス宛に、講義の録画を共有させていただきます。
※Googleドライブ上のファイルを共有するため、gmailアドレス以外の場合は、共有フォルダにアクセスする際に、自動でメールに送られてくる確認コードの入力が必要になる場合がございます。 - 受講料は、開講時と同じ受講料となります。
- 動画の視聴期限は購入後、5年となっております。
- 講座内容に関するご質問等がある場合で、Slack以外でのご質問をご希望される場合はお問合わせください。（別途受講料が発生する個別指導での対応となる場合がございます。）
開講中講座の途中参加について
本講座は開講中の講座はございません。
アーカイブ講座(録画購入）にてご受講いただけます。
アーカイブ講座(録画購入）のお申し込みはこちら
| 講座名 | 動画内容 | 講師名 | 受講料 |
|---|---|---|---|
| Transformerとその周辺：機械学習の数理シリーズ 2022年後期 |
全2回 | 内場 崇之 | 34,500円 |
| Transformerとその周辺：機械学習の数理シリーズ 2023年後期 |
全2回 | 竹川 洋都 | 34,500円 |
年度別 講座情報
| 年度 | 講座情報 |
|---|---|
| 全年度共通 | カリキュラムに大幅な違いはございません。 |
講座のお申し込み・ご相談は
気軽にお問い合わせください。
