統計・機械学習講座
スポット講座
Sスタンダード
アーカイブ講座（録画販売中）
ChatGPTは、ユーザーの質問に答えたり、複雑な課題に対して対話形式で有益な提案をすることができるOpenAIのサービスです。私たちの日常生活やビジネスにも影響を与え始めており、その存在感は日増しに高まってきています。 ChatGPTは大規模言語モデル（Large Language Model, LLM）に関する広範な技術が用いられています。そこでこの講義では、ChatGPTを支える技術について、大規模言語モデルのアーキテクチャに関する話やアルゴリズム周辺の内容に焦点を当てて解説します。
※アーカイブ講座の動画販売についてお申し込み受付中です。
※講義内容は開講時（2023年9月9日）の情報となります。
この講義では、ChatGPTの機械学習モデルとしての側面に焦点を当てて解説します。大雑把には以下の2点です。
・採用しているニューラルネットワークのアーキテクチャ
・学習方法
ChatGPTは技術的な詳細が公開されていませんが、OpenAIがかつてから論文に公開してきたGenerative Pretrained Transformer（GPT）が用いられているとされています。GPTと一口に言っても様々なものがあるのですが、まずはGPTとは何か？GPTで用いられているTransformer Decoderや事前学習とは何かについて数式を交えた解説を行います。さらに関連する話題である本文中学習、スケーリング則、幻覚や創発についても紹介します。
また、これまでの大規模言語モデルでは、有害な回答や事実に反する回答、人間のユーザーにとっては無益な回答を出力する傾向がありました。しかし、ChatGPTではそれが少ない傾向にあります。このような傾向を実現するためにChatGPTで用いられているとされる技術にReinforcement Learning from Human Feedback（RLHF）があります。この講義ではRLHFについても、先行研究であるInstructGPTの論文をもとに紹介します。
すうがくぶんかのオリジナルテキスト
デジタルデータ（PDF）をメール添付にてお送りいたします
– ChatGPTを支える技術の概要を理解する。
– ニューラルネットワークに入門した経験
この講座はコーディングを行わないため、PyTorchやtensorflowのコーディング経験がなくても問題ありません。
ChatGPTを支える技術の一つとされるGenerative Pretrained Transformer（GPT）とは何かについて解説します。またGPTシリーズの研究が進む中で発見されたスケーリング則・創発・幻覚などの事象についても簡単に説明します。
ChatGPTは、これまでの大規模言語モデルと異なり、有害なことや事実に反すること、無益なことを出力することが少ない傾向にあります。後半ではこの仕組みを支えるReinforcement Learning Human Feedback（RLHF）について解説します。
| 講座名 | ChatGPTを支える技術 |
|---|---|
| 担当講師 | |
| 開講スケジュール |
2023年9月9日(土) 10:00-16:00 全1回 |
| 受講方法 |
Zoomによるオンライン講座 |
| 教科書 | すうがくぶんかのオリジナルテキスト |
| 受講料 | 税込17,500円(全1回) |
| お支払い方法 |
クレジットカード支払いは本ページ下部「受講料のお支払いについて」よりお願いいたします。 |
| 準備物 | ・筆記用具 |
下記のボタンを押すと該当する集団講座のチケットをご購入いただけます。
※ボタンを押すと、stripeの決済ページへ遷移します。
| 全1回 |
|---|
2020年前期分よりオンライン授業を録画し、授業の録画販売（アーカイブ販売）を行っております。
アーカイブ講座の動画購入をご検討いただく場合は、下記についてご確認をお願いいたします。
本講座は開講中の講座はございません。
アーカイブ講座(録画購入）にてご受講いただけます。
アーカイブ講座(録画購入）のお申し込みはこちら
| 講座名 | 動画内容 | 講師名 | 受講料 |
|---|---|---|---|
| ChatGPTを支える技術 2023年前期 |
全1回 | 内場 崇之 | 17,500円(全1回) |
年度別 講座情報
| 年度 | 講座情報 |
|---|---|
| ー | 本講座は2023年前期のみの開講です。 |
講座のお申し込み・ご相談は
気軽にお問い合わせください。
