統計・機械学習講座
スポット講座
Sスタンダード
開講予定
アーカイブ講座（録画販売中）
強化学習は機械学習のフレームワークの一つで、囲碁や将棋等のゲーム、プラントの最適化など実社会への応用や最近の大規模言語モデルのReasoningにも活用される等幅広く使われている分野の一つです。この講座では、強化学習の基礎について、Pythonと数学を通して学んでいきましょう。特に、
の具体的なアルゴリズムを数式を読みながら勉強し、numpyパッケージを用いて実装します。
また深層強化学習の話題から、最も基本的なDeep Q-Networkの仕組みに触れ、実装を通して親しむことを目指します。
この講座では強化学習の入門について扱います。
強化学習は周囲の環境と相互に作用しながら、目的を達成するために最適な行動を学ぶことを目指します。将棋で勝つ等がわかりやすい目的の例になります。環境に応じつつ、最適な行動は何かを考え、学習するという少し複雑なシチュエーションのため、強化学習特有の用語も少し多くなります。
そこでこの講義では最初に強化学習の問題設定やその中で出てくる状態価値関数、行動価値関数、最適方策などの用語を最初に丁寧に解説します。その後は最適方策を求めるアプローチとして標準的な方法である価値反復法と方策勾配法について説明します。
具体では以下の想定です。
– 環境・方策・期待報酬等の強化学習の環境説明
– ベルマン方程式を利用し、Q学習/SARSA等の価値反復法
– 方策勾配定理とREINFORCEなどの方策勾配法
– DQN、及び時間のある範囲でそれ以降の進展(TRPO、PPO等)
これらを実際にPythonで計算しながら手になじむようにできればと考えています。
すうがくぶんかのオリジナルテキスト
デジタルデータ（jupyter）をメール添付にてお送りいたします
・強化学習の問題設定が理解できている。
・価値反復法と方策勾配法が理解できている。
・Pythonで強化学習の基本的な実装ができる
Python言語（特にnumpy, matplotlib）の基本的な使い方に親しみがある。
高校数学IIICまでの微分の計算に親しみがある。
・強化学習の問題設定、用語定義
・価値反復法の設定
- ベルマン方程式
- 価値の推定方法について
- SARSA
・価値反復法の復習
・方策勾配法の説明
– 方策勾配定理の紹介
– 計算方法について
・Deep Q-Network (DQN) の紹介
・方策勾配法の課題と最近の進展
| 講座名 | 強化学習入門：機械学習の数理シリーズ |
|---|---|
| 担当講師 | |
| 開講スケジュール |
計2回の集中講義になります。 |
| 受講方法 |
Zoomによるオンライン講座 |
| 教科書 | すうがくぶんかのオリジナルテキスト |
| 受講料 | 全2回 税込34,500円 |
| お支払い方法 |
クレジットカード支払いは本ページ下部「受講料のお支払いについて」よりお願いいたします。 |
| 準備物 | インターネット上に接続ができ、Google Colabが利用できるPC。 |
下記のボタンを押すと該当する集団講座のチケットをご購入いただけます。
※ボタンを押すと、stripeの決済ページへ遷移します。
| 全2回 |
|---|
2020年前期分よりオンライン授業を録画し、授業の録画販売（アーカイブ販売）を行っております。
アーカイブ講座の動画購入をご検討いただく場合は、下記についてご確認をお願いいたします。
本講座は開講中の講座はございません。
アーカイブ講座(録画購入）にてご受講いただけます。
アーカイブ講座(録画購入）のお申し込みはこちら
| 講座名 | 動画内容 | 講師名 | 受講料 |
|---|---|---|---|
| 強化学習入門：機械学習の数理シリーズ 2020年後期 |
全2回 | 内場 崇之 | 34,500円 |
年度別 講座情報
| 年度 | 講座情報 |
|---|---|
| ー | 本講座は2020年後期のみの開講です。 |
講座のお申し込み・ご相談は
気軽にお問い合わせください。
