ブースティング入門（機械学習の数理シリーズ）

2020年度7月開講講座の録画販売についてお申し込み受付中です。

講座の概要

この講座は機械学習の数理シリーズの7月分です。

ブースティングはKarns-Valiant問題(1988, 1989)に、Shapire(1990)が肯定的な結果を出したことに端を発します。大雑把に説明すると「あまり精度の良くない予測器から高い精度の予測器を作る」手法の例としてブースティングは提案されました。

Shapire(1990)の結果を受けて、実用的なブースティング手法の研究が進んできました。代表例として

• Freund-Shapire(1997) : AdaBoost
• Friedman(1999) : Gradient Boosting
• Chen-Guestrin(2016) : XGBoost

などが提案され、いずれも機械学習の代表的な手法として定着しています。

この講座では、

• ブースティング手法の基本的なアイディア
• 代表的なブースティング手法の学習アルゴリズム
• 変数重要度の計算方法

の3つに注目して解説します。

受講にあたって

受講する上で必要な知識

• 数学III程度の微分積分（弊社講座大人のための高校数学III・C程度）
• 機械学習の勉強経験（弊社講座Pythonで学ぶ機械学習入門程度）

カリキュラム

1.ブースティングの基本（2時間）

一般的なブースティング手法に見られる学習アルゴリズムの共通点を事前に説明します。そして、アルゴリズムの実例としてAdaBoostアルゴリズムを紹介し、簡単なデータセットを用いたAdaBoostのデモンストレーションを行います。また、AdaBoostの統計モデルとしての解釈を与え、AdaBoostへの理解を深めます。

2.勾配ブースティング（3時間）

Friedmanが提案したGradient Boostingの学習アルゴリズムについて勾配降下法を参考にしながら説明し、簡単なデータセットを用いたGradient Boostingのデモンストレーションを行います。また、アルゴリズムの収束性・早期終了(early stopping)・変数重要度の計算方法について紹介します。

3.ニュートンプースティング（3時間）

Chen-Guestrinが提案したXGBoostの学習アルゴリズムについてNewton法を参考にしながら説明し、簡単なデータセットを用いたXGBoostのデモンストレーションを行います。また、XGBoostに改良を加えたLightGBMを紹介し、LightGBMにおける変数重要度の計算方法・カテゴリ変数のエンコーディング (adaptive encoding)・欠測の扱いについて紹介します。

お申込み

お申し込みは、お申込フォームからお願いします。

お申込