カーネル法（シリーズ機械学習の数理）

2021年5月開講分の録画販売についてお申込受付中です。

講座の概要

この講座「カーネル法入門」の目標は、カーネルサポートベクトルマシン（kernel SVM）の仕組みを、具体的に計算しながら理解することです。また、背景になっている「カーネル法」とよばれる考え方は、クラスタリング・異常検知・グラフ構造学習・時系列機械学習など、機械学習のさまざまな場面で登場します。そこで、サポートベクトルマシン以外の機械学習モデルにも応用されている例として、異常検知からサポートベクトルデータ記述（SVDD, 1-class SVM）の仕組みを紹介します。

Wikipedia: Kernel method より. By Shiyu Ji, CC BY-SA 4.0

カーネルサポートベクトルマシンは、講座「Pythonで学ぶ機械学習入門」や講座「続・初級統計学」でも紹介してきましたが、これらの講座ではPython言語やR言語によるデモを通して手法への親しみを持つことが目標でした。一方、講座「カーネル法」では、難しい数学にも目を背けずに講師と一緒に補完しながら、カーネルサポートベクトルマシンのなかで目的変数の予測値を決める「判別関数」がどのように求められているのかを、できる限り詳しく説明します。

講座で扱うトピックにまつわるキーワードを、3つ掲げておきます。
(1) ラグランジュの未定乗数法とKKT条件
(2) SMOアルゴリズム
(3) サポートベクトルデータ記述

受講にあたって

受講する上で必要な知識

(1) 高校数学IIIまでの微分の知識（参考 : 大人のための高校数学III・C）
(2) 機械学習の基本的な知識（参考 : Pythonで学ぶ機械学習入門）

目標

(1) カーネルサポートベクトルマシンの動作原理をしっかり理解すること。
(2) SVM以外のカーネル法の仕組みについても、イメージを持てるようになること。

カリキュラム

1. カーネルサポートベクトルマシン
1.1 問題設定
　カーネルサポートベクトルマシンがどのような機械学習の課題に対応している手法だったかを復習します。また、課題設定を数学的に表現し、「主問題」とよばれている形に落とし込みます。

1.2 主問題と双対問題
　まず、ラグランジュの未定乗数法やKKT条件といった数学のトピックを補足説明します。次に、1.1で導入した主問題をラグランジュの未定乗数法を用いて「双対問題」に書き換えます。最後に「双対問題」から、XOR問題に対するカーネルサポートベクトルマシンの判別関数を手計算で求めてみます。

1.3 SMOアルゴリズム
　1.2で得られた「双対問題」は、アルゴリズムを用いて数値的に解きます。（ニューラルネットワークのパラメータを勾配降下法というアルゴリズムで求めること同様の話です。）ここでは、代表的なアルゴリズムであるSMOアルゴリズムについて解説します。

2. サポートベクトルデータ記述の概要
1.1節の議論の復習を兼ねて、異常検知で用いられるサポートベクトルデータ記述（SVDD, 1-class SVM）をとりあげます。まず、サポートベクトルデータ記述の問題設定を説明し、「主問題」を作ります。次に「主問題」をラグランジュ未定乗数法を用いて、「双対問題」に書き換えてみましょう。最後に、サポートベクトルデータ記述のハイパーパラメータが、「双対問題」の導出を通して意味づけできることを示します。
（参考 : 講座「異常検知入門」ではサポートベクトルデータ記述SVDDの入門的な解説として、Python言語によるデモや、ニューラルネットワークを応用したDeepSVDDという手法の紹介を行っています。もし講座「カーネル法入門」で、サポートベクトルデータ記述に興味を持っていただけた方には、講座「異常検知入門」も併せてご受講いただけると幸いです。）

受講詳細

録画販売のお申し込みは、お申込フォームからお願いします。

お申込み

お申し込みは、以下のお申込フォームからお願いします。

※お手数ですが、講座名について『カーネル法』を選択のうえ送信をお願いします。