カーネル法：機械学習の数理シリーズ

1.1 問題設定
カーネルサポートベクトルマシンがどのような機械学習の課題に対応している手法だったかを復習します。また、課題設定を数学的に表現し、「主問題」とよばれている形に落とし込みます。

1.2 主問題と双対問題
まず、ラグランジュの未定乗数法やKKT条件といった数学のトピックを補足説明します。次に、1.1で導入した主問題をラグランジュの未定乗数法を用いて「双対問題」に書き換えます。最後に「双対問題」から、XOR問題に対するカーネルサポートベクトルマシンの判別関数を手計算で求めてみます。

1.3 SMOアルゴリズム
1.2で得られた「双対問題」は、アルゴリズムを用いて数値的に解きます。（ニューラルネットワークのパラメータを勾配降下法というアルゴリズムで求めること同様の話です。）ここでは、代表的なアルゴリズムであるSMOアルゴリズムについて解説します。

1.1節の議論の復習を兼ねて、異常検知で用いられるサポートベクトルデータ記述（SVDD, 1-class SVM）をとりあげます。まず、サポートベクトルデータ記述の問題設定を説明し、「主問題」を作ります。次に「主問題」をラグランジュ未定乗数法を用いて、「双対問題」に書き換えてみましょう。最後に、サポートベクトルデータ記述のハイパーパラメータが、「双対問題」の導出を通して意味づけできることを示します。
（参考 : 講座「異常検知入門」ではサポートベクトルデータ記述SVDDの入門的な解説として、Python言語によるデモや、ニューラルネットワークを応用したDeepSVDDという手法の紹介を行っています。もし講座「カーネル法入門」で、サポートベクトルデータ記述に興味を持っていただけた方には、講座「異常検知入門」も併せてご受講いただけると幸いです。）