機械学習のための関数解析入門

ユークリッド空間ℝⁿには標準内積が定義されます。ユークリッド空間ℝⁿで標準内積を用いることで、ふたつの異なるベクトルの「関係」を調べることができるようになります。

実は内積はユークリッド空間だけにではなく、一般の線形空間にも定義されることがあり、内積を定義された線形空間を内積空間といいます。

第１期ではユークリッド空間の標準内積の基本的な性質を解説し、一般の線形空間・内積空間がどういうものか解説します。

フーリエ級数とは関数をsinとcosの足し合わせで表すものです。三角関数は「波」と捉えることができるので、直観的には「関数を波の重ね合わせで表したもの」と考えることもできます。

また、フーリエ級数はL²内積と相性が非常によく、フーリエ級数の基礎理論の多くはL²内積に基づいています。

第２期ではフーリエ級数の基本的な考え方から始め、L²内積に関する基礎理論を解説します。

「完備な内積空間」のことをヒルベルト空間といいます。ここでの完備性とはざっくり言えば「良い感じの収束性」のことで、したがってヒルベルト空間は「良い感じの収束性をもった内積空間」と大雑把には考えることができます。

ヒルベルト空間にはリースの表現定理と呼ばれる非常に重要な定理があり、この定理からカーネル法の基礎となる再生核ヒルベルト空間の基礎付けをすることができます。

第３期ではヒルベルト空間の基礎事項から始め、リースの定理を通して再生核ヒルベルト空間の考え方を解説します。

第３期で定義される再生核ヒルベルト空間は再生核を決めることでひとつに決まります。

カーネル法は「適切なカーネル関数（再生核）をとって再生核ヒルベルト空間を考えることで、（本来考えたい問題を）内積の計算で解ける問題に帰着させる方法」ということができます。

第４期ではカーネル法の基本構造を解説し、カーネル法の応用例としてデータの回帰問題・分類問題を解きます。

カーネル法は統計学と併せることでより汎用的になり、その代表例としてガウス過程回帰と呼ばれるものがあります。

また、カーネル法の応用例としてサポートベクトルマシンと呼ばれる分類問題があります。

第５期ではカーネル法の発展的内容やサポートベクトルマシンなど、第４期までに学んだことの+αを解説します。