ベイズ最適化とガウス過程：機械学習の数理シリーズ

講義で取り扱うのは、ベイズ最適化の理解に必要な統計数理、そしてベイズ最適化のさまざまな手法です。これらの内容を統計検定準1級で学ぶような統計数理の知識を説明、復習しながら丁寧に学んでいきます。

ベイズ最適化の仕組みを理解するためには、ガウス過程の知識が欠かせません。そして、ガウス過程を学ぶうえでは、
・ベイズ推定、特に予測分布
・多変量正規分布、特に条件付き分布の公式
・カーネル関数
の知識が重要になってきます。本講座の前半では、ここで挙げた知識を一つずつ積み重ねて理解していきましょう。

ガウス過程が理解できたら、ベイズ最適化とは何か、そしてどのような手法があるのかを学んでいきます。これが本講座の後半の主なトピックです。ベイズ最適化の理解は、具体例があるとわかりやすいと思うので、本講座では「材料設計の適応的実験計画」を例に説明を与えます。

まずはベイズ最適化の仕組みで最も重要な「獲得関数」を学びます。ガウス過程と獲得関数を学んだら、ベイズ最適化の基礎については十分理解できたことになります。sequential bayesian optimizationとよばれる基本的な課題に対して、実際にベイズ最適化をPython言語でコーディングできるようになりましょう。

基本的なことを学び終わったら、以下のような発展的な話題についても紹介します。
・batch処理型ベイズ最適化
・多目的ベイズ最適化
・preference bayesian optimization
preference bayesian optimizationでは、ガウス過程の拡張として注目を集めているskew GPも登場します。