続・数理統計学【多変量解析の数理】

最尤推定を復習し、機械学習の分類器のなかで最も有名なロジスティック回帰モデルを最尤推定の文脈で解説します。この講義を通して、ロジスティック回帰について深く理解できるだけでなく、数理統計学で学んだ最尤推定が機械学習モデルに応用される様子がわかると思います。

ロジスティック回帰は基礎から学び直してみると「あれ？そんな手法だったんだ」という声もいただくので、色々と勉強になることをお話しできるのではないかと思います。

最尤推定量の数値計算の方法として有名でありながら理解が難しいことでも知られるEM-algorithmを解説し、混合正規分布によるクラスタリングに応用します。k-means法の発展的な手法として、手法自体が面白いトピックだと思います。

マハラノビス距離は重要な場面で応用されることも多いので、理解したいという方も多いのではないでしょうか。

マハラノビス距離は苦手な方も多いので、定義に必要な二次形式とそのグラフの関係から丁寧に解説します。マハラノビス距離の応用といえば異常検知・判別分析・距離学習が代表的だと思いますが、今回は距離学習の文脈で紹介し、第3期の最終回には深層距離学習に関する簡単な紹介もしたいと思います。

最尤推定を拡張したM推定を導入し、外れ値を含むデータに対する対処法の一例を解説します。最初は概念に慣れるために平均値や尺度のM推定から始めますが、最終的には回帰分析にM推定を応用します。時間に余裕があれば、発展的な手法であるMM推定についても解説します。

外れ値に対応する手法はなかなか勉強する機会がないと思うので、この機に一緒に勉強しましょう。

解約予測のような問題では、「まだ解約していないだけですでに意思はある」ような人がいる可能性があります。これは解約ラベルは確定的だが、未解約ラベルにはむしろ確定的なラベルを振らない方が良い可能性を示唆しているかもしれません。このような場合に役に立つのがPU Learning、PConf Learningです。

機械学習課題が単に回帰や分類といった有名なものだけではないこと、そしてこのような新しいフレームワークを解決する際にも数理統計の考え方が役に立っていることを、この発展的な話題を例に感じてもらえると嬉しいです。