情報幾何学入門

十分統計量は、最尤推定や不偏推定といったパラメータの推定方法に対して、その「精度」の議論を支えている重要な概念です。そして情報幾何学は、この十分統計量をとっかかりに様々な概念を理解している側面があります。そこで、第1期では

• 十分統計量の定義とその「十分性」
• 十分統計量の有用性（最尤推定との関係 / Cramer-Raoの定理・有効推定量との関係など）
• Fisher情報量の導入と十分統計量の別の解釈

を説明します。

正規分布や二項分布といった代表的な確率分布はパラメータを持っています。このパラメータをとっかかりにすることで、これらの分布の集まりは「空間」を作っていると解釈することが可能です。さらに、第1期で導入するFisher情報量はこの空間の「ものさし」の役割を果たしていると解釈できます。そこで、第2期では

• 「空間」と「ものさし」の厳密な定義
• 具体例を用いた確率分布族を空間と捉える練習

をします。この過程で接ベクトル空間を導入し、十分統計量とFisher情報量を強力に関連付けるChentsovの定理を紹介します。（注: 証明は第3期に行います。）

前半は、第2期に紹介したChentsovの定理を証明します。

後半は、空間の曲がり具合・平坦さを記述する「曲率」を定義し、その過程で接ベクトル空間の「接続」という概念や「テンソル」という道具を導入します。ここが最も抽象度が高くなる部分ですが、第4期に学ぶdivergenceの幾何学に繋がる重要なトピックです。

divergence、特にKullback-Leibler divergenceは変分自己符号化器や赤池情報量規準を中心に、数理統計学で頻出するトピックです。それにも関わらず、この概念がなぜ自然なのかを説明することは難しいのではないでしょうか。その一つの回答を与えるのが「divergenceの幾何学」です。実は、確率分布の空間が持つ座標・接続の「双対性」に注目することで、divergenceの存在が自然に導かれることを観察しましょう。（注: divergenceの幾何学は第5期まで続く予定です。）

前半は、divergenceの幾何学についてもう少し理解を深めます。

後半は、数理統計で学ぶ最尤推定やCramer-Raoの定理を情報幾何を通して直感的に理解します。特にCramer-Raoの定理は、数理統計で証明を学ぶと直感的でなく、苦しい思いをした人も多いでしょう。情報幾何がこのような定理を納得するための強力な武器になることを確認します。