Natural Exponential FamilyとLie群 - ryamadaのコンピュータ・数学メモ

Koszul Information Geometry and Souriau Lie Group Thermodynamicsが資料
Natural Exponential Family
- 指数型分布族の中でも $\log{p(x,\theta)} = C(x) + \theta \cdot x - \psi(\theta)$ のように、パラメタ( $\theta$ )と台( $x$ )との相互作用項が単純に書ける場合をNatural Exponential Familyと呼ぶ(Wiki記事)
- 分散既知の正規分布も、 $x^2$ が指数関数の指数に入ってはいるが、それは $C(x)$ に括りだすことができて、natural exponential familyである
Legendre変換と変数変換
- 関数は(x,f(x))の値の組とみることができるが、この組を(x,f(x))における接線の(傾き、y切片)の組に対応付けることができることが知られており、Legendre変換と言う(Wiki記事)
- 物理学では、「現象を表している関数」を「別の始点で見直す」方法として使っている
- 確率密度関数で言えば、「別の始点で見直す」というのは、「パラメタを取り直す」ことに相当する
Legendre変換と双対空間
- Legendre変換では点凸関数が表している部分集合{(x,f(x))}を、一次関数の{(傾き,切片)}という部分集合と対応付けた
- これは点と線との双対性によって支えられている
- ベクトル空間とその双対空間というのは…
  - ベクトル空間はベクトルの計算規則が成り立つ線形空間
  - その要素の線型汎関数全体が、やはりベクトル計算規則を満足することから、線型汎関数の空間というものが考えられて、それが双対空間である、と言う
  - 要素と関数との間柄は $f(x)$ のように書くこともできるが、要素をベクトル空間の点(座標がある)と関数を双対空間の点(座標がある)とみなして、その内積 $<\xi,x>$ と書いたりする
特性関数・エントロピー・指数型分布族
- 凸関数があったときに、 $<\xi,x>$ を指数に持つような関数を関数全体に積分したような関数を特性関数と呼ぶ
- それをいじると、エントロピー関数がどんな形になるか、というようなことが示せる
- そのエントロピーをよく見ると、 $\frac{e^{-<\xi,x>}}{\int_{\Omega^*} e^{-<\xi,x>} d \xi}$ という確率密度関数のエントロピーの形をしていることが示せる
凸関数のLegendre変換による１次線形関数対応づけは、natural exponential familyを引き出したことになる
統計力学
- 上記は物理学では、運動方程式をポテンシャル関数を使って表現することなどに用いている
- 一方、統計力学は、運動の状態(運動量と位置)との状態を確率的に表そうともするので、同じ力学系に対して別のアプローチを提供している
- 巨視的な量である温度をパラメタとして確率分布で状態を表す
Gibbs canonical ensemble
- 取りうる状態をすべて集めたもののこと(ギブスのカノニカル・アンサンブル)
Symplectic manifold M とLie群
- Gibbs canonical ensembleにはシンプレクティック多様体が定義できて、そこにはLie群がみられるという
Symplectic manifold
- 「ななめ」な多様体。ななめなものは、ななめを表す行列で表せる
- 『シンプレクティック多様体は、古典力学の抽象的定式化であるハミルトン力学などにおいて多様体の余接バンドルとして自然に表れるもの』(Wiki記事より)
Lie群
- 連続で微分可能な群
状態関数
- 温度パラメタが指数に入った関数が現れる
- この関数はいわゆる確率密度関数の形をしており、とくにnatural exponential familyの表現になっている
- これがシンプレクティック多様体とそのLie群の言葉で表すことができる
Legendre変換とシンプレクティック多様体・Lie群
- 結局、両方からnatural exponential familyが出てきて、片や線形関数空間の点をパラメタに持つ指数関数、片やLie群要素をパラメタに持つ指数関数
Natural exponential familyの群表現が出てきた