Thread by @genkuroki

#統計 #数楽 この短い動画も非常にためになるし楽しめる。

「変分ベイズ」「変分推論」のように呼ばれる方法は、計算が大変な真の分布φ(w)を特別な形の分布ψ(w)でφ(w)から最も出て来やすいもので近似する方法。続く

https://twitter.com/ezx2fofxvpvstik/status/1400975475183218689

#統計 Kullback-Leibler情報量 D(ψ||φ) は、Sanovの定理より、「分布φのサンプルの分布として分布ψに近いものの出て来やすさ」を意味する。

もしも分布ψの台が分布φの台よりも真に大きいならば、そのはみ出した部分の値はφから出て来ないので、D(ψ||φ) = ∞ となる。

続く

#統計 D(ψ||φ) < ∞ ならばψの台はφの台に含まれる。

固定されたφに対して、特別な形のψを動かして、D(ψ||φ) を最小化すると(変分推論！)、分布ψは分布φよりも狭い部分に集中した感じの分布になり易い。

以下のリンク先の場合には実際に概ねそうなっているように見える。

https://twitter.com/EZX2FOFxVpvStIK/status/1400975475183218689

#統計 Kullback-Leibler情報量で分布間の違いを測ることについて、適切な直観が欲しければ、Sanovの定理

genkuroki.github.io/documents/2016…

について学ぶとよい。

* 大数の法則
* 中心極限定理
* Sanovの定理

は統計学における確率論の「三種の神器」だと思う。

#統計 Sanovの定理の概略：KL情報量D(q||p)は「分布pのサンプル(i.i.d.)の経験分布として分布qに近いものの出て来やすさの指標」とみなせる。

変分推論では、計算が大変な事後分布から最も出てき易い特別な形の分布を求めている。(KL情報量の使い方がそうなっている。)

#統計 最尤法や事後確率最大化法やベイズ法は、未知の分布qのサンプルから、未知の分布qを最も生成し易い特別な形の分布を推定しようとする方法になっている。モデルpで、pによる乱数生成で未知の分布qをうまくシミュレートするものを作りたい。(この場合もKL情報量との関係が基本になる。)

三種の神器のうちSanovの定理が高等教育において欠けているせいで、以上のようにクリアな理解が得られる事柄がそうではないかのように見えてしまっている。

易しい解説を探したが見つからないので、既出の

genkuroki.github.io/documents/2016…

を数年前に書いた。

#数楽 そのノートは、Kullback-Leibler情報量のSanovの定理を使う場合での、カノニカル分布(←統計力学用語)について詳しく書いてある。

KL情報量から、逆温度βの概念の一般化がどのように出て来るかを知りたい人は必読。
↓
genkuroki.github.io/documents/2016…

#統計 i.i.d.の統計学におけるカノニカル分布の対応物はカノニカル分布です。統計力学ではカノニカル分布を導出するときに逆温度の概念を得ます。

統計学的手法にける逆温度βに関する直観を得たければ、カノニカル分布について勉強する必要がある。
↓
genkuroki.github.io/documents/2016…

#統計 例えば、最近話題の「富のランダム分配」で自然に出て来る指数分布

p(x|β) = exp(-βx)/Z(β) (x > 0, Z(β) = 1/β)

は逆温度βのカノニカル分布の例になっている。

指数分布や正規分布などの指数型分布族の分布はカノニカル分布の一種とみなされる。

#統計 以下のリンク先でやっている「ランダムに誰かから1万円を取り上げて別の誰かに渡すこと」の繰り返しは、統計力学入門でよく出て来る話で、カノニカル分布の一種をモンテカルロ法で作る方法になっている。

https://twitter.com/genkuroki/status/1436690579639865349

#統計 統計力学の教科書には同様の方法で正規分布を作る方法も書いてあります。所謂Maxwell–Boltzmannの話、

原点を中心とする半径√nの表面がn-1次元の球面状の一様分布をx₁軸に射影して得られる分布は、n→∞で標準正規分布に収束します。

#統計 原点を中心とする半径√nの中身の詰まったn次元球体を台とする一様分布をx₁軸に射影して得られる分布も、n→∞で標準正規分布に収束します。

これは半径√nのn次元球体内でのランダムウォークで近似的に正規分布を作れることを意味しています。

#統計 平均aの指数分布は、

x_i ≥ 0, (x_1+…+x_n)/n = a

を満たす(x_1,…,x_n)のランダムウォークおよび

x_i ≥ 0, (x_1+…+x_n)/n ≤ a

を満たす(x_1,…,x_n)のランダムウォークで作れます。

以上の話はコンピュータで比較的容易に確認可能。

#統計 ガンマ分布は

x_i ≥ 0, b ≤ (x_1…x_n)^{1/n} ≤ (x_1+…+x_n)/n ≤ a

を満たす(x_1,…,x_n)のランダムウォークで作れます。

相加相乗平均の話題は確率論や統計学的にはガンマ分布を統計力学的に出す方法に直結している。

#統計 変分ベイズ的なKL情報量の使い方に関するちょっとした計算↓

2つ山の混合正規分布から最も出て来易い1つ山の正規分布を求めています。

2つ山の混合正規分布をちょっと変えるだけで、そこから最も出て来易い1つ山の正規分布が不連続に大きく変化してしまう場合が出て来て、直観的にも理解可能。

https://twitter.com/genkuroki/status/983413879551082497