Thread by @genkuroki

#統計 Kullback-Leibler情報量

D(q||p) = ∫ q(x) log(p(x)/q(x)) dx

の統計学への応用におけるq,pに関する非対称性を理解するには、Sanovの定理について学ぶに限ります。

続く

#統計 分布pに従う乱数発生で分布qをシミュレートしたときに、もしもp≠qならば、確率的に指数函数的な速さでボロが出るのですが、その速さがKullback-Leibler情報量になっているというのがSanovの定理の内容です。

だからモデル分布pで真の分布をシミュレートしたい人にとってKL情報量は基本的。

#統計 大雑把に言うと、分布pのi.i.d. X_1, X_2, … について、

(X_1,…,X_nの経験分布がqに近い確率) = exp(-n D(q||p) + o(n))

となるという結果がSanovの定理。ちょっと雑すぎる説明ですが、「qに近い」の程度の違いはo(n)の項に吸収される。

1つ前のツイートと比較すると理解が深まるはず。

#統計 KL情報量には、一意復号化可能な符号化の平均符号長が最良の場合よりもどれだけ大きくなってしまっているかを表している、という解釈もあって、こちらの方が「情報量」という用語にはフィットしていると思います。その場合にqはソース側の確率分布で、-log pは符号化での符号長の意味になる。

#統計 以上のような話は、有限集合上の易しい場合について、私による解説

genkuroki.github.io/documents/2016…

に全部書いてあります。ただし、pとqの記号がひっくり返っているので注意。(全部書き直したい😭)

#統計 モデル分布pで未知の真の分布qをシミュレートしたい人はKL情報量のSanovの定理が超絶基本的なことをすぐに納得できるはず。

そして～続き

#統計 そして、特別な形の分布qで、正確な事後分布pのサンプルの経験分布として(MCMC法で得られるのも事後分布のサンプルであった)、最も出て来やすいものを見つけたい人(変分ベイズ 法を使いたい人)も、KL情報量のSanovの定理が基本的なことを理解できるはずです。

#統計 以上の解説をすぐに理解してしまうような人であれば、統計学における確率論の「三種の神器」は

* 大数の法則
* 中心極限定理
* KL情報量のSanovの定理

の3つであることに賛成してくれると思う。

最後のSanovの定理が十分に普及していないせいで、重要で基本的なことを理解し難くなっている。

#統計 そういうことに気付いて書いたのが上で既出の解説

genkuroki.github.io/documents/2016…

なのですが、何度も繰り返し紹介してはいますが、正直な気持ちとして解説としてあんまり成功していないと思っていて色々アレな感じ。

しかし、英語も含めて代わりになる解説は__まだ__ないと思う。(誰かが書くべき)

#統計 KL情報量のSanovの定理は、確率論における所謂「大偏差原理」の易しい場合になっています。

確率論におけるi.i.d.の漸近論において、大数の法則、中心極限定理、大偏差原理は普通に基本的な話題なのですが、最後の大偏差原理だけはまだ一般に普及していない感じ。

#統計 i.i.d.の大偏差原理は、物理的にはi.i.d.の場合の統計力学のおもちゃです。物理的な状況では「独立性」が成立していない場合が多いので、物理的な統計力学の方がi.i.d.の大偏差原理よりもずっと難しいです。

統計力学を知らなくてもi.i.d.の大偏差原理は易しく理解可能です。

#統計 i.i.d.の大偏差原理を物理の統計力学っぽく説明したものがあればうれしい人達は結構いるはずで、そういう話も既出の「失敗作」である

genkuroki.github.io/documents/2016…

に書いてあります。

#統計 i.i.d.の大偏差原理から出るi.i.d.のカノニカル分布(i.i.d. X_1,X_2,…,X_nの全体が熱浴に対応し、X_1が熱浴に接している系という扱い)の応用として、ガンマ分布を出す動画が以下のリンク先にある。要するにコンピュータで遊べる話題です。

https://twitter.com/genkuroki/status/1309810160592805891

#統計 ガンマ分布はパラメータを2つ持っていて、それらは逆温度の一般化になっています。

ガンマ分布に似ている名のないパラメータが2つの分布をコンピュータシミュレーションで作っている動画が以下のリンク先にある。

https://twitter.com/genkuroki/status/1322758031583506432

#数楽 おそらく「熱浴」の概念は数学全体で大事。

自分が興味を持っている「いかにも熱浴が無関係そうな分野」において何らかの「熱浴」の概念を作って利用してしまうというようなことはきっと大事。

twilog.org/genkuroki/sear…

#統計 KL情報量の日本語版ウィキペディアはSanovの定理に言及しておらず、非常によろしくない。

統計学での使い方は赤池弘次さんの1980年の論説

jstage.jst.go.jp/article/butsur…
エントロピーとモデルの尤度

を見れば分かります。そのp.610の右側で解説されていることが実質的にSanovの定理です。

https://twitter.com/import_godiva/status/1326733447109308417

#統計 一般に「ダイバージェンス」という非常に一般的な場合の特別な場合として「Kullback-Leiblerダイバージェンス」と呼んでしまっている人達の多くは、KL情報量が特に基本的である理由になっているSanovの定理を知らないのではないか？

赤池弘次さんの論説もあまり読まれていない印象あり。

#統計 Kullback-Leibler情報量入門としても、赤池弘次さんの1980年の論説は最良のものだと思う。

jstage.jst.go.jp/article/butsur…
エントロピーとモデルの尤度
日本物理学会誌35巻(1980)7号

これに限らず、日本物理学会誌に載っている解説は勉強になるものが多い。学生時代には図書館でよく読んでいた。

#統計 AIC関連スレッドの紹介

KL情報量で測った未知の真の予測誤差の(一致性のない)推定量としてAICは非常に有名だが、漸近的に相関係数-1で真の予測誤差とAIC(正確にはその差)が逆相関することはあまり知られていないと思う。

真の予測誤差とAICでは平均からの揺らぎの向きが正反対。

https://twitter.com/genkuroki/status/1326720712669712389

#統計 ある条件のもとで、真の予測誤差の大小を推測するために使われるAICと真の予測誤差がきれいに逆相関するという数学的事実(ゆえにひっくり返せない事実)を初めて知った人は、「あれ？それで大丈夫なの？」と思わずにいられないと思う。

その辺について既出の以下のスレッドでも触れている。

https://twitter.com/genkuroki/status/1326723076222971904

#統計 たぶん、私以外に言っていないことだが、渡辺澄夫著『ベイズ統計の理論と方法』の非常に良いところは、未知の真の予測誤差とAICなどの情報量規準の漸近的な逆相関(相関係数-1‼️)についてきちんと定理の形で書いてあること。

私はその解説に大いに学ぶ所があった。

#統計 AICなどの情報量規準は未知の真の予測分布の期待汎化誤差の推定量だとみませるのですが、いわゆる「一致性」(サンプルサイズn→∞で未知の真の値に収束するという条件)を満たさない。

AICなどの情報量規準は一致性を満たさない推定量で役に立つものの例になっている。

しかし～続く

#統計 一致性を持たない推定量なのにAICなどの情報量規準が役に立つ理由は、その値そのものよりも、その値の大小関係が重要だからです。

しかし、一致性を持たない推定量の本性はイメージし難い。Wilks' theoremや真の予測誤差との逆相関などの諸々の事柄について知って、初めてイメージが湧く感じ。

#統計 AICのような情報量規準が真の予測誤差と逆相関している場合には、サンプルが運悪く偏っていたせいで真の予測誤差がものすごく大きくなると、その予測誤差がものすごく大きくなった側が情報量規準でモデル選択されることになります。

#統計

要するに運悪くサンプルが偏っているせいで予測誤差がものすごく大きくなるとそのモデルが選択され易くなる😱

これは情報量規準によるモデル選択を現実社会における政策に繋げる場合には真のリスクになる可能性があります。

しかし、この指摘をしている人を私以外に見たことがない。

#統計 これは別に情報量基準だけの問題ではなく、帰無仮説と対立仮説を比較する仮説検定でも同様の問題があります。

AICによるモデル選択とχ²検定はWilks' theoremを通して繋がっているので、これは当然。(モデル選択と仮説検定は無関係な別ものという考え方は誤り。すべてが地続きで繋がっている。)

#統計 統計学はお墨付きを得るための道具ではないです。

原理的にはギャンブルそのものだと思っておいた方がよいと思う。

ギャンブルを他人に勧める人はその人リスクについても正直に語らなければいけない。

#統計 KL情報量について学んで、KL情報量で未知の真の予測誤差を書けることを知り、さらにAICや交差検証について知った人が、AICや交差検証と未知の真の予測誤差が「ほぼ同じ」と誤解することは絶対に避けなければいけない。

漸近的にきれいに逆相関しているものを「ほぼ同じ」と思っちゃダメ。

#統計 各分野の専門家は、社会的に重大な決断に関係している統計分析の結果が、データに基いたモデル選択によって行われている場合には、特別に運悪くデータが偏っていた可能性にも考慮して、リスクを下げる方策を提案する社会的責任があると思う。

各分野固有の専門知識は非常に重要。