Thread by @genkuroki

#統計 添付画像は

ism.ac.jp/editsec/toukei…
情報量規準AICの統計科学に果たしてきた役割
小西 貞則
2019

のp.204より。

この論説は、正直に言って、かなり落胆しながら読んだ。

BICもKL情報量の推定量とみなせるので、添付画像の引用部分は非常に変です。続く

https://twitter.com/umaruyama/status/1329745143591706624

#統計 渡辺澄夫『ベイズ統計の理論と方法』に近い記号法で説明します(私のTLではよく読まれている教科書)。

データX_1,X_2,…は未知の分布q(x)のi.i.d.であるとし、分布族p(x|w)と事前分布φ(w)によるベイズ統計について考えます。第2章の正則モデルの設定を仮定。

続く

#統計 モデル内での仮想的なデータの分布は

p(x_1,…,x_n) = ∫p(x_1|w)…p(x_n|w)φ(w)dw

と書け、分析対象のデータの分布は

q(x_1)…q(x_n)

と書ける。これらのKL情報量は

-∫q(x_1)…q(x_n) log p(x_1,…,x_n) dx_1…dx_n
+ (モデルによらない定数)

の形になります。

#統計 自由エネルギー F_n の定義は

F_n = - log p(X_1,…,X_n)

であり、分布q(x)のi.i.d. X_1,…,X_n の確率的揺らぎに関するその期待値 E[F_n] は

E[F_n] = -∫q(x_1)…q(x_n) log p(x_1,…,x_n) dx_1…dx_n

と書けます。

#統計 以上の2つのツイートの自明な結果より、自由エネルギーの期待値 E[F_n] はモデルによらない定数の違いを除けば、モデル内における仮想的なデータの分布と推測先の真のデータの分布のKL情報量に一致します。

#統計 だから、もしも、自由エネルギーの期待値 E[F_n] の推定量で使い物になるものがあれば、モデル内における仮想的なデータの分布と推測先の真のデータの分布のKL情報量の意味での違いの大小をデータから推測できることになります！

#統計 ちょっと大胆に聞こえるかもしれませんが、自由エネルギーの期待値 E[F_n] の推定量として、期待値を取る前の自由エネルギー F_n を採用しても、それらの漸近挙動から実用的なモデル選択が可能になりそうなことがわかっています！

#統計 自由エネルギーの期待値 E[F_n] の推定量としての F_n をさらに大胆に近似したものが BIC です。

自由エネルギーの期待値 E[F_n] は本質的にKL情報量なので、その推定量とみなされた自由エネルギー F_n や BIC を「情報量規準」と呼ぶことは、普通の名付け方に過ぎません。

#統計 正則モデルの場合の自由エネルギー F_n のn→∞での漸近挙動の詳細は、渡辺澄夫『ベイズ統計の理論と方法』のp.64、定理2に書いてあります。

この手の本を読んだ人はこのスレッドの最初に紹介した去年に出た論説を読むと落胆する可能性が高い。私は落胆した。

#統計 AICとBICでは推測先のKL情報量が違いますが、どちらもKL情報量が基礎になっています。こういう基本的なことさえ理解していない人にAICやBICの解説をさせてはいけないと思います。

#統計 自由エネルギーF_n = - log p(X_1,…,X_n)はモデルの(周辺)尤度p(X_1,…,X_n)の対数の-1倍なので、モデルの「もっともらしくなさ」の指標ではなく、モデルのデータX_1,…,X_nへの適合の悪さの指標に過ぎない。

尤度は「もっともらしさ」の指標ではなく、データへの適合度の指標に過ぎない。