Thread by @genkuroki

#統計 渡辺澄夫『ベイズ統計の理論と方法』の読み方①は

①頻度主義とベイズ主義を分けるダメな考え方の心の中からの排除

その次は

②自分でWAICやLOOCVをコンピュータ上で計算して、各種の定理を数値的に確認するという読み方

がお勧め。具体的にはp.119の定理15のβ=1の場合を確認するべき。続く

#統計 細かい計算や証明のフォローは上の②の後の③でよいと思う。

渡辺さんの本は数学的に難しい話をしている部分が多いのですが、それ以外によく宣伝されているダメな考え方への対策になっている解説も多数含まれており、そこから入ることができます。最初はそこを読むとよいと思う→①

#統計 あと、途中の計算や証明を飛ばして読んでも、コンピュータを使える人なら自分でWAIC(W_n)やLOOCV(C_n)を自分で実装して計算できるように書いてあります。

具体的な計算例を1つも知らずに証明を読んでも無意味だと思うので、証明を読み始める前にコンピュータで計算できるようになっておくべき。

#統計 私の経験では特にお勧めなのは、真の予測誤差とWAICが漸近的に相関係数-1で逆相関していることを意味するp.119の定理15のβ=1の場合数値的な確認を目標にすることです。

そのβ=1の式の両辺に2nをかけたものを数値的に確認するとよいです。続く

#統計 2nをかけた後のスケールは、統計学の世界でのχ²検定のスケールであり、伝統的にAICのスケールとしても使用されています。p.119の定理15のβ=1の場合の式の2n倍は

(2nG_n - 2nL(w₀)) - (2nW_n - 2nL_n(w₀)) = 4λ + o_P(1).

これによって双有理不変量の実対数閾値λの値も知ることができます！

#統計 正則モデルの場合には、モデルのパラメータ数をdと書くと、λ=d/2なので、4λ=2dとなり、上の式の右辺の4λはちょうどAICを定義するときのパラメータ数による罰則項に一致することになります。

WAICではなく、AICも4λ=2dの場合の同様の結果(p.80の下から10行目)を満たしています。

#統計 真の予測誤差とAICやWAICの逆相関(しかも漸近的に相関係数-1‼️)を意味する数学的定理があるにも関わらず、AICやWAICを使えばそれなりに高確率で予測誤差が小さいモデルの側を選択できる理由は、p.119の定理15のβ=1の場合の2n倍の右辺の4λが正の値になっているからです。

#統計 AICの場合のパラメータ数に関する罰則項の2d=(モデルのパラメータ数の2倍)の一般化になっている4λ=(モデルの実対数閾値の4倍)が重要な役目を果たしていることがよくわかる。

AICやWAICによるモデル選択について鮮明なイメージを得るためにp.119の定理15のβ=1の場合の数値的確認は役に立ちます。

#統計 さらに欲を言えば、p.119の定理15におけるL(w₀), L_n(w₀)をパラメータ数0のモデルの汎化誤差とWAICだと解釈し、その定理15をパラメータ空間が包含関係になっていて、小さな方のパラメータ空間にw₀が含まれる場合の汎化誤差の差とWAICの差の場合に一般化した場合も扱っておくべきです。

#統計 パラメータ空間が包含関係の意味で小さくなっているだけの部分モデルに最良パラメータw₀が含まれる場合は、数理統計学における最重要な基本定理であるWilks' theoremの設定そのものであり、その場合にp.119の定理15を一般化しておくことは大事なことだと思われます。

#統計 Wilks' theoremについては以下のリンク先のスレッドを参照。

https://twitter.com/genkuroki/status/1325757353250095105

#統計 渡辺澄夫『ベイズ統計の理論と方法』を読むだけの力のある人達が、Wilks' theoremのような古典的な統計学の結果を知らないままであるとしたら、社会的に大きな損失が生まれる可能性があると思います。

それだけ優れた能力があるなら、以下のリンク先の計算例を見ればすぐに理解できるはず。

https://twitter.com/genkuroki/status/1325757353250095105

#統計 続き↓

https://twitter.com/genkuroki/status/1326775033574862849