Thread by @genkuroki

#統計 私は、WAICユーザーの大部分がWAICを誤用している疑いがある血思っています。

ベイズ統計ユーザーの多くは階層化されたモデルを使っていると思います。その場合には内部パラメータで積分してWAICを求める必要があります。手動でそうする必要があるし、計算量も大きく増える。

https://twitter.com/genkuroki/status/1458652282258550786

#統計 日本はWAICの発祥地なので(笑)、日本語圏ではWAIC(やLOOCV)の誤用に関する情報を手に入れ易い。

いれいさんもWAICを簡単に誤用できることと、誤用せずに済ませることが大変なことに気付いている。

https://twitter.com/e0_rainy/status/1458379096967168008

#統計 HiroさんもWAICの誤用に気付いている。

Stanのような確率プログラミング言語で記述される「モデル」の情報(よくグラフィカルモデルで表現される)だけでは、予測分布が一意に決まらず、汎化誤差もWAICも確定しない。

通常の場合には「周辺化」版予測分布を使わないとアウト。

https://twitter.com/mepbphhond_/status/1457731052798046210

#統計 昔の松浦さんのブログ記事

statmodeling.hatenablog.com/entry/waic-wit…

では、Stanに数値積分が実装される前だったので、自前でシンプソン則で自前で数値積分していますが、今ならもっと簡単にできるかもしれません。

私は #Julia言語 で数値積分のパッケージを使って計算したことならある。

https://twitter.com/mepbphhond_/status/1457948674634305536

#統計 階層モデル

y_i ～ p₁(•|z_i) (i=1,…,n)
z_i ～ p₂(•|w) (i=1,…,n)
w ～ p₃(•)

は

p(y_i|w)=∫p₁(y_i|z_i)p₂(z_i|w)dz_i

のときの

y_i ～ p(•|w) (i=1,…,n)
w ～ p₃(•)

に等価。後者ならWAICの誤用はない。後者に直してWAICを計算する必要がある。数値積分が必要になる。

#統計 逆温度β=1/log nの場合と逆温度β=1の場合の事後分布は別なので、「単純に同時に計算させる」以外の方法でWBICとWAICを同時に精度良く計算する方法はないと思います。

2つの逆温度のモデルの直積をStanに計算させれば一応まとめて計算はできるが、「単純に同時に計算させる」のと同じ。

https://twitter.com/mepbphhond_/status/1458293821083906048

訂正

❌疑いがある血思っています。

⭕️疑いがあると思っています。

ti → 血
to → と

の違い。 uioはキーボードで隣にある。

https://twitter.com/genkuroki/status/1458744994773155842

#統計 別スレにも書きましたが、複雑な階層モデル(グラフィカルモデル)の場合には内部パラメータについて数値積分するのがしんどすぎるので、予測分布のサンプルを使った統計的検定(P値)の利用も検討した方が良いかもしれません。

私はど素人なので「素人の戯言」になっていたらごめんなさい。

https://twitter.com/genkuroki/status/1458655393853304833

#統計 普及しているMCMC法だと確率分布のi.i.d.サンプルを得ることは容易なのですが、確率分布の密度函数を得るためには数値積分が必須になる場合が出て来てます。

WAICやWBICは階層モデルの場合に数値積分必須になる。

一方、P値ならばサンプルのみから容易に近似計算可能。

#統計 ああ、なるほど、私が #Julia言語 のTuring.jl でMCMCを実行した後に、それとは無関係の数値積分のパッケージで数値積分したり、Threads. @ threads でお手軽並列化しているのと、結果的に手順が似ていると思いました。

https://twitter.com/hankagosa/status/1458763580124254209