Thread by @genkuroki

#統計

「ベイズだとサンプルサイズ設計は必要ない」とか「尤度原理に基くベイズ統計ならp-hackingのような問題は生じない」とか、危険なことを言う人達がいて頭が痛い。

ベイズ統計は魔法じゃない。

そういうおかしなことを言う人達は無視して、尤度函数を地道にプロットして遊ぶ方が有益😊

https://twitter.com/katzkagaya/status/1327901669238079489

#統計 仮にデータを生成している真の確率法則が決まっていても、データは確率的に揺らぎます。データが運悪く偏っているリスクが常にある。

データを生成している真の確率法則がないとか決まっていないなら、もっと状況は悪くなる。データが何の情報を拾っているのか自体を明瞭にしないとダメ。

#統計 添付画像は標準正規分布のサイズ10のサンプル(←確率的に揺らぐ)に関する正規分布モデルの尤度函数のプロット。中央のシアンのドットは標準正規分布の平均と標準偏差。

ランダムに生成されたサンプル(データ)ごとに異なる尤度函数が得られる。

gist.github.com/genkuroki/8a5b…

#統計 尤度函数を最大化するパラメータを求めるのが最尤法で、ベイズ統計では尤度函数に事前分布をかけて正規化して得られる事後分布を使う。

尤度函数のプロットはフラット事前分布の事後分布のプロットだとみなせます。

尤度函数のプロットは最尤法やベイズ統計を学ぶときに最優先でやるべき。

#統計 確率的に揺らいでいるサンプル(=データ)の尤度函数の形を全然見たことがない人が最尤法やベイズ統計を勉強することは、算数レベルの整数の計算さえしたことがない人が整数論を勉強するようなもので、健全な理解は不可能になります。

百聞は一見に如かず。

#統計 特に、渡辺澄夫著『ベイズ統計の理論と方法』のような本を読むときには、とにかく最優先で尤度函数のプロット(=フラット事前分布の事後分布のプロット)をやってみるべきです。

#統計 添付画像はそれぞれサイズn=10, 40, 160の標準正規分布のサンプル(乱数列)に関する標準正規分布の尤度函数のプロットです。

nが大きくなると、尤度函数の台は小さくなり、標準正規分布の平均と標準偏差の真の値に近付きます。

#Julia言語 のソースコード
gist.github.com/genkuroki/8a5b…

#統計 添付画像は平均1(標準偏差1)の指数分布のサイズn=10, 40, 160のサンプル(乱数列)に関する正規分布モデルの尤度函数のプロットです。

データ=サンプルを生成する真の法則は指数分布なのですが、分析用のモデルは正規分布族の場合です。続く

ソースコード
gist.github.com/genkuroki/8a5b…

#統計 続き。初めて見た人は驚くかもしれませんが、データを生成する確率法則の指数分布と推測用のモデルの正規分布は全く異なる形をしているのに、尤度函数の台はnを大きくするとデータを生成した指数分布の平均と標準偏差に近付きます。

ちなみに平均1の指数分布の密度函数は添付画像の通り。

#統計 続き。最尤法でもベイズ統計でもそれらが使用可能な条件が満たされていれば、nを大きくすると推定結果は推定用のモデルの範囲内でデータを生成している真の確率法則を最もよく近似する分布に収束してくれます。

以上で紹介したプロットはその様子の特別な場合です。

#統計 正規分布モデルを使えば、たとえデータが指数分布で生成されていたとしても、サンプルサイズnを十分に大きくすれば平均と分散を正しく推定できます。

しかし～続く

#統計 しかし、nを大きくすれば、データを生成している真の法則が正規分布でないっぽいことはすぐに分かるでしょう。適切なモデルで推定した方が推定の誤差はずっと小さくなります。

#統計 正規分布モデルの最尤法は、最小二乗法の特別な場合になっており、最小二乗法は最良線形不偏推定(BLUE)という良い性質を持っているのですが、その本質は正規分布モデルであり、真の分布が正規分布からかけ離れているとベストから程遠い推定法になります。(「線形」という条件が強すぎ)

#統計 尤度函数のプロット=フラット事前分布での事後分布のプロットの経験を十分に積めば、データの確率的な揺らぎが推測結果をどのように変化させるかの感じがつかめて来る。

その後で最尤法やベイズ統計の詳細を学べば「すでに知っていること」を学んでいる感じになって非常に楽になると思います。

#統計 ベイズ統計は魔法じゃないについての最近の驚愕ネタ

【大本である分布族が対象を十全にモデル化していなければならない。この要請が満たされていなかったら～どうなるのか。実はその場合でも～ベイズ流の更新プロセスは最終的に真理へと到達しうる】(『統計学を哲学する』p.83)

😱😱😱😱😱

#統計 n→∞の極限においては正規分布モデルによって平均と標準偏差の真の値に到達できるのですが、「真の分布が実は指数分布であった」という真理には決して到達できません。正規分布モデルで推測しているのだから当たり前。

この辺の理解が最尤法やベイズ統計では最も基本的です。

https://twitter.com/genkuroki/status/1328093763034521601

#統計 へんてこな哲学もどきの議論に付き合う暇があったら、尤度函数をプロットして遊んでいた方がずっとましだと思います。

#統計 モデルが指数型分布族のようなシンプルなケースでは、n→大で尤度函数の台は丸くなり、尤度函数の形は単峰型になります。

しかし、そうでない場合もある。添付画像を参照！

ベイズ統計の技術を使う場合にはモデルを複雑にする場合が多いので要注意！

ソースコード↓
nbviewer.jupyter.org/gist/genkuroki…

#統計 1つ前のツイートの添付画像は所謂「特異モデル」直上の場合。

注意しなければいけないことは、特異モデル直上ではなく、正則モデルだが特異モデルに近い場合も有限のnではまるで特異モデルのように尤度函数が振る舞うことです。添付画像を参照。

nbviewer.jupyter.org/gist/genkuroki…
(Julia v0.6注意！)

#統計 得られるデータのサイズnで、尤度函数がまるで特異モデルのように振る舞う可能性がある場合には、尤度函数が単峰型になる場合にしか安全に使えない最尤法を使用するのは危ないということになります。

そういう場合には、細く広がった尤度函数全体の情報を使ってくれるベイズ統計が勝ります。

#統計 最尤法は尤度函数を最大化するパラメータを求める方法なので、尤度函数が単峰型になってn→大で尤度函数の台が縮小して行く場合に最尤法は非常に上手く行きます。

しかし、尤度函数が単峰型になってくれない場合は容易に現れます。最尤法は常に良い方法になるとは限らないのだ。

#統計 純粋に数学的には最尤法も適切な方法になる場合であっても、局所解の問題を回避しなければいけない場合には最尤法による推定も結構面倒です。

https://twitter.com/genkuroki/status/1175279228054470657

#統計 最尤法を使おうとしてもベイズ統計でMCMC法を使うのと同程度の手間がかかるなら、ベイズ統計を使った方が総合的には楽そうだと判断する人が多いと思う。

「主義」よりも、モデルの複雑さが原因の数学的理由で「ベイズ統計の方が楽」となっている場合が多いと思う。Stanユーザーは典型例。

#統計 尤度函数のプロットの経験があれば色々納得し易くなる。

「データサイエンス」と口走りながら、デフォルトのベイズ統計を「主観確率」の「ベイズ主義」によるものとし、モデル選択などのそれ以外の事柄をそこへの付け足しとして理解しようとすることは、合理的なStanユーザー達を無視する態度。

#統計 例を増やした。

#Julia言語 ソースコード↓

#統計 「特異モデル」直上の場合

#統計 「特異モデル」ではないが、それに近い場合

尤度函数がn=640でもまだ「特異モデル」っぽい形。

特異モデルになっていなくても、現実に得られるデータサイズでは「実質特異モデル」になっている可能性がある。

#統計 「特異モデル」からちょっと離れた場合

n=10では「特異モデル」っぽく見えるが、n=640では単峰型。

データサイズを大きくできると「解像度」が上がって、「特異モデルっぽい」という判断を「正則モデルである」に切り換えられる場合が出て来る。

統計的推測は本質的にデータサイズ依存。

#統計 こういう尤度函数の振る舞いの実例を1つも知らずに、渡辺澄夫著『ベイズ統計の理論と方法』を読んでも、数学的複雑さに負けて健全な理解に辿り着ける公算は極めて低いと思う。

推測統計学の勉強では「尤度函数のプロットをできるようになること」が最優先事項かもしれないと思った。

#統計 いきなりコンピュータで計算せずに、自分の手を動かしていれば、正規分布モデルの最尤法は「サンプルの平均と分散を計算するだけ」であることがすぐにわかるので、大数の法則から、データを生成している分布が正規分布でなくても、n→∞で真の平均と分散の推定に成功することが分かる。

https://twitter.com/genkuroki/status/1328094684531462145

#統計 指数型分布族一般で正規分布モデルと同様の計算がうまく行く。指数型分布族は極めて特殊。

最尤法の解は尤度函数の最大化点の位置情報に過ぎず、推定の収束の様子について豊富な情報を持っているはずの尤度函数全体の情報のほんの一部しかひろっていない。

だから尤度函数のプロットは重要。

#統計 尤度函数による要約によって、データを生成している確率法則と推測用に用意したモデルの組み合わせの情報を十分にひろえるのは、サンプルサイズnをn→∞とした場合のみ。

有限のnでは情報が抜け落ち、確実な推測は不可能になる。尤度函数の広がり具合がその程度を表しているとも考えられる。

#統計 上で見せたプロットでは、尤度函数のプロットのみを集めてあり、各々の尤度函数がどういうデータに対応するかまでは見せていない。

個人で遊ぶ場合にはその辺にもついても見るようにした方がよい。

データとモデルから尤度函数が決まる。その対応の様子になにがしかの直観がないとつらくなる。

#統計 尤度函数の理解については、以上で説明したような「繰り返しのプロットでどういう様子をしているかを見る」というようなことをすることが大事なのですが、ある種の統計学本には「尤度主義」「尤度原理」といったくだらない害にしかならない話が書いてある場合があるので要注意。

チョー算数問題における「しきの意味」に対応するものが、ある種の統計学文献の世界における「○○主義」だと思っておけば、分かり易いかもしれない。

地道な試行錯誤による理解を阻害するように「○○主義」が使われているように見えるのも同じ。

高等教育におけるチョー算数問題扱いが妥当。