Thread by @genkuroki

#統計 「停止規則」問題に完全決着

統計的検定では「帰無仮説が棄却されるまで順次データを増やして行く」という停止規則の工夫によって、帰無仮説が正しくても帰無仮説を確率1で棄却できてしまうが、ベイズ統計にはそういう問題はない、という主張が完全に間違っていることを説明します。

#統計 ぶっちゃけ、「統計学では主義が重要だ」という杜撰な言説に頭がおかされてしまっていない普通の統計学ユーザーはこのスレッドを読む必要がありません。

しかし、少なくとも豊田秀樹さんの本でベイズ統計について勉強してしまった人はこのスレッドを読んだ方がよいです。

https://twitter.com/genkuroki/status/1344560687461253120

#統計 このスレッドでは簡単のために以下の場合を扱います。

分散を1に固定した正規分布モデル(パラメータは平均のμのみ)と平坦事前分布でのサイズnのデータから得られる事後分布はデータサイズnとデータの標本平均X̅だけから決まる:

μの事後分布 = 平均X̅分散1/nの正規分布.

#統計 適当な緩い仮定のもとで、データの標本平均は、大数の法則より、データサイズn→∞で真の平均μ₀に収束すると考えてよい。そのとき事後分布の分散も1/n→0となる。

ゆえに、真の値μ₀を含む任意の開区間a<μ<bについて、事後分布で測ったa<μ<bが成立する確率はn→∞で1に収束します。続く

#統計 要するに、事後分布で測った平均μに関する仮説「a<μ<b」が成立する確率は、実際に真の値μ₀がその仮説を満たしていれば、データサイズn→∞で1に収束するということです。

停止規則を工夫しても、その確率が1に収束することを防げません。

#統計 それに対して、平均μに関する帰無仮説「μ=μ₀」の両側検定では、任意に与えられた有意水準α>0について、停止規則を「P値がα未満になるまでデータを順次取得し続ける」に設定することによって、帰無仮説が正しくても、確率1で帰無仮説を棄却できます。

#統計 一時的なまとめ

ベイズ統計では、仮説「a<μ<b」が正しいならば、n→∞で事後分布において仮説「a<μ<b」が成立する確率は1に収束する。

帰無仮説「μ=μ₀」の両側検定では、停止規則を「帰無仮説を棄却できるまでデータを順次取得し続ける」にすれば、n→∞で確率1で帰無仮説を棄却できる。

#統計 さて、この数学的事実から、「ゆえに、統計的検定には停止規則に結果が影響されるという大問題があるので、ベイズ統計の方を使うべきである」と結論するのは正しいでしょうか？

ベイズ統計と統計的検定をフェアに比較できているでしょうか？

答えは、どちらも「いいえ」です。

#統計 「フェアな比較か？」への答えが「いいえ」である理由の1つ目は、扱っている仮説が「a<μ<b」と「μ=μ₀」で違っていることです。

仮説「a<μ<b」のP値を、μ₀をa<μ₀<bの範囲で動かしたときの仮説「μ=μ₀」の通常のP値の上限と定めることによって、仮説「a<μ<b」の両側検定が可能になります。続く

#統計 a,b→μ₀の極限で、仮説「a<μ<b」のP値は仮説「μ=μ₀」のP値に収束します。

この意味で、仮説「a<μ<b」のP値は仮説「μ=μ₀」のP値の拡張になっています。

ただし、a,b→μ₀とサンプルサイズn→∞の2つの極限は交換不可能なことが以下の議論では本質的になるので要注意！数学は大事です。

続く

#統計 1点に関する仮説「μ=μ₀」の検定を幅を持たせた仮説「a<μ<b」の検定に拡張できることを知っていれば、「帰無仮説μ=μ₀がぴったり現実に成立している可能性はないと考えられるので、仮説検定はナンセンス」という主張は無知に基く難癖に過ぎないことも分かります。

無知に基く難癖が出回り過ぎ。

#統計 仮説「a<μ<b」が正しいならば、n→∞で仮説「a<μ<b」のP値は1に収束します。

これはベイズ統計において、仮説「a<μ<b」が正しいならば、n→∞で、事後分布において仮説「a<μ<b」が成立する確率が1に収束することの類似になっています。

この類似に触れない比較はアンフェアです。

#統計 仮説「μ=μ₀」のP値は平均μ₀分散1の正規分布のサイズnの標本分布における標本平均X̅の分布を使って計算されます(任意の教科書を参照):

標本平均X̅の分布 = 平均μ₀分散1/nの正規分布.

大数の法則からn→∞でX̅→∞が正規分布標本以外でも成立する。続く

#統計 そのことから、真の平均μ₀についてa<μ₀<bが成立しているならば、nを十分大きくすれば標本平均X̅についてもa<X̅<bとなり、仮説「a<μ<b」のP値は1になります。

幅を持たせた仮説「a<μ<b」と1点のみの仮説「μ=μ₀」ではこのように様子が違っています。続く

#統計 「フェアな比較か？」への答えが「いいえ」である理由の2つ目は、仮説「μ=μ₀」の検定にちょうど対応することを、ベイズ統計の方で信用区間(確信区間、ベイズ版信頼区間)を使ってやってみると、検定の場合と同様にn→∞での結果が停止規則に依存するようになることです。

#統計 ベイズ統計でも検定の場合と同様に停止規則の「工夫」による不正行為が可能であることに触れない比較はアンフェアです。

#統計 検定の解説者は「帰無仮説が棄却されるまで順次データを増やし続けるのは不正行為」と言う。

しかし、主観主義ベイジアン達は「ベイズ統計ならば順次データを取得して行っても問題ない」と言う傾向が強い。実際にはベイズ統計でも不正行為が可能なのでひどく有害な発言です。続く

#統計 有意水準5%の検定で、帰無仮説「μ=μ₀」が棄却されることと、μの95%信頼区間にμ₀が含まれなくなることは同値です。

これのベイズ統計版は、事後分布から得られるμの95%信用区間(ベイズ版信頼区間)にμ₀が含まれるか否かを見ること。

フェアであるためにはこの2つを比較する必要があります。

#統計 ところが、分散固定の正規分布モデル+平坦事前分布の場合には、通常の信頼区間とベイズ版の信用区間は完全に等しい！

だから、ベイズ統計で事後分布から得られるμの95%信用区間(ベイズ版信頼区間)にμ₀が含まれるか否かを見ることは、「μ=μ₀」の仮説検定と完全に同じことになります。

#統計 一般には、通常の信頼区間とベイズ版信用区間はぴったりは一致しないのですが、適当な緩い条件(正則性は仮定)のもとでは、n→∞で漸近的に一致します。

そのような場合にn→∞での「違い」を語ることには意味がありません。

#統計 要するに、ベイズ版信用区間を使えば、統計的検定における「有意差が出るまで順序データを増やして行く」という不正行為と同じことを、ベイズ統計でもできます。

ベイズ統計の解説者も、ベイズ統計でも停止規則の工夫によって不正行為が可能であることを強調しないとダメです。

#統計 そもそも、正則モデルの場合にはデータサイズn→∞での漸近挙動はベイズ統計と最尤法で同じになり、「μ=μ₀」型の検定の漸近挙動は最尤法の漸近挙動から得られます。

だから、その場合には「n→∞での挙動がベイズ統計では違う」などと言っちゃいけないのです。

#統計 もっとおおらかに、こうすればよい。

* 正則モデルの場合には、データサイズnを仮に十分大きくできるなら、ベイズ統計であろうがなかろうが同じ。

* 既存の主義ではなく、自分自身の目的に合わせて、検定、最尤法、MAP法、ベイズ法などなどの素晴らしい道具を適切に使えば良いだけの話だよね。

#統計 #Julia言語

サンプルを生成している分布の平均μ₀が a<μ₀+x<b を満たしていれば、仮説 a<μ+x+b のP値が1に収束することを示す動画

μ₀ = 0.0
a = -0.1
b = 0.2

の場合

-0.1<x<0.2 でP値が1に収束している。

ソースコード
nbviewer.jupyter.org/gist/genkuroki…

https://twitter.com/genkuroki/status/1344945082667913217

#統計 #Julia言語

区間 a < x < b でP値が1に収束してくれるのですが、そこから外れると、P値函数が確率的にふらふらと左右に揺れてしまうせいで、容易に0に近い値になってしまいます。

1に収束する区間の幅が0だとその「ふらふら」のおかげで「停止規則」による不正が可能になるという仕組みです。

#統計 #Julia言語 通常の仮説 μ+x=0 のP値の動画

仮説 μ+x=0 のP値函数はとんがり頭の形になります。

仮説 a<μ+x<b のP値函数は頭のてっぺんが値1で平ら。

サンプルの中身を増やして行くと、幅が狭くなりつつ、左右にふらふらします。

その「ふらふら」を悪用できれば不正が可能になる(ニヤッ)😏

#統計 大昔にSavageさん達が主観主義ベイジアンの勢力を伸ばすために「尤度原理」を悪用すれば堂々と不正をできることを利用したのですが、そういうくだらない話は忘れて、

　事後分布やP値函数のn→∞での挙動を調べる

という話にすれば、十分に楽しく生産的な話題になる可能性があります。

低レベルでくだらないことを言われても、常に「結局のところ数学的にはどうなっているのだろうか？」と考えて、心と手およびコンピュータで計算して楽しむことができれば、精神的にダークサイドに落ちずに済みます。

コンピュータで計算するなら動画を作ると楽しいです。

百聞は一見に如かず。

#統計 答え: 検定でもベイズ統計でも、使い方によって、「欲しい結果が得られるまでデータを順次取得し続ける」という方法による不正行為が可能になったり、ならなかったりする。

検定の解説者は不正行為が可能なことを警告して来た。

しかし、主観主義ベイジアンは不正行為を実質的に推奨して来た。

https://twitter.com/genkuroki/status/1344945062287794176

#統計 相互リンク

https://twitter.com/genkuroki/status/1344959128578318336