Thread by @genkuroki

#統計 検定やP値の扱いについてのFisherさんやNeymanさんとPearsonさんの幾つかの発言を拾うと、「頻度論」「頻度主義」という用語で不当に戯画化・過激化されてしまっているP値と検定の姿は消え去り、科学的常識の範囲内で普通に理解できる穏健なものになります。

errorstatistics.com/2017/11/19/eri…
を参照

https://twitter.com/genkuroki/status/1342522966022574081

#統計 errorstatistics.com/2017/11/19/eri… で統計学の哲学者のMayoさんは、統計学者のLehmannさんによるFisherさんやNeymanさんとPearsonさん達(以下NPさん達)の発言の引用を紹介しています。

それらの引用を読むと、FisherさんとNPさん達の意見の違いを強調するための戯画化・過激化は不当であることがわかる。

#統計 検定の理論について突っ込んだ勉強をしたい人は、Lehmannさんの教科書

Testing Statistical Hypotheses
google.com/search?q=Lehma…

を読むと良いと思います。

#統計

* Pearsonさんは"acceptance", "rejection"(棄却)という用語の選択が失敗だったことを認めている。

* さらに、Fisherさんによる「科学的研究において統計的検定は『学習の手段』である」という見方も共有しており、Fisherさんと考え方はそう違わないとも述べています。

#統計 ベイズ統計を使用する場合にも、予測分布に仮説検定の方法を適用してモデルのある側面をチェックすることが、より良いモデルの発見に役に立つことがGelman-Shalizi (2013)で解説されています。

要するに、FisherさんやNPさん達の「統計的検定は『学習の手段』である」はベイズ統計でも有効。

https://twitter.com/genkuroki/status/1340991574625329153

#統計 以上のような事実を知れば、「頻度主義」「ベイズ主義」というような用語でそれらを不当に戯画化して、さらに「FisherさんとNeyman-Pearsonさん達は違う立場である」とか、「ベイズ統計と統計的検定は水と油である」というような見方が、どれだけ不当で不毛であるかがよく分かると思う。

#統計 あと、Fisherさんもpower(検出力)の重要性に気付いていたとも指摘されています。

Fisher (1947, p.24) は mimno.infosci.cornell.edu/info3350/readi… で読めます。

#統計 添付画像はFisher (1947, p.24) より

mimno.infosci.cornell.edu/info3350/readi…

#統計 多くの場合に、検定は直接Neyman-Pearsonの補題を適用できる分布p₀(x)と分布p₁(x)を比較する検定ではなく、パラメータ付きの分布族p(x|θ)のモデルについて、帰無仮説θ=θ₀の表現である分布p₀(x)=p(x|θ₀)と対立仮説族の表現である分布族p(x|θ)を比較する検定になっています。続く

#統計 そのときに検出力が問題になるのは、帰無仮説の分布p₀(x)=p(x|θ₀)と各々のパラメータθごとに決まる対立仮説の分布p(x|θ)の間の検出力になります。

検定の仕方によって、検出力が下がると、有益な知見が見逃されてしまうリスクが増えます。Fisherさんもそういうことを当然気にしていた。

#統計 添付画像もNeyman-Pearsonさん達とFisherさんの穏健さを強調しています。

Neyman-Pearsonさん達も、第1種と第2種の過誤の間で(すなわち有意水準と検出力の間で)バランスを取ることを推奨していた。

#統計 Fisherさんは性格的にかなり過激な人だったことが知られており、そういう人に絡まれた側もそのせいで過激な言い方をしてしまうというミスをおかすことは十分にありえます。

そういう部分を真剣に受け取らずに、穏健で合理的な考え方を再構成して後世に伝えることができれば良いと思います。

#統計 「頻度主義」と言う言い方で検定の方法を不当に戯画化&過激化してしまうことや、正確な引用も建設的な再構成も無しに「FisherさんとNeyman-Pearsonさん達の検定は違う」とあっさり言う行為に対して、どれだけ「トンデモ感」を感じているかを頑張って説明してみました。

#統計 多分、このスレッドでの私のたった1つの貢献は、FisherさんとNeyman-Pearsonさん達による

　科学的研究において、統計的検定は『学習の手段』である

という考え方を、Gelman-Shalizi (2013)にある実践ベイズ統計の話に明瞭に繋げたこと。

https://twitter.com/genkuroki/status/1342633603428098050

#統計 仮説検定は【お墨付き】を得たり、【何をなすべきか】についての意思決定をくだすための道具ではない。(Pearsonさんもaccept, rejectという用語の採用は失敗だったと言っている。)

仮説検定は「学習の手段」の1つであり、実践的ベイズ統計においてもモデルの改良のために使用可能な道具である。

#統計 内容的に杜撰な本を読んで賢くなったと誤解しないようにした方がよい。