Thread by @genkuroki

【こわい人たちの議論に巻き込まないで🥲】←有害なトンデモ本の宣伝をしながら、こういうことを平気で言う？怖い😰

【P値の不適切解釈】については豊田『瀕死本』以外の文献にも書いてあります。

『瀕死本』がトンデモ本なのはP値の代わりに【仮説が正しい確率】の使用を勧めているからです。続く

https://twitter.com/noboru_hagino/status/1351451245274271748

豊田『瀕死本』ではP値ではなく【仮説が正しい確率】を使うことを勧めているのですが、【仮説が正しい確率】の具体例を見ると漸近的にP値と一致している数値になっていたりするので、この本は実質的にP値ではなくP値を使うことを勧めていることになっています(笑)。続く

例えば豊田『瀕死本』の図5.2, 5.3のphc=「仮説が正しい確率」はそれぞれに対応するP値にほぼぴったり一致しています。

添付画像のグラフとソースコード nbviewer.jupyter.org/gist/genkuroki… を見て下さい。

この一致は偶然ではなく、一般的に成立しています。

豊田『瀕死本』が有害なトンデモ本であることを見抜くことができない人が『統計学を哲学する』も面白い本だと感じていることはとても印象的です。

「仮説が正しい確率」と言われてもトンデモ感を何も感じない人は『統計学を哲学する』における統計学の杜撰な解説にも違和感を感じないかもしれない。

例えば、『統計学を哲学する』p.17には添付画像のように書いてあります。楕円の長軸と回帰直線が異なることは入門的な話題の一つです。

分布を特徴付ける値をその期待値と呼んでいたりもする。(p.31)

そもそも統計学は【お墨付き】を得るための【特権的な機能】(p.1)を持っていません。

https://twitter.com/genkuroki/status/1327884834157383680

豊田『瀕死本』について補足。

豊田『瀕死本』における「仮説が正しい確率」は漸近的に対応するP値に一致しているので、実質的にP値の使用を勧めている本になっています(笑)。

そのような解釈のもとでは、ゴールを厳しめにずらすことによって不正をやりにくくすることを提案しているとみなせます。

https://twitter.com/genkuroki/status/1351686751228575745

P値と事後分布の関係を理解していれば、どちらを使っても結果は同じで、ゴールを厳しめにずらすことはどちらの道具を使っても可能です。

『瀕死本』のベイズ云々や尤度原理云々は単なるトンデモで完全に無視できます。そして、そういう無視を実行されちゃうと『瀕死本』の存在価値は無くなる。

P値を使った不正行為と同様の方法で、ベイズ統計における事後分布で測った確率を使っても不正行為が可能です。

P値ではなく、ベイズ統計を使えば「尤度原理」によって不正行為が許されるかのように語っている点は豊田『瀕死本』の最も有害な部分だと思います。

研究不正の勧めはシャレにならない。

https://twitter.com/genkuroki/status/1344969726112403456

『統計学を哲学する』については、その良いところを褒めつつ、統計学の解説部分がひどく杜撰であることも正直に指摘している書評は出てき難いだろうと予想していました。

その予想は現時点では完璧に当たっている。

これは何を意味しているんでしょうかね？

怖い、怖い、本当に怖い😰

https://twitter.com/genkuroki/status/1351690412562366465

豊田『瀕死本』と『統計学を哲学する』の読者層は近いと思う。

『瀕死本』をトンデモ本だと見抜けない人は、『統計学を哲学する』にある統計学の解説におかしな部分があることにも気付かないでしょう。そういうレベルの人達がその本で統計学で【お墨付き】が得られる理由を学ぶわけ。怖すぎ。

豊田『瀕死本』での「仮説が正しい確率」が対応するP値にほぼぴったり一致していることを見抜くには、P値について統計学入門を超えた理解が必要になります。

だから、統計学入門しか終えていない人がトンデモを見抜けないことはよく理解できる。

https://twitter.com/genkuroki/status/1351686751228575745

しかし、統計学入門で単なる「やり方」ではなく、各概念についてどのように定義されるべきものなのかまできちんと理解してしまっていれば、入門レベルの知識＋理解に基く自力での一般化で、トンデモを見抜くことができます。

しかし、統計学入門は「やり方」重視で行われがちだと思う。

#統計 AICは、1000人分のデータを使って作った予測分布による未知の1001人目のデータの予測を問題にするのに、毎年1000人分のデータを集める話をするのは「まことに奇妙」と言わざるを得ない。

この本を読む前にAICについて理解していないと気付けない問題。

添付画像は『統計学を哲学する』より。

#統計 統計学そのものを未習だったり、数学が難しくて理解するの大変だと思っている人達が、『統計学を哲学する』のような本を読んで「当たりをつけようとすること」はやめた方が良いし、そうしようとしている人には統計学の解説部分がずさんであることを教えてあげる方が親切だと思います。

#統計 『統計学を哲学する』については、その良いところを褒めつつ、統計学の解説部分がひどく杜撰であることも正直に指摘している書評は出て来難いだろうという予測は大変な精度で当たっています。

もう1つの悲観的な予想はこれがその杜撰な部分を無視して哲学業界内部で高く評価されてしまうこと。

AIC (an information criterion(笑))については赤池さん本人により解説が名調子でわかり易いです。数学抜きで理解不可能な話になっていることにも注意。

jstage.jst.go.jp/article/butsur…
エントロピーとモデルの尤度
赤池弘次
1980

これを読めば対数尤度の概念の統計力学的な位置付けもわかります。

https://twitter.com/genkuroki/status/1351856966298030082

AICに関する解説を読むときに注意するべきことは、「AIC自身は予測の良さそのものを表して__いない__」という事実です。

実際、AICによる判断は微妙な場合に間違う確率が結構高い(ある場合には有意水準を十数パーセントにした感じになる)。

予測の良さそのものは汎化誤差(またはKL情報量)の方です。

AICを使うと、データが運悪く偏っているときに、予測分布の汎化誤差がひどく大きくなった側のモデルを選択することになり、そうなる確率はサンプルサイズ→∞の極限でも0になりません。

AIC系の情報量規準は「数学的にぎりぎりを攻めている規準」なので、使用時のリスクに気を配る必要があります。

精緻な数学的道具に関する杜撰なまとめによって「哲学的な教訓」を引き出す行為は、伝統的なトンデモの定番のパターンです。

AICについても伝統的なトンデモのパターンがこれから盛り上がるということなんですかね？すでに盛り上がっていたりする？