Thread by @genkuroki

#統計

ルーレットAでは当たりが出る確率が1%であるとする。
未知のルーレットXを回したら当たりが出た。

①仮にルーレットXがルーレットAなら当たりが出る確率は1%でしかない。

②ゆえにルーレットXはルーレットAではないだろう。

①は常に正しいが、②の判断は常に正しいとは限らない。続く

#統計

①' 仮にルーレットXがルーレットAだとしても、当たりが出る確率は1%でしかないので、ルーレットXはルーレットAではないという判断が誤りになる確率は1%でしかない。

も正しい。

しかし、現実的な状況では他に使える情報があることが普通なので、その判断の仕方が誤りになる場合もある。続く

#統計 100台のルーレットのうち1台が1%の確率で当たりが出るルーレットAで、残りの99台は当たりの出る確率が0.0001%のルーレットBであるとする。

その100台のうちから無作為に選んだルーレットXを回したら当たりが出た。

そのときX=Aである確率は約99%になる。

#統計 1つ前のツイートでの当たりが出たという条件の下でのX=Aの条件付き確率の計算は、不幸なことによく「ベイズの定理」を使って説明されるが、もちろん無用。

さらにひどい解説だと、小学生レベルの割合の計算を「ベイズ推定」だと言い張っているものがある。特に医学部の学生は注意が必要。

#統計 以上の解説を読んで、仮説検定よりも条件付き確率の使用の方が一方的に優れていると判断するのは誤りである。上の例ではそれぞれで使用できた情報の量が全然違っている。

#統計 以上で説明した例は次の一般論の特別な場合とみなせる。

一般に、ギャンブルで勝ち目を増やすために確率を使った推論・推測を行う場合には、信頼できる情報の全てを使った方がよい。

こういう事情があるので、統計学を使う場合には各専門分野における固有の知識を重視する必要がある。

#統計 以上は、検定やベイズ統計に関する妙な解説(特に昔の偉い人が唱えた「主義」的な事柄をいきなり持ち出すいつものアレ)を廃して、数学的な事柄から導けることと導けないことを明瞭にして、さらに教訓を引き出すことを、仮に私がやったらどうなるかの実例として示したものである。

#統計 仮説検定について「Fisher vs. Neyman-Pearson」という図式を持ち出す解説も私は酷いと思っています。

科学的にはそういう昔の偉い人が何を言っていたかはどうでもよいことです。

計算したP値の数学的定義と性質から本当は結論できないことを結論できないと素直に認めるだけでよい。

#統計 このスレッドでは、

⓪ルーレットXを回したら当たりが出た。

①仮にルーレットXがルーレットAならば当たりが出る確率は1%でしかない。

から

②ルーレットXはルーレットAではないと判断して良い。

という結論を出せないことを認めるだけで良い。

【お墨付き】を得るという思考は捨てる。

#統計 数学的定義とその数学的性質から出せるはずがない結論は出せないものは出せないことを、統計学を【お墨付き】を得る人達が困る程度に明瞭に述べておくことは非常に大事なことだと思います。

そして、小学生レベルの割合計算で「ベイズの定理」を使ったり、「ベイズ推定」扱いしたりしない。

#統計 あと、数学的道具P(例えばP値)を使ってできないことがあることを明らかにした後でも、その数学的道具が全然ダメであるかのようなことを決して言わない。

単にその数学的定義と性質からの帰結に過ぎないという態度で一貫する。

#統計 確率の概念を使った推論・推測をする場合には、信頼できる情報をどれだけどのように使ったかで「勝ち目」が大きく変わるので、ユーザーによる専門知識を用いた「自由な利用」を推奨するべき。

妙な「主義」で縛らない。

その代わりに「自由な利用」に必須の数学的内容の理解を重視する。

#統計 FisherやNeyman-Pearsonが示した数学的結果は彼らの「主義」と無関係に意味があるものなので大事にする。

そのときに、数学的結果を超える「主義」を同時に認めてしまわないように注意を払う。

「主義」の話は数学的に何が導出できてできないかがクリアになった後に行うべき。