Thread by @genkuroki

#統計

⭕️正規分布に従う母集団から標本を無作為に取ってきてそのサイズと平均と不偏分散から95%信頼区間を求めた時に、その区間の中に95%の確率で母平均が含まれる。

は正しいです。ただし、確率的に揺らぐのは標本や信頼区間の側で、母平均は固定されています。続く

https://twitter.com/zapa/status/1468923536387756032

#統計

❌正しくは、「母集団から標本を無作為に取ってきて、そのサイズと平均と不偏分散から95%信頼区間を求める、という作業を100回やったときに、95回はその区間の中に母平均が含まれる」という意味です。

は誤り。「正しくは」と訂正しようとしている所が単純に間違っています。訂正は無用。続く

https://twitter.com/zapa/status/1468934520540110849

#統計 「95%信頼区間の95%は確率ではなく、割合である」という信頼区間の定義に反する自明に間違っている主張をわざわざ広めて大恥をかいている人たちは一体どういうつもりなのか？

詳しくは私のツイログを参照
↓
twilog.org/genkuroki/sear…

#統計 95%信頼区間の95%の意味を誤解しないための第一のポイントは、確率的に揺らぐのは、標本を取り出した母集団の平均ではなく、取り出した標本や標本から計算される信頼区間の側であることです。

母集団は固定されているという設定なので、母集団の平均も固定されていて確率的に揺らぎません。続く

#統計 誤解しないための第二のポイントは、標本を取り出す母集団は現実の母集団ではなく、数学的フィクションである正規分布モデル内での仮想的な母集団であることです。

この点は学部生レベル程度の統計学入門の教科書でまともに説明されていないので注意が必要です。続く

#統計 現実の母集団から取得した標本は固定された数値の集まりなので確率的に揺らがないのですが、数学的フィクションとしての標本ならあなたが好きなように任意の確率的な揺らぎ方をするようにできます。続く

#統計 平均の95%信頼区間の95%は「正規分布モデル内での標本分布に従って確率的に揺らぐ標本から作った区間にその正規分布の平均が含まれる確率」になっています。

95%はモデル内確率の一種です。続く

#統計 一般に信頼区間は、データ(現実世界で得た標本)だけではなく、数学的フィクションであるモデル(例えば正規分布モデル)の取り方にも依存します。

95%信頼区間の95%はそういう数学的フィクションとしてのモデル内部における確率に過ぎません。

#統計 信頼区間を計算するために使ったモデルは数学的フィクションにすぎないので、そのモデルを使って作った95%信頼区間はその数学的フィクション内部でのみ完全に信頼できるものになり、現実世界での意思決定で利用する場合には細心の注意が必要になります。続く

#統計 以上の解説は、信頼区間が数学的フィクションであるモデルに依存するという数学的には自明な事柄を強調することによって、よく見る初歩的な誤解(確率ではなく割合だという誤解)を訂正するだけではなく、信頼区間の使用時にどのような注意が必要かも明らかにしています。

#統計 例えば、次の問題について何も考えたことがない人は、正規分布モデルを使った平均の信頼区間を現実で使うことを禁止されるべき！

問題：標本を取得した現実の母集団の分布が全然正規分布に従っていない場合には、正規分布モデルで計算した95%信頼区間はどれだけどのように信頼できるか？

#統計 現実の母集団が全然正規分布に従っていないのは普通のことであり、そのような場合に正規分布モデルを適用したときに生じるリスクについて考える必要があります。

こういう科学的には当たり前のことについて何も考えずに統計学の道具を使うことは非科学的な迷惑行為になると思います。

#統計 ベイズ版95%信用区間の解説でよく見られるデタラメな説明についての解説
↓

https://twitter.com/genkuroki/status/1469039737877180416

#統計 信頼区間と表裏一体の検定におけるP値について、添付画像のように、「というふうに統計の教科書なんかに書かれているので」と言いたくなる気持ちがよく分かる(添付画像①、動画20:50あたり)。


「仮説検定とP値の誤解」
佐藤俊哉

#統計 入門的な教科書なんかでは、例えば正規分布モデルという数学的フィクションを道具として使っているのに、そのフィクション全体の現実における妥当性も疑わないと非科学的な推論になることを強調せずに、平均に関する帰無仮説だけを特に問題にしているように見える説明を書く傾向が強い。

#統計 尤度は「モデルのデータの数値への適合度」の指標の1つ。

P値も「モデルのデータの数値への適合度」の指標の1つとみなせます。ただし、尤度と違ってモデルの包括的な適合度を見るのではなく、モデルのある特定の性質の適合度だけを見る指標になっています。続き

#統計 例えば、正規分布モデルにおける帰無仮説μ=μ₀の両側検定のP値は、特に平均の値に特に注目したときにμ=μ₀の正規分布モデルがデータの数値にどれだけフィットしているかの指標になっています。

#統計 尤度であろうがP値であろうが、多くの仮定を含むモデルを意識しないと使い方を間違えます。

正規分布モデルにおける帰無仮説μ=μ₀の両側検定のP値が非常に小さいときには、帰無仮説μ=μ₀のみを疑うのではなく、モデル全体のどこかがおかしいことを疑う必要があります。

#統計 そういうことが、

biometrics.gr.jp/news/all/ASA.p…
統計的有意性とP値に関するASA声明

の原則1に書いてあるわけです。

使用した統計モデルを意識する必要がある。

このスレッドの最初の方で強調したことは，信頼区間でも使用した統計モデルを意識する必要があることです。

#統計 尤度もP値も信頼区間も現実から得たデータの数値とモデルの関係を要約する量になっているという視点がないから、「尤度は尤もらしさの度合いである」とデタラメを述べたり、使用したモデル自体も疑いの対象なのにそのことを見えなくした上でP値や信頼区間について解説するのだと思う。

#統計 私の経験では、教科書に書いてある公式の丸写しをしたりせずに、第一原理に戻って、尤度やP値や信頼区間を計算する函数の十分に抽象化されたコード(プログラム)を書くことは理解の助けになります。

モデルの確率分布の存在を意識しないと抽象化されたコードを書けない。結構難しく、楽しい。

#統計 コンピュータのプログラムでは、モデルもデータも身も蓋もない形式で実装されることになるので、モデルに関する主張を現実の母集団に関する主張と混同することもなくなります。