Thread by @genkuroki

#統計 念の為のコメント

1️⃣「t検定の使用が適切なためには、母集団が正規分布に従っていることが必要である」という考え方は誤り。

2️⃣「Wilcoxonの順位和検定=Mann-WhitneyのU検定であれば、無条件使用は適切である」という考え方も誤り。

以上の誤りを信じている人達をよく見る。続く

https://twitter.com/ien_enjoy/status/1669298004761923584

#統計

1️⃣「t検定の使用が適切なためには、母集団が正規分布に従っていることが必要である」という考え方は誤り。

これについてはツイッター上で繰り返し非常に詳しく解説して来ました。

ツイログ検索
↓
twilog.togetter.com/genkuroki/sear…

#統計

2️⃣「Wilcoxonの順位和検定=Mann-WhitneyのU検定であれば、無条件使用は適切である」という考え方も誤り。

これについてもツイッター上で繰り返し非常に詳しく解説して来ました。

ツイログ検索
↓
twilog.togetter.com/genkuroki/sear…

#統計 t検定やWilcoxonの順位和検定=Mann-WhitneyのU検定の使用可能条件に関する理解が酷く間違っている解説の例。

多分、高等教育機関で教える側が基本的なことを理解せずに間違った解説をして来た場合は全く孤立していない。間違っている側が多数派の可能性さえあり得る。

https://twitter.com/genkuroki/status/1623049041620930565

#統計 2群の平均値の差を扱うWelchのt検定でのt分布の使用は保守的な(=P値を少し大きめにする)補正だとみなされ、その補正を無視すれば、Welchのt検定は、独立な2群の標本の平均の分布が中心極限定理によって正規分布で近似されていれば使用可能だと考えられます。続く

#統計 2群の標本のサイズがともに20～30以上であれば、使用するt分布は標準正規分布で近似され、t分布を使った補正の影響は小さくなる。

その場合には、2群の母集団が正規分布に従ってなくても、2群の標本の平均が正規分布で近似されていれば、Welchのt検定を使用可能です。続く

#統計 ポイントは、

(1)母集団が正規分布に従っているという条件は極めて強く、多くの場合に成立していない

と考えられるが、

(2)中心極限定理によって、標本の平均であれば近似的に正規分布に従い易くなる

ということです。t検定の使用可能性については後者の(2)が重要になります。

#統計 同様のことは、線形回帰についても言えます。

❌残差が正規分布に従ってなければ、線形回帰の使用は不適切になる

も誤りです。

⭕️残差が独立で、回帰係数の推定量の分布が拡張された中心極限定理によって多変量正規分布で近似されていれば、線形回帰で回帰係数の推定を扱うことは適切。

#統計 実際には、みんな知っているように、線形回帰を適切に適用するときには注意するべきことが沢山あるのですが、

❌残差が正規分布に従ってなければ、線形回帰の使用は不適切になる

は誤りです。回帰係数の推定量(これは標本平均の一般化)にどれだけ中心極限定理が効いているかが重要。

#統計 正規分布モデルを使った平均や平均の差や回帰係数の推定や検定であれば、母集団や残差がが正規分布に従っているという超絶強い条件が不要で、標本平均や回帰係数の推定量に中心極限定理が十分効いていて近似的に正規分布に従っていれば十分だということです。

#統計 正規分布モデルを使った平均や平均の差や回帰係数の推定や検定はそういう意味で頑健(robust)なのですが、正規分布モデルを使った分散や分散の違いの推定や検定は、母集団分布の正規性からの逸脱に脆弱なので注意が必要です。

そのことは例えば不偏分散の分散を計算すれば分かります。

https://twitter.com/genkuroki/status/1660170089172434944

#統計 2群の平均値の差を扱うt検定の話に戻る。

Welchのt検定と違って、Studentのt検定は使用可能条件がずっと厳しくなります。

2群の標本の不偏分散が等しい

または

2群の標本サイズが等しい

という条件の下で、Studentのt検定のt統計量はWelchのt検定のt統計量に等しくなります。続く

#統計 続き。そして、2群の標本サイズがともに20〜30以上なら、t分布を使った保守的な補正の影響は小さくなります。

だから、Welchのt検定の使用が適切な状況でさらに

2群の標本の不偏分散が等しい

または

2群の標本サイズが等しい

となっていれば、Studentのt検定の使用も適切だと考えられます。

#統計 要するにWelchのt検定の方が安全に利用しやすい。

しかし、非常に不思議なことに、Welchのt検定はかなり昔から知られているのに、なぜかStudentのt検定の側を勧めているように見える解説が昔から多い。

t検定がStudentのt検定を意味している解説は不適切な解説である可能性が極めて高い。

#統計 次に、Wilcoxonの順位和検定=Mann-WhitneyのU検定を安易に不適切に使用することが世界中で蔓延しているように見えるという問題について説明します。続く

#統計 Wilcoxonの順位和検定=Mann-WhitneyのU検定でのU統計量は、2群の標本X₁,…,XₘとY₁,…,Yₙについて

U = Σ_{i=1}^m Σ_{j=1}^n (Xᵢ<Yⱼならば1、Xᵢ=Yⱼならば1/2、Xᵢ>Yⱼならば0)

と定義されます。これのmn/2からの解離の大きさをU検定では見る。続く

#統計 続き。

p̂ = U/(mn)

とおくと、p̂は2群からランダムに1人ずつ選んで対戦させたときのY側の勝率の推定量になります(値が大きい方が勝つと考える)。

Mann-WhitneyのU検定では、勝率の推定量p̂と1/2の差を見ていることになります。続く

#統計 ただし、Mann-WhitneyのU検定の帰無仮説は

　2群の母集団分布は等しい

という超絶強い条件になっていることに注意が必要です。

2群の間に優劣をつけられなくても、分散や歪度や尖度などが異なっていても、勝率の推定量p̂と1/2の差は大きくなり易くなります。続く

#統計 だから、Mann-WhitneyのU検定で有意差が出ても、2群に優劣があるせいで有意差が出たのではなく、優劣はつけられないのに、2群の分散や歪度や尖度などが異なるせいで有意差が出易くなっていただけかもしれません。続く

#統計 こういう事情があるので、2群の優劣を知るために、Mann-WhitneyのU検定を安易に使うと、優劣以外の理由で有意差が出る可能性に十分に配慮する必要が出て来ます。

しかし、実際には、ノンパラメトリック検定であれば無条件で使えるかのような、実践的には致命的な誤解が広まっています。

#統計 よく読まれている解説本で、Mann-WhitneyのU検定=Wilcoxonの順位和検定を使用できない場合をグラフで示して、その使用できないはずの場合にピンポイントでWilcoxonの順位和検定の使用を勧めているようにも見える解説をしている場合もあります。(t検定=Studentのt検定なことも悪い)

https://twitter.com/genkuroki/status/1637310084912123904

#統計 等分散でないとStudentのt検定が使用できないのでノンパラメトリックなWilcoxonの順位和検定を勧めているようですが、等分散でない場合には2群の優劣と無関係にWilcoxonの順位和検定で有意差が出易くなることがあるので、その場合にWilcoxonの順位和検定の使用を勧めることは致命的な誤りです。

#統計 実際にMann-WhitneyのU検定=Wilcoxonの順位和検定が安易に誤用されていることについては粕谷さんの20年以上前の論文を見て下さい。(他にも関連の文献はあります。)

粕谷さんによる日本語での簡単な解説
↓
kasuya.ecology1.org/stats/utest01.…
Mann-WhitneyのU検定と不等分散
粕谷 英一 2001

#統計 ただし、等分散性はMann-WhitneyのU検定=Wilcoxonの順位和検定の適切使用の十分条件になっていないことにも注意してください。

等分散であっても2群の優劣を知るためにMann-WhitneyのU検定を使用することが不適切な場合の例
↓

https://twitter.com/genkuroki/status/1642245861735567361

#統計 Mann-WhitneyのU検定の検定統計量Uと本質的に同等な勝率の推定量p̂=U/(mn)を検定統計量として使い、検定統計量の分散の評価で、MWのU検定のように「同分布」の帰無仮説を使わずに、「勝率5割」の弱い帰無仮説しか使わないより頑健な検定に、Brunner-Munzel検定があります。続く

#統計 Studentのt検定よりもWelchのt検定を使った方が頑健で好ましいのと同じような感じで、Mann-WhitneyのU検定よりもBrunner-Munzel検定を使った方が頑健で好ましいです。しかし～続く

#統計 Mann-WhitneyのUもしくはそれと同等な勝率の推定量p̂=U/(mn)を使った検定を行う場合には、X群はY群より強く、Y群はZ群より強く、Z群はX群より強いというジャンケン状態が生じる可能性にも気をつける必要があります。

勝率による優劣では推移性が崩れます。

https://twitter.com/genkuroki/status/1639029281623007232

#統計 そもそも、

　2群の平均の差を扱うStudentのt検定やWelchのt検定

と

　本質的に2群を対戦させたときの勝率と1/2の差を扱うMann-WhitneyのU検定やBrunner-Munzel検定

で、互換性があるかのように考えること自体がひどく間違っています。続く

#統計 治療や介入の効果を測るために適切な指標が平均の差ならばStudentのt検定やWelchのt検定を使うべきだし、適切な指標が勝率と1/2の差ならばMann-WhitneyのU検定やBrunner-Munzel検定を使うべきです。(どちらも後者の方が頑健)

#統計 どの指標を使って効果を測るかによって、効果の意味は全然違うものになるので、全然違う指標を検定統計量として使う検定達の間には互換性は全然ないことが強調される必要があります。

単に「有意差を出すために検定を使う」のように考えると科学的に杜撰になってしまうことになります。

#統計 講義で

❌t検定は正規母集団の前提がないと使えない。

❌ノンパラメトリック検定は無条件にいつでも使える。

❌ゆえにノンパラメトリック検定をデフォルトで使うことにしても良さそうだ。

のように説明してしまった人は、ひどい誤りであったことを認めて、訂正する必要があります。

高等教育機関で教える仕事をしていれば、

　間違った内容を講義してしまうこともある

ことや

　間違いに気付けずにすぐに訂正できない場合もある

ことをよく知っているはず。

　可能な限り訂正して行く

以外にやりようがない。

学生の側はこういうものだと知っておく必要があると思います。

補足

https://twitter.com/genkuroki/status/1670270261713862657

#統計 正規分布モデルを使って作った検定法に関する

　母集団分布が正規分布ならば○○検定を使える

から

　母集団分布が正規分布でないならば○○検定を使えない

は導けません。○○検定がt検定やz検定の場合に後者は実際に全然成立していない。

後者が全然成立しない理由は中心極限定理。

https://twitter.com/genkuroki/status/1670270266247880705

#統計 未知の母集団分布の数学的モデルとして○○分布を採用した場合の統計分析では、未知の母集団分布が○○分布からかけ離れていると誤差が大きくなってしまう危険性があります。

しかし、正規分布モデルで平均や回帰係数を扱う場合には、中心極限定理によって誤差が小さくなり易くなります。

#統計 正規分布モデルで平均や回帰係数を扱う場合には、中心極限定理によって誤差が小さくなり易くなる。

しかし、正規分布モデルによって分散を扱う場合にはそうならない。なぜなら、不偏分散の分散が、未知の母集団の未知の尖度に依存し、正規分布モデルの想定からかけ離れた値になり易いから。

#統計 以上の話はそのまま正規分布モデルのベイズ統計の場合にも適用される。

まず、ベイズ統計の場合にも、事前分布云々以前に、正規分布モデルを採用するときには「母集団分布が正規分布になっていることは保証されないのに、正規分布モデルを使っていいの？」という疑問を持つ必要があります。続く

#統計 正規分布モデルを使っても大丈夫かどうかという問題を解決できないなら、適切な事前分布としてどれを採用するかという問題について考えても時間の無駄。

事後分布による平均の扱いは頑健だが、分散についてはそうではないことは、正規分布モデルのベイズ統計でも同じです。

#統計 未知である残差の分布の数学的モデルとして正規分布を採用している線形回帰については、

　通常のt分布を使って計算される回帰係数の信頼区間

と

　回帰係数とlog σ²についての平坦事前分布を採用した場合の
　ベイズ信用区間

は誤差無しに数学的にぴったり一致します。続く

#統計 だから、回帰係数とlog σ²についての平坦事前分布という完全に無情報な事前分布を採用すると、ベイズ版線形回帰を採用しても、回帰係数に関するに統計的推論については、非ベイズの通常の線形回帰と本質的に同じことしかできません。

これも知らないと無駄に誤解が増えやすい所。