Thread by @genkuroki

#統計 ものすごく基本的な話題

サンプルサイズNで割る標本分散とN-1で割る不偏分散を比較してみました。

#Julia言語
nbviewer.jupyter.org/gist/genkuroki…

①不偏分散の期待値は真の分散に一致し、標本分散の期待値のずれの大きさは1/Nに比例する。

②真の値との誤差の二乗の期待値は不偏分散の方が大きい。

https://twitter.com/genkuroki/status/1372834621075849222

#統計 サンプル達は標準正規分布で生成しています。

横軸はサンプルサイズNの逆数。右に行くほどサンプルサイズが小さくなる。

不偏分散は期待値は真の値に一致するのですが、二乗誤差は標本分散よりも大きくなります。

不偏分散が標本分散よりも一方的に優れているという思い込みは誤りです。

#統計 たとえば、あなたと私でランダムに生成されたサンプルから分散を推定するゲームをやったとします。

真の値との差の二乗が大きい方が小さい方に差に比例した罰金を支払うというルールなら、不偏分散を推定法として採用した人は負け組になってしまいます。

#統計 exactな公式もあるのですが、サンプルサイズN=10の場合に標準正規分布のサンプルの標本分散と不偏分散の分布をモンテカルロ法でプロットしてみました。続く

#統計 続き

1つ前のツイートの添付画像を見ればわかるように、不偏分散も標本分散も真の値よりも小さくなる確率の方が高い。

真の値よりもずっと大きな値になることもあるので期待値が真の値に近くなるという仕組み。

不偏分散ではその仕組みが強化されて、期待値が真の値に一致することになる。

#統計 続き

二乗誤差を小さくするという立場から見ると、不偏分散は真の値よりもずっと大きくなる確率を増やし過ぎているので、不偏分散の期待二乗誤差は標本分散よりも大きくなります。

#統計 同様のことは、ジャックナイフ法によってバイアスを削減した場合にも起こります。

#Julia言語
nbviewer.jupyter.org/gist/genkuroki…

添付画像は、補正していない正規分布の尖度3を

G = (標本の4乗平均)/(標本の2乗平均)²

で推定した場合と

J = そのジャックナイフ法による補正

で推定した場合の比較。

#統計 G=g(X)=(標本Xの「尖度」) の期待値は真の値よりも小さくなり、ジャックナイフ法による補正J=jackknife(g, X)の期待値は真の値によく一致。

しかし、ジャックナイフ法で補正した側の期待二乗誤差は非常に大きくなります。

この場合も、不偏性を優先すると期待二乗誤差が大きくなってしまった。

#統計 サンプルサイズはN=10

添付画像はGとJの分布のプロットです。

橙色のJの分布の右側のすそが太くなっていることに注目。そこが太くなっているおかげで、期待値が真の値に近付いているのですが、期待二乗誤差は大きくなってしまっています。

#統計 大体において、不偏性を優先すると、推定の誤差は大きくなってしう傾向があります。

"unbiased" という文字列を見たら、「誤差は大きくなってしまうかもしれない」と疑った方が安全なようです。

この辺は統計学入門でも強調されてしかるべきことだと思いました。

#統計 不偏性を犠牲にすることによって、誤差を小さくする話で有名なのは、Stein(-James)推定の話です。

その話はリッジ正則化の特別な場合になっています。

事前分布でパラメータの動きを適当に制限した方が過学習を抑制して予測精度が上がるかもしれない。今では常識的な技術の1つです。

#統計 私によるStein推定のself-containedな解説が以下の場所にあります。

nbviewer.jupyter.org/github/genkuro…
Ridge正則化とStein推定量

#Julia言語 によるシミュレーションのコード付き。

#統計 まとめ

* 不偏性を優先すると誤差が増えるかもしれない。

* 不偏分散は標本分散よりも期待二乗誤差が大きい。

* 尖度の推定においても、ジャックナイフ法によるバイアスの抑制は期待二乗誤差を悪化させる。

* 不偏性を犠牲にして予測精度を上げる方法が現代では常識になっている。

#統計 「不偏性」は座標依存。例えば分散の推定法として不偏であっても標準偏差の推定法としては不偏にならない。

不偏性は座標にも依存するものすごく強い条件。ほとんどすべての推定法は不偏ではない。

だから不偏という制限を付けて良い推定法を探すと大部分の推定法を無視することになる。

#統計 ところが(少なくとも私にとってはとても)不思議なことに、統計学の文献を見ると、不偏性の条件に強くこだわったり、良い推定法を探すときに必然性のない不偏性の条件をわざわざ課していたりする。あれは全く理解できない。

この点について統計学には何かひどい黒歴史があるのだろうか？