Thread by @genkuroki

#統計

標本のばらつきの指標として
分散を採用する必然性は__ない__。
中央値との差の絶対値の加法平均も
立派なばらつきの指標である

という話は繰り返ししている。
しかも、Laplace分布モデルとの関係まで言及している。

繰り返し言及していることの証拠↓
twilog.org/genkuroki/sear…

https://twitter.com/kaitou_ryaku/status/1314365475644600325

#統計

標本平均と標本分散の計算
=正規分布モデルによる最尤推定

標本の中央値との中央値との差の絶対値の平均の計算
=Laplace分布モデルによる最尤推定

こういう関係。

「標本の代表値としてどれを重用するか」と
「どのような統計モデルで推定するか」の間には
上のような関係がある。

#統計 モデルが現実に合ってなければ捨てられるのはモデルの側なのに、実質正規分布モデルによる推定になっている「代表値としての分散の採用」にまるで必然性があるかのような説明をしようとしている場合が結構あるように見える。

大学の先生でもこの点はかなりひどいのでは？

#統計 学部レベルの統計学入門の教科書の最大の問題は

本当はモデルを使って考えていてかつ、
モデルが現実に適合している保証が
通常ない場合の議論をしているのに、
まるで何も心配する必要がないかのように
解説が進んで行くこと

である。これは不正直で極めて非科学的な態度である。

#統計 例えば「正規分布の仮定」は現実の通常の統計分析では保証されていないのに、「正規分布の仮定」に基いて計算した信頼区間が信頼できることが当然であるかのように解説が進む。

正規分布モデルで現実がうまく近似できていない場合には、正規分布モデルに基く信頼区間は信頼できなくなります。

#統計 モデルと現実を区別して、

　モデルが現実に合っている保証がなければ、
　そのモデルを使った統計分析の結果は
　信頼できないものになる

というような当たり前の話が統計学入門の教科書には書かれていない。

そういう伝統を作った人達は「科学の敵」扱いされるべきだと私は思います。

#統計 「統計学はお墨付きを得るための道具ではない」と強調されるべき。

統計学を使うことはギャンブルを行うことであり、原理的にお墨付きが得られたとみなされるような結果は統計学からは決して得られないという事実を強調するべき。

ギャンブルを他人に勧める人はその危険性を正直に言うべき。

#統計 私はギャンブルが好きです(笑)

#統計 中央値の特徴付けの証明などについては、今まで複数回紹介して来たはずの

nbviewer.jupyter.org/github/genkuro…

を参照。添付動画はLaplace分布モデルによる推定の例。テストサンプルはガンマ分布で生成している。

真の分布とモデルの分布は違っていてもよいが、誤差がどれだけ増えるかが問題になる。

#統計 所得の分布はガンマ分布っぽい形をしており、記述統計では中央値がよく使われる。中央値を代表値とすることはLaplace分布モデルによる最尤推定とほぼ同じなので、添付動画のようなことをしていることになる。

もっと誤差が小さな推定を行うためには、より適切な統計モデルを探す必要がある。

#統計 中央値の周辺の話はそれだけですでに相当に面白い話になっている。

#統計 添付動画解説

ガンマ分布のサンプルサイズnを増やしながら、Laplace分布モデルによる最尤推定の様子を可視化した。

左半分：サンプルのヒストグラムと最尤推定で得たLaplace分布

右半分：サンプルから決まるLaplace分布モデルの尤度。台が小さくなって行き、推定が収束している。

#統計 i.i.d.サンプルでの最尤推定では、モデルがサンプルを生成した真の分布を含んでいなくても、モデルがシンプルな場合には、そこそこ緩やかな条件のもとで、サンプルサイズ→∞で尤度函数の台は1点に「収束」する。

しかし、収束先のモデルの分布と真の分布の間の違いは当然残る(添付動画！)

#統計 i.i.d.サンプルの最尤推定ではなく、i.i.d.サンプルのベイズ統計であれば、最尤法ではサンプルサイズ→大での推定結果の収束が保証されない場合でも、予測分布の収束が証明されています(渡辺澄夫さんの仕事)。

ベイズ統計については非科学的なトンデモ解説の方が世界的に主流なので要注意。