Thread by @genkuroki

統計量の分布をぼーっと眺める　〜中心極限定理観察〜 qiita.com/gilbert_yumu/i… #Qiita @gilbert_yumuより
【中心極限定理の可視化、また母集団によっては成り立たないことの可視化】

#統計 中心極限定理が成立しない場合や成立していても収束が遅い場合も扱っている点が非常に良い。

中心極限定理が特別に非常にうまく行く場合(ベルヌイ分布、一様分布、左右対称な分布の多く)の可視化だけを見て終わりにすると、中心極限定理による近似が小さなnで常に良くなるように誤解してしまうリスクがあると思う。

中心極限定理が成立してかつ収束が遅い場合の可視化は特に重要だと思う。

#統計 和に関する再生性と条件付き分布 qiita.com/gilbert_yumu/i… #Qiita @gilbert_yumuより

これも教育的。条件付き確率分布の計算は基本の1つ。簡単だが、非自明さのある面白い例を紹介している。匙加減が非常によい。

#統計 ポアソン分布を和で条件付けすると二項分布となる qiita.com/gilbert_yumu/i… #Qiita @gilbert_yumuより

やばい。これも極めて教育的だった！

①条件付き確率分布の構成は本質的に重要。

②ポアソン分布は多くの離散分布のビルディングブロックになっている。

#統計 そのブログ記事にはそこまで書いていないですが、ポアソン分布のλ→∞での漸近挙動をスターリングの公式で計算すると、Kullback-Leibler情報量のビルディングブロックが得られます。

#統計 二項分布や多項分布の漸近挙動もスターリングの公式をぶち込めば計算できるのですが、ポアソン分布の直積の場合の方が易しいです。

二項分布や多項分布の漸近挙動はそれらがポアソン分布の条件付き確率分布であることから易しく得られる。

#統計 以上はKL情報量が二項分布や多項分布の漸近挙動に出て来ること(Sanovの定理)の確認の計算の話なのですが，ポアソン分布について先にやっておくと超絶楽になるという話。

二項分布や多項分布の中心極限定理の導出はそのような計算経由でやると易しいです。

#統計 Poisson分布をビルディングブロックにして、条件付き確率分布として、二項分布や多項分布を作り、Kullback-Leibler情報量のSanovの定理を得て、中心極限定理に至る計算の筋道については以下のスレッドを参照。

https://twitter.com/genkuroki/status/1261825559782322176

#統計 もしくは、Poisson分布の条件付き確率分布で多項分布やKL情報量や多項分布の中心極限定理をとらえる話については、

genkuroki.github.io/documents/2016…
Kullback-Leibler 情報量と Sanov の定理 黒木玄
2016年6月16日作成

のpp.15-19を参照。

pp.15-18

#統計 続き p.19

#統計 中心極限定理の収束が遅くなるせいで、平均の95%信頼区間に真の値が含まれる確率(警告！確率的に揺らぐには信頼区間の側、確率だと言ってよい、割合だと言っている人達は分かっていない)が80%を切る例

nbviewer.org/github/genkuro…

の[5]にある。

https://twitter.com/genkuroki/status/1417821984440737800

#統計 n=20で平均の95%信頼区間に真の値が含まれる確率が80%を切ってしまうモデルの確率分布の確率密度函数pdfと累積分布函数cdfのプロット。

青線がそれ。橙破線はそれの二種類の正規分布近似。

[9]の近似では見た目的に青線はほとんど正規分布だと感じてしまうが、それは誤解である。

#統計 検定も区間推定もモデルに強く依存しており、モデルに妥当性がないと結果も信頼できないものになる。この点は検定や推定に関して最も基本的な事実だと思うが、統計学入門の教科書ではこの逆の印象を与えかねない解説がされている場合が多い。

うまく行かない場合の例の提示は非常に重要。

#統計

nbviewer.org/github/genkuro…
の終わりに中心極限定理の視覚化を追加

添付画像は大きな山の右に小さな山が追加された分布の中心極限定理の収束の様子。小さなnで標本平均の分布の形が多峰型になっていてちょっと面白いです。

中心極限定理の収束の途中の様子は色々あります。

#統計

nbviewer.org/github/genkuro…

よく見るのは添付画像のような一様分布の中心極限定理の視覚化。n=5の段階で標本平均の分布がほぼ正規分布になってしまっています。この場合の収束は例外的に非常に速い。

これが普通だと思うのは危ないと思います。

#統計 レベル的に学部生向けの統計学入門の教科書には、「母集団分布は正規分布であると仮定する」だとか、n→∞でのうまく行く近似を有限のnで適用するだとか、色々怪しいことが書いてある場合が大部分なのですが、怪しいと感じる側が正しいことを示す具体的な計算例を作ると理解が進みます。