Thread by @genkuroki

#統計 「真の分布」というのはジャーゴン(特定分野の特殊な言い回し)です。文字通りの意味にとってはいけない。

未知のものについての推測の勝ち目を増やすために数学を利用するためには、その未知のものとその推測方法の両方を数学的に定式化して性質を調べておく必要があります。続く

#統計 その未知のものを確率分布でモデル化するときのその確率分布を「真の分布」と呼ぶ人たちがいます。私は「未知の分布」(unknown distribution)という言い方をした方が誤解が少なくなると思っているのですが、「真の分布」というジャーゴンは結構広く普及していると思います。続く

#統計 未知のものの側のモデル化に付ける条件が少なければ少ないほど、適用できる未知のものの種類が増えるのですが、何の条件も付けないと実践的に役に立ちそうな推測を何もできなくなるので、応用先を狭めてかつ狭めすぎないように条件を付けるのが普通です。

#統計 未知のものの側を、確率分布でモデル化した途端に確率分布でモデル化することが適切でない場合には応用できなくなる。

さらに、単に確率分布でモデル化するだけではなく、データの生成法則を独立同分布確率変数列でモデル化すると、さらに適用可能範囲は狭くなります。続く

#統計 逆に言えば、独立同分布確率変数列によるモデル化が適切であるか否かを自分で判断できない人は、大学の学部レベルの統計学の結果を使う資格がない教養しか持っていないことや、他人が適切に統計学を使っているかも判断できないことを認める必要があります。続く

#統計 統計学の道具は適用条件が決まっている「精密機器」の一種であり、現実には適用可能条件が(近似的に)成立しているか否かが事前に分からない場合もあるので、色々要注意だと思う。

しかし、統計学を無視する人は、麻雀における「確率を無視する負け組」と同様の立場に立つことになります。

#統計 「未知の分布」のモデル化と言えるためには、その確率分布に付けられた条件があまり強過ぎないことも大事です。

「平均と分散を持つ任意の分布の独立同分布確率変数列」まで条件を強めても応用可能先は相当に広いままなのですが、～続く

#統計 続き～、それを「正規分布の独立同分布確率変数列」まで狭くしてしまうと、正規分布で近似できない場合には適用不可能になり、前もって正規分布で近似できることが確からしいことが分かっていない場合には分析が誤りになる可能性が増える。続く

#統計 以上で「真の分布」の説明を終えます。

注意：独立同分布確率変数列の仮定を外すと、確率分布が一定でない場合もモデル化可能なので、「真の分布が決まっていない」と言いたくなる場合についても「真の分布」も扱える可能性があります。数学的モデルの柔軟性は結構高いです。

#統計 次にパラメトリック統計の場合の推測方法について説明します。

「真の分布」=「未知の分布のモデル化」が生成するデータはある一定の確率分布の独立同分布確率変数列になっていると想定しているとします。その確率分布は未知であり、例えば正規分布であるなどと決め打ちできないものとします。

#統計 続き。独立同分布確率変数列という用語の意味が分からない人は、そもそも統計学の話題に全くついて来れないレベルの教養しかないことを認めて、教科書で勉強するしかないです。

人によっては一生理解できないレベルで難しいことの可能性もあります。一般に数学の理解は非常に大変です。

続く

#統計 未知の分布に関する有限の長さの独立同分布確率変数列X_1,…,X_nが与えられたときに、数列X_1,…,X_nからそれを生成した未知の分布についてどれだけのことをどのように推定できるかが基本問題になります。続く

#統計 よくあるパラメトリック統計では、有限個のパラメータθ_1,…,θ_dをまとめてθと書き、パラメータθでパラメトライズされた確率分布の族p(x|θ)を用いて、未知の分布に関する推測を行います。

推測用の分布族p(x|θ)は何でも構いません。続く

#統計 例えば、推測先の未知の分布が正規分布で精密に近似できそうもない場合であっても、推測用の分布族として正規分布族を用いることができます。

この辺は常に誤解されているところで、推測用に正規分布を使うことと、推測先の未知の分布が正規分布だと仮定することは異なります！

#統計 未知の分布が推測用の分布族でうまく近似できなければ、推測の誤差が大きくなるだけ。

どの程度どのような誤差を受け入れるかは目的によって変わるので、〇〇分布族を推測用のモデルとして使うことと、推測先の未知の分布が〇〇分布であると仮定することを厳密に区別した方が良いです。

#統計

推測先の未知の分布が、推測用の分布族に含まれていない場合の、推測結果がデータが増えるにしたがってどうなるかについては以下のリンク先及びそのすぐ下のツイートの添付動画を見て下さい。

これはコンピュータで遊べる話題です。

https://twitter.com/genkuroki/status/1322666771296350208