Thread by @genkuroki

#統計 「尤度」=「もっともらしさ」と説明している人は何も理解せずに説明しているので要注意。

尤度の定義は「モデル内で観測されたデータと同じ数値が生成される確率または確率密度」です。モデルのデータへの適合の良さの指標と言って良いのですが、「もっともらしさ」と言えるとは限らない。

https://twitter.com/rkmsfc/status/1339377184075522049

#統計 例：「正規分布のi.i.d.でデータが生成されている」というモデルの確率密度函数は

p(x_1,…,x_n|μ,σ²) = p(x_1|μ,σ²)…p(x_n|μ,σ²)
(ここでp(x_i|μ,σ²) = exp(-(x_i-μ)/(2σ²))/√(2πσ²)).

観測データの数値X_1,…,X_nが得られたとき、このモデルの尤度は

p(X_1,…,X_n|μ,σ²)

になる。続く

#統計 尤度が大きいほどモデルはデータによくフィットしていると思ってよいです。

観測データに関するモデルの尤度をモデルのパラメータの函数とみなしたもの、例えば上の例では

L(μ,σ²) = p(X_1,…,X_n|μ,σ²)

を観測データX_1,…,X_nに関するモデルの尤度函数と呼びます。

続く

#統計 尤度の大きさは、モデルのデータへの適合の良さを意味すると考えて良いので、尤度函数を最大化するモデルのパラメータを求めることは、モデルをデータに最もよく適合させるパラメータを求めているとみなせます。これを最尤法と呼びます。

続く

#統計 ただし、データに最も良くフィットするようにモデルのパラメータを調節しても、もっともらしい結果が得られるとは限らないことに注意が必要です。

モデルをデータにフィットさせ過ぎたせいで、モデルによる予測が外れまくるようになる場合があります。これをオーバーフィッティングと言う。

#統計 オーバーフィッティングが引き起こされていないという条件のもとで、最尤法はモデルの範囲内でベストに近い結果を近似的に得る方法として便利に使えます。

例えば、上で例に挙げたパラメータが2個しかない正規分布モデルの最尤法はそのような最尤法が有効な場合になっています。続く

#統計 仮に観測データが未知の真の分布のi.i.d.としてランダムに生成されているならば、nが十分大きなとき、上の正規分布モデルによって、未知の真の分布の平均と分散を正しく推定できます。

未知の真の分布に最もフィットする正規分布は同じ平均と分散を持つ正規分布になります。

しかし、未知の真の分布が正規分布から程遠い場合には、正規分布を正規分布と違う分布にフィッティングさせていることになり、予測の誤差は大きくなります。

モデルの適切さは非常に重要です。

#統計 最尤法はモデルのパラメータ数が増えたり、構造を持ったモデル(特異モデル)では実用的でなくなります。

そういう場合には事前分布を使う方法がより実用的な推測法になります。

(主観確率でベイズ統計について解説している人達は社会的に負の貢献をしているので要注意！)

#統計 観測データに関するモデルの尤度函数を最大化するようなパラメータを求めることは、観測データにもっともモデルをフィットさせるようなパラメータを求めることになっている、と理解しておき、「もっともらしさ」のような曖昧でミスリーディングな言い方で理解したつもりにならないことが重要。

#統計 「尤度」はlikelihoodの訳語で、その単語は「もっともらしさ」という意味を持つので、英語では「尤度=もっともらしさ」だとひどく誤解してしまう可能性が高くなっているものと思われます。

科学的合理性ではなく、歴史的な理由で不適切な単語が専門用語として固定されてしまうことがあります。

#統計 以上のように、「尤度＝もっともらしさ」ではないとはっきり説明してくれればクリアなのに、統計学入門の教科書がそうなっていないせいで、多くの人が誤解したり、「尤度、理解できん」となっていると思う。

そこに「尤度原理」などの「主義」に関わるデタラメの解説が投入されると悲惨！

#統計 以下のリンク先動画は、正規分布とは違うが正規分布っぽくも見えるガンマ分布のi.i.d.で生成されたデータによる正規分布モデルの最尤法の様子です。

正規分布とは違う分布が正規分布で最良近似されて行く様子を見れます。

https://twitter.com/genkuroki/status/1173203340034863109

#統計

データはドットで表示。データは y = sin(πx) + ノイズ で生成。

添付画像1: 3次式によるパラメータ数5個のモデルの最尤法によるフィッティング。最大対数尤度=4.2

添付画像2: 21次式によるパラメータ数23個のモデルの最尤法によるフィッティング。最大対数尤度=27.8 (上より大きい)

https://twitter.com/genkuroki/status/1291979072843599874

#統計 尤度は、添付画像1より2の方が高いです。

だから、「尤度=尤もらしさ」だと信じている人は、「添付画像2のフィッティングの方がもっともらしい」と言わなければいけません。

理屈を知らなくても、普通の感覚でそれはおかしいと思うのが普通だと思います。

これがオーバーフィッティング。

#統計 大事なことなので繰り返す。

尤度は観測データへのモデルの適合の良さ(フィッティングの良さ)の指標とみなせるが、「もっともらしさ」の指標ではない。

尤度を大きくすることは単に観測データにフィットするモデルを探しているに過ぎず、データにぴったりフィットすれば良いわけではない。

#統計 「尤度の定義を見ても、どうしてこれが『もっともらしさ』なのか理解できない」と思った人は非常に正常に頭が働いていると思います。

「尤度」を「もっともらしさ」と言い換えて理解した気分になった人はすでにあっちの世界に行きかけていると思う。少なくとも論理的思考は諦めている。

#統計 統計学入門の教科書的解説はそういうパターンが実に多い。

論理的な理解を諦めさせることに繋がるような書き方がほとんど至る所でされている。

例えば、論理的な人なら「正規分布を仮定して有意差を出して本当にいいの？」と当然思うはずで、実際に多くの人がそう思っている。