Thread by @genkuroki

#統計 たぶん、

lim_{n→∞}(対数尤度函数)/n = (KL情報量) + (定数)

は赤池弘次さんに由来する見方で、最尤法の開発者のFisherさんは分かっていなかったと思われます↓

ismrepo.ism.ac.jp/index.php?acti…
統計的推論のパラダイムの変遷について

jstage.jst.go.jp/article/butsur…
エントロピーとモデルの尤度

https://twitter.com/izpynds/status/1328987750360518658

#統計 訂正：上の式は符号が間違っています。正しくは

-lim_{n→∞}(対数尤度函数)/n = (KL情報量) + (定数)

もしくは

lim_{n→∞}(対数尤度函数)/n = (相対エントロピー) + (定数).

大数の法則より i.i.d. X, X_1, X_2, …について

lim (log p(X_1|θ) + … + log p(X_n|θ))/n = E[log p(X|θ)].

#統計 Xが密度函数q(x)を持つなら、

lim (log p(X_1|θ) + … + log p(X_n|θ))/n = ∫q(x) log p(x|θ)dx

とも書ける。

大数の法則が効く速さは q(x) と p(x|θ) に依存するので、有限のnの場合でn→∞の極限がよく近似されていると想定するのは誤り。

#統計 尤度 p(X_1|θ)…p(X_n|θ) は「もっともらしさ」の指標ではない。モデル p(x|θ) のデータ X_1,…,X_n への適合度の指標でしかない。

p(X_1|θ)…p(X_n|θ) に likelihood と名前を付けた人はひどいことをやらかしてくれたものだと思います。

歴史に残る大迷惑な大失敗。

#統計 統計学用語の likelihood は

* 数学を使用する場合には、単語の日常的な意味で理解しようとしてはいけない。

とか

* 歴史的にどのような経緯でその定義が出てきたかを知っても理解のために役に立たない。場合によっては誤解の原因になる。

ということの実例になっています。

#統計 数学は難しいので、新しい分野の開拓者が最初から正しい考え方をできていることは稀で、長期間に渡る汚い試行錯誤の結果として現在知られているような理解に至っていることが多い。

用語は最初の開拓者が使った不適切に感じられるものがそのまま使われ続けることが多い。

例：likelihood

#統計 「尤度は英語ならlikelihoodであり、日常的にも使われる単語なので分かり易い。尤度と翻訳したのは失敗だった」と言う人達がいるのですが、尤度は日常的な意味での likelihood (もっともらしさ)ではないので、「ゆうど」と読む意味不明の言葉に翻訳されたことはラッキーだったかもしれない。

#統計 尤度は、英語ならlikelihoodであり、「尤もらしさ」を意味し、「ゆうど」と読む、のように思ってしまった人達は結果的にひどく誤解している。

数学用語を単語の日常的な意味で解釈しようとしている段階でひどく間違っている。

「尤度」は「モデルのデータへの適合度」の指標に過ぎない。

#統計 「尤度」(ゆうど)が特に理解し難く、「もっともらしさ」だと思ってしまう人達が大量発生してしまう原因は、教科書などの解説に「もっともらしさ」だと書いてあることである。

このことから、教科書に書いてあることを信用するのはよくないことも分かる。個人的な意見では統計学は特に酷い。