Thread by @genkuroki

#統計 太古の時代には「AIC vs. BIC」というこれまた不毛な論争があったようですが、現代の我々はそのような不毛な論争は誰の発言であっても「不毛な議論！」の一言で切り捨てて問題ない。

AICとBICはそれぞれ別のKullback-Leibler情報量+定数の推定量とみなされ、別の価値を持っています。

#統計 仮に、AICにはKL情報量を用いた基礎付けはあるが、BICはベイズファクターの近似値なのでKL情報量を用いた基礎付けはない、というような調子で書かれた文献を見たら、質が低い文献であることを見抜かないとダメ。続く

#統計 AICとBICのKullback-Leibler情報量を用いた基礎付けは、最近の人はみんな読んでいるっぽい渡辺澄夫『ベイズ統計の理論と方法』にもしっかり書いてあります。

大小関係を推測したいKullback-Leibler情報量の違いでAICとBICは使い分ければよい。論争は無意味。続く

#統計 データX_1,…,X_nが未知の分布q(x)のi.i.d.として生成されているという想定で説明します。

モデルp(x|w)が未知の分布q(x)について適当な条件を満たせばAICとBICは実用的な規準になります。

d個のパラメータをまとめてw=(w_1,…,w_d)と書いているとする。

続く

#統計

対数尤度 L(w) = log p(X_1|w) + … + log p(X_n|w) を最大化するwをw*と書きます。

AIC = -2L(w*) + 2d

は予測分布p(x|w*)の汎化誤差の2n倍

G = -2n∫q(x) log p(x|w*) dx

もしくはそのデータの確率的揺らぎに関する期待値 E[G] の推定量です。

G自身がKL情報量+定数の形をしている。

#統計

BIC = -2L(w*) + (log n)×d

は自由エネルギー

F = -2 log p(X_1,…,X_n)

(ここで p(x_1,…,x_n) := ∫p(x_1|w)…p(x_n|w)φ(w) dw)

の近似値です。自由エネルギー自体はKL情報量(+定数)として意味を持ちません。続く

#統計 しかし、そのデータの確率的揺らぎに関する期待値E[F]はもろにKL情報量(+定数)の形になります:

E[F] = -2∫…∫ q(x_1)…q(x_n) log p(x_1,…,x_n) dx_1…dx_n.

p(x_1,…,x_n)はモデル内でのデータ生成法則の密度函数で、q(x_1)…q(x_n)は推測先の未知のデータ生成法則の密度函数です。続く

#統計 E[F] はモデル内でのデータ生成法則と推測先の未知のデータ生成法則の違いを表すKL情報量(+定数)の形になっています。自由エネルギーFやその近似値のBICはそのE[F]の推定量とみなせます。

AICは予測分布と未知の分布の違いを表すGもしくはその期待値E[G]の推定量。

推定先のKL情報量が違う。

#統計 異なる推定先を持つ推定量について、どちらが優れているかについて考えても、目的によって変わるとしか言いようがない。

太古の時代の「AIC vs. BIC」は現代においては無意味な不毛な論争であり、くだらない話題であったと言い切って問題ないと思います。

#統計 20世紀は統計学において「華々しい論争があった」ことで有名かもしれませんが、私の個人的な意見では、扱っているものの数学的素性を確認した途端に「くだらない不毛な論争で無駄に時間を潰していた」という評価になってしまう場合が大部分だと思います。