Thread by @genkuroki

#統計 尤度の簡単な例

パラメータp_1,…,p_r (どれも非負の実数で総和は1)の多項分布モデルのデータk_1,…,k_r (どれも非負の整数で総和はn)に関する尤度函数は

L(p_1,…,p_r) = (n!/(k_1!…k_r!)) p_1^{k_1}…p_r^{k_r}.

最尤法の解は

p_i = k_i/n (i=1,…,r).

#統計 多くの場合に対数尤度函数の-1倍

-log L(p_1,…,p_r) = -Σ_{i=1}^r k_i log p_i + (定数略)

の方が扱いやすい。これを Σ_{i=1}^r p_i = 1 という条件のもとで最小化するには、Lagrangeの未定乗数法を使ったり、Gibbsの情報不等式を使えば簡単である。お好きな方法でどうぞ、という感じ。

#統計 そういう易しいが「実戦的な」計算をやらないと、

* Lagrangeの未定乗数法

や

* Jensenの不等式 (Gibbsの情報不等式を特殊な場合に含む)

などの

これこそ神！

と言えるような素晴らしい結果を大学1年のときにすでに習っていることに気付かずに終わる可能性が高い。

#統計 教えている側はあまりにも素晴らしい結果を教えることになっているという事実に興奮を抑えられないのだが、それだと仕事にならないので心を平静に保ちながら講義をすることになる。

面白い話をするような時間的余裕は大抵ない。

#統計 ●Lagrangeの未定乗数法

-log x は下の狭義凸な函数のなので Σ p_i = 1 という条件のもとでの停留点を見つければよい。Σ k_i = n に注意。

F = -Σ k_i log p_i + λ(Σ p_i - 1) とおく。

0 = ∂F/∂λ = Σ p_i - 1
0 = ∂F/∂p_i = -k_i/p_i + λ

は λ = n, p_i = k_i/n と同値。

https://twitter.com/genkuroki/status/1326559685537755137

#統計 ●Gibbsの情報不等式を使う方法

p_i, q_i は非負に実数でΣp_i=Σq_i=1のとき、KL情報量は非負になる(Gibbsの情報不等式):

Σ q_i log (q_i/p_i) ≧ 0.

すなわち

-Σ q_i log p_i ≧ -Σ q_i log q_i.

等号成立と p_i=q_i (∀i)は同値。続く

#統計 続き。これを q_i = k_i/n の場合に適用すると、-Σ k_i log p_i = n(-Σ(k_i/n)log p_i) が最小になる p_i は k_i/n になることがわかる。

#統計 ●Jensenの不等式⇒Gibbsの情報不等式

期待値汎函数E[ ]と下に凸な函数fについて E[f(X)] ≧ f(E[X]) (Jensenの不等式). これを

f(x)=x log x

と

E[g(X)] = Σ p_i g(q_i/p_i)

に適用すると、

Σ q_i log(q_i/p_i) ≧ f(Σ q_i) = f(1) = 0.

等号成立の条件は読者に任せた(笑)。

#統計 ●Jensenの不等式の証明

E[ ]は線形性と単調性(f≦g⇒E[f(X)]≦E[g(X)])とE[1]=1を満たしているとする。簡単のためfは下に凸でかつ、C²級函数であるとする。(接線が引けて、接線がf(x)以下の函数になることを保証する条件としてC²級を仮定したが、実際にはそのような条件は無用)

続く

#統計 このとき、x=μ:=E[X]におけるf(x)の接線をa(x-μ)+f(μ)と書くと、fは下に凸なので

f(X)≧a(X-μ)+f(μ).

これの両辺にE[ ]を作用させると、

E[f(X)] ≧ a(E[X]-μ)+f(μ) = f(μ) = f(E[X]). q.e.d.

注意: 期待値汎函数E[ ]に関する3つの性質だけから証明された。