Thread by @genkuroki

#統計 私のツイッターでの設定(笑)のせいでずっと見えていなかったのですが、チョー算数問題における「掛算には順序があるから、掛算には順序がある」に類似の反応があったことに気付いたので記録に残しておく。

会話する価値が無さそうに見えたので安心してミュートしました。ごめんなさい。続く

https://twitter.com/genkuroki/status/1322863622394048513

#統計 オーバーフィッティングを防ぐために使用可能ないわゆる「正則化」「罰則項」については、数値実験すれば色々納得できることも多いのですが、平易な証明付きのシンプルなモデルをいじりたいならば、James-Stein推定について調べてみると良いと思います。

#統計 その設定はこうです。

(1) データX=(X_1,…,X_n)が未知の平均μ_0=(μ_{01},…,μ_{0n})と単位行列の分散共分散行列を持つ多変量正規分布に従ってランダムに生成されている。

(2) データから平均μ_0を推定したい。

データ中の数値の個数と推定したい数値の個数が等しいという厳しい状況。続く

#統計 一般に少ないデータから多数のパラメータを推定しようとするとオーバーフィッティングが容易に起こります。

James-Stein推定の設定はそのような状況の最もシンプルな場合だと考えられます。

設定がシンプルなので大学1年で習う数学の知識の範囲ですべてを正確に計算できるという利点がある。

#統計 最もシンプルな推定法は、ランダムに生成されているデータX=(X_1,…,X_n)そのものの値を未知である真の期待値μ_0=(μ_{01},…,μ_{0n})の推定量だとすることです。

この推定法は、単位行列の分散共分散行列を持つ多変量正規分布モデルによる最尤法の結果に一致します。続く

#統計 データX=(X_1,…,X_n)そのものの値を未知である真の期待値μ_0=(μ_{01},…,μ_{0n})の推定量だとすると、推定の二乗誤差は

(X_1 - μ_{01})² + … + (X_n - μ_{0n})²

になり、これの期待値は各X_iの分散1のn個の和なので n になります。

実は、二乗誤差の期待値をこれより小さくできます！続く

#統計 少ないデータから多数のパラメータを最尤法で推定すると、容易にオーバーフィッティングが起こることをよく知っている現代の我々であれば、上のシンプルな推定がデータに適合させすぎた推定になっている可能性に気付くはずです。

実際にそうなっていることを示したのがSteinさんです。

#統計 そしてSteinさんの発見を改良したのがJamesさんだったはず。(私は自力で再構成できると原論文を読まないことが多い。ごめんなさい。)

最尤法では推定量μ̂=(μ̂_1,…,μ̂_n)を

(X_1 - μ_1)² + … + (X_n - μ_n)²

を最小化するμとして決定することになります。

以下n≧3と仮定します。

#統計 原点を中心とするJames-Stein推定の処方箋はこうです。

①データX=(X_1,…,X_n)の二乗和X²=(X_1)²+…+(X_n)²を計算し、λ/(λ+1)=(n-2)/X²でλを定める。

②罰則項付きの

(X_1 - μ_1)² + … + (X_n - μ_n)² + λ((μ_1)²+…+(μ_n)²)

を最小化するμで推定量μ̃を定める。

#統計 その結果は

③ μ̃_i = (1 - (n-2)/X²)X_i

これが原点を中心とした場合のシンプルなJames-Stein推定量です。(他にも色々なヴァリエーションがある)

④ 推定量μ̃=(μ̃_1,…,μ̃_n)の二乗誤差の期待値は

n - (n-2)²E[1/X²]

になり、nより小さくなる。

この④の計算は面倒だが大学1年レベル。

#統計 罰則項

λ((μ_1)²+…+(μ_n)²)

の追加は、ridge正則化とよく呼ばれています。

この罰則項の追加による推定は、パラメータμ_iに関する正規分布の事前分布でのMAP法(事後確率最大化法)とも一致しています。

#統計 以上で紹介したJames-Stein推定は、データに合わせて事前分布のハイパーパラメータλを適切に決めた場合の事後確率最大化法の特別な場合になっているというわけ。

その御利益は二乗誤差の期待値を下げられることです。不偏推定ではなくなる。バイアスとヴァリアンスのバランスを調節している。

#統計 James-Stein推定のような

　事前分布によるオーバーフィッティングの緩和の具体例

を地道な計算で理解した人であれば、そこで出て来る罰則項としての事前分布を「主観的信念を表すもの」と解釈しなければ__いけない__と言われても、「は？」という気持ちしか湧いて来ないと思います。

#統計 ところが、ある種のサークル内では、おそらく(私には正確にイメージすることができそうもないことなのですが)、「事前分布は主観を表すものであるから、そうでなければいけない」のように信じられており、それに合わせて「主観」などの言葉遣いが調節されている。

#統計 さすがにそういう人達の相手をするのは時間の無駄です。

次の世代には時間の無駄になると警告しながら、地道にフォローしておくと教養になりそうな話題(例えばJames-Stein推定)について紹介したいと思うのはとても自然なことだと思います。

#統計 James-Stein推定については私自身による解説と #Julia言語 による数値的な確認のコードと計算結果が

genkuroki.github.io/documents/Stat…

で公開されています。

正則化によってオーバーフィッティングを緩和する方法の非常にシンプルな例になっています。

#統計 「事前分布を主観的信念の表現だみなさなければいけないという考え方は誤り」という主張は、「掛算には順序がなければいけないという考え方は誤り」とほとんど同程度に穏健で常識的な考え方であり、どちらについても反対して来たことのみを理由に「こりゃダメだ」と積極的に判断するべきです。