Thread by @genkuroki

#統計 以下のリンク先で引用されている jakevdp.github.io/blog/2014/06/1… のExample 2: Jaynes' Truncated Exponential の内容がひどかったので、Jaynes(1976) bayes.wustl.edu/etj/articles/c… の関連箇所を見たらもっとひどかったので、ひどさが分かるようにノートを作りました。
↓
github.com/genkuroki/publ…

https://twitter.com/ktrmnm/status/1574008361468989440

#統計 Jaynes(1976) bayes.wustl.edu/etj/articles/c… (doi.org/10.1007/978-94…)のpp.196-198がびっくりするぐらい酷い。

__不適切な__信頼区間の構成法と平坦事前分布のベイズ信用区間を比較して、信頼区間を強くdisり、さらにp.198辺りでそのことについて講演したときの様子を偉そうに説明している。

#統計 統計学の内容以前に人間性が疑わしく思えて来そうなほど偉そうに書いている。

私には、単にJaynesさんは切断指数分布モデル(truncated exponential distribution model)の場合に、適切な信頼区間の構成法を見付けることができなかっただけに見えました。
↓
github.com/genkuroki/publ…

#統計 より適切に見える方法で、truncated exponential の場合に信頼区間を構成すると、Jaynesさんの説明中にあるBayesian interval (平坦事前分布から得られるHDIの意味での信用区間)にぴったり一致しました。

要するに、非Bayesianと平坦事前分布のBayesianが一致する場合になっていた。😊

#統計 非Bayes統計とBayes統計について、シンプルなモデル＋おとなしめの事前分布の場合には大きく違う結果を出すのは難しく、どちらも有用な道具であるという事実をフェアにかつ穏健に説明すれば良いのになと思いました。

#統計 #Julia言語 切断指数分布の密度函数は、

p(xᵢ|θ) = if xᵢ < θ then 0 else exp(-(xᵢ-θ)).

データの数値x=(x_1,…,x_n)に関する尤度函数θ↦p(x|θ)はこれらの積で、

p(x|θ) = if min(x) < θ then 0 else exp(-n(x̅-θ)).

ここで、x̅はxの標本平均。続く

github.com/genkuroki/publ…

#統計 尤度函数 θ↦p(x|θ)の上の表示には標本平均x̅が含まれていますが、そこは本質的ではありません。

θによらない因子の違いしかないことを∝と書くと

p(x|θ) ∝ if min(x)<θ then 0 else exp(nθ)

なので、尤度函数は本質的にmin(x)だけで決まります。

この場合にはx̅ではなく、min(x)が重要。

#統計 ところがJaynesさんは、なぜか、min(x)ではなく、x̅の方を使って信頼区間のようなものを構成しており、案の定、ナンセンスな結果が得られます。

そこで自分の誤りに気付けば良かったのですが、信頼区間を使用すること自体がナンセンスだと強く主張している。😱

github.com/genkuroki/publ…

#統計 素直に、min(x)を用いて作った信頼区間は平坦事前分布から得られるベイズ信用区間にぴったり一致します！

まだ私の議論に細かいミスが含まれているかもしれませんが、x̅を使う方針は最初からおかしく、min(x)を使うべきだということは正しいと思います。

github.com/genkuroki/publ…

#統計 ブロックされるようなことは言っていないと思うのだが。

Jaynesさんの「頻度論dis」がまともだと信じていたので、耐えられなかった？

文脈が失われないようにスクショで記録を残しておきます。

https://twitter.com/genkuroki/status/1575077488472264705

#統計 ブロックされる前の様子。

#統計 このスレッドを閲覧すればわかるように「なるほど」と納得するのはまずいかも。

https://twitter.com/hidekatsu_izuno/status/1574027071054962688

#統計 情報募集

【これが面白いとのことだった】(これ= jakevdp.github.io/blog/2014/06/1…) と述べているということは、誰かが「これ」を「面白い」と勧めたのでしょうか？

そういう文脈情報をご存知の人がいたら教えて下さい。

https://twitter.com/genkuroki/status/1575094377986543618

#統計 再解説

やりたいことは、生成される値に下限がある分布の下限を標本から推定することです。

多分、多くの人はすぐに「標本x中の最小値min(x)を分布の下限の点推定値として使う」という素朴なアイデアを思い付くと思います。

Jaynesさんはなぜか標本平均x̅を使うと考えてしまったわけ！😱

https://twitter.com/genkuroki/status/1575092164450988032

#統計 標本x中の最小値min(x)を分布の下限の点推定値として採用することの欠点は、実際の下限はmin(x)よりも真に小さい可能性が高いので、偏った点推定になることが明らかなことです。

どのように補正すれば良さそうかを考えれば、自然に信頼区間も得られます。続く

#統計 統計モデルとして適当な分布を設定すれば、モデル内でのmin(x)の分布も求まります。min(x)の分布と分布の下限θの関係を見れば、θの不偏推定の方法が得られたり、θの信頼区間の計算法が得られたりするわけ。

こういう類のことは統計学を普通にある程度以上勉強した人なら当然知っているはず。

#統計 以上で述べたような分布の下限の推定に関する初歩的な知識を前提に、以下のリンク先の添付画像中のJaynesさんの説明の内容を確認した人であれば、「え？分布の下限の推定にどうして標本平均を使うの？」と感じると思います。

Jaynesさんは自分の考え方の酷さに何も気付いていない。

https://twitter.com/genkuroki/status/1575081055694225408