Thread by @genkuroki

#統計

osf.io/eybpc/?show=vi…
頻度主義統計とベイズ統計についてのメモ
清水裕士
2020/11/16

は、確率測度の意味での「確率」は「全体の大きさを1としたときの部分の割合」という意味しか持たず、「ランダムに起こる現象」を意味するとは限らないことに注意を払えない杜撰な議論の典型例。

https://twitter.com/genkuroki/status/1329149005964603394

#統計 現在普及している確率論が確率測度(もしくは確率空間)の概念を基礎に据えていることは事実であり、その意味での確率論が「ランダムに起こる現象」の分析で大活躍しているのも事実です。しかし〜続く

#統計 しかし、確率の概念について正確な議論をしたいと思っている人が、普及している確率測度の意味での確率概念が「ランダムに起こる現象」の定式化にはなっておらず、単に「全体の大きさを1としたときの部分の大きさ(割合)」を定式化したものに過ぎないことを無視するのは論外に杜撰な態度です。

#統計 確率測度の意味での確率概念のユーザーは、論理的には、「全体のサイズを1としたときの部分のサイズの割合」を超える結果を絶対に導くことはできません。

安易に「ランダムに起こり得ること」のような表現を使ってはいけません。読むに耐えないほど杜撰な議論になってしまいます。続く

#統計 どのような主義に染まっていようと、確率概念を確率測度の言葉で表現することに同意しているならば、その人は、論理的には、「全体のサイズを1としたときの部分のサイズの割合」を超える事柄についての数学的な結論を何一つ導き出すことはできません。続く

#統計 確率概念を確率測度の言葉で表現することに同意している人が、あたかも「全体のサイズを1としたときの部分のサイズの割合」を超える何かについての数学的結論を出して応用していたら、それだけで、杜撰で非論理的な議論をしていることが確定してしまいます。

#統計 数学が関わる話題において正確な議論をするときには、以上のような態度を当然のものとし、そこから外れた議論を非論理的でダメな議論扱いする必要があります。

私はこの程度のことは極めて緩い要請に過ぎず、当たり前のことだと思うのですが、多くの大学の先生が論外に杜撰な議論をしている。

#統計 注意・警告：多くの議論は正確さとは別の目標を重要視するので、以上の批判は当てはまりません。例えば、確率概念について曖昧な説明で済ませてよい場合には以上の批判は一切無関係です。

#統計 「全体の大きさを1としたときの部分の大きさ(割合)」の概念さえあれば、大数の法則、中心極限定理、KL情報量に関するSanovの定理のような統計学で必要な基本定理を証明できます。

その証明では「ランダムに起こる現象」のような概念は無用であり、「割合」の概念しか使用しません。

#統計 最初に設定した仮定のみを用いて、余計な事柄を一切持ち込まずに、命題を定式化して証明を書き下すという経験抜きには、以上で私が述べたことをおそらく何も理解できないと思います。

数学が関わる事柄で正確な議論をすることも難しいです。

数学が専門でも容易に誤りを犯す程度に難しい。

#統計 主義によらずに、確率測度の意味での確率概念のみから論理的に何を導けるかをはっきりさせることなく、主義の話を始めるようでは、まじめに正確な議論をするつもりがないとみなされて当然だと私は思います。

#統計 主義によらずに、確率測度の意味での確率概念のみから論理的に何を導けるかが明らかになっていれば、各主義ごとにそこに何を付け加えているか、各主義ごとにどのような非論理的な結論の出し方をしているかが、論理的および科学的な常識のもとで明らかになるでしょう。

#統計 さらに、定義が異なる複数の量がある条件のもとで互いにほとんど同じ値になることを証明できる場合がかなりあることにも注意を払う必要があります。

前もって数学的に値がほぼ一致することが分かっている量達は、現実への応用において「ほぼ同じもの」扱いする必要があります。

#統計 統計学は(たとえ専門が数学であったとしても)相当に複雑な数学のかたまりになっています。

その辺の事情をクリアにする前に、いきなり「主義」の話を始めてしまうこと自体が馬鹿げており、そういう行為に走る人達は正確な議論をするつもりがない人達扱いする必要があると思います。

#統計 以上では具体的でない議論が続きましたが、純粋に数学的に導けることをクリアにすることによって、各種の考え方を比較してみることの実演を私はすでにツイッターで何度もやって見せているので、今回は許して下さい。

最近の例：AIC, BIC, χ²検定の比較

#統計 「常識の背後にある主義を明るみに出すこと」をやっているつもりの人達が、確率測度の意味での確率概念について数学的に何も理解せずにたわごとを述べているのをよく見る。

数学的常識が欠けているくせに常識の背後にある主義の話をできると誤解している人達。

#統計 関連スレッド

https://twitter.com/genkuroki/status/1330855663149359106

#統計 確率測度の意味での「確率」は「全体の大きさを1としたときの部分の割合」という意味しか持たず、「ランダムに起こる現象」に関する事柄を何も含まないにも関わらず、確率測度の意味での「確率」概念が非常に役に立っている点が非自明で面白い話のはずなのに、そこを飛ばして先に進む愚かさよ。

#統計

osf.io/eybpc/?show=vi…
頻度主義統計とベイズ統計についてのメモ
清水裕士
2020/11/16

の全文8ページ分にコメントをつけた。

pp.1～4

#統計

pp.5～8

#統計 非常に気になったのが、単にデータがある法則でランダムに生成されているという想定でベイズ統計の方法を適用することを【渡辺ベイズ理論】と呼んでいること。

まるで、渡辺澄夫さんが発明した特殊なベイズ統計の理論であるかのような響きがあってひどいと思いました。

#統計 データが未知の法則でランダムに生成されているという想定でベイズ統計の方法を適用することは、遅くても赤池弘次さん以後には普通の考え方の1つになっていると思います。

#統計 データが未知の法則によってランダムに生成されているという想定は、「割合」概念の定式化でしかない確率測度の言葉を使って、相当に一般的な場合にも数学的に取り扱い可能。

「データが未知の法則によってランダムに生成されているという想定」がどれだけ一般的であるかを過小評価しちゃダメ。

#統計 例：単純なコイントスについても、表の出る確率が毎回同じ独立試行になっているという所謂i.i.d.の想定だけではなく、コインを投げるたびに表の出る確率がランダムに微小に変化して行くという想定も可能だし、何らかの決定論的な法則で表と裏のどちらが出るかが決まっているという想定も可能。

#統計 普通の人が思い付きそうなデータの生成のされ方に関するほぼあらゆる想定が「ある法則に従ってデータがランダムに生成されているという想定」の特殊な場合になっていると思ってもよいくらいだと思います。

#統計 しかし、完全に「なんでもあり」にしてしまうと、複雑怪奇な現実に立ち向かうための道具としての統計学で役に立つ数学的結果が得られなくなるので、ある特定のスタイルの想定を数学的に扱っているのです。

この辺の事情は数学的議論の難解さの度合いについての知識がないと理解不可能でしょう。

#統計 「データが未知の法則によってランダムに生成されている」と想定することのモチベーションは、データが予想外の生成のされ方をしてしまっているリスクを数学的に見積もることです。続く

#統計 ①仮に未知の法則がモデルで十分に近似可能であっても、生成されたデータが運悪く偏ってしまっているせいで大外しの分析結果を得てしまうリスクは無視できない。

続く

#統計 ②そもそも未知の法則を十分に近似できないモデルで分析を実行している可能性は常に無視できない。

例えば、観測結果が測定機器の癖のせいで偏ってしまう場合にはその偏りを考慮してモデルを作って分析する必要があるが、測定機器の癖に気付いていないリスクは常に残っている。

#統計 モデルが適切でもデータが運悪く偏っているかもしれないし、そもそもモデルがひどく不適切な可能性を常に心配する必要がある。

このような心配に対処する気がない何かを「統計学」と呼んでいる人がいるとしたら、あなたはその意味での「統計学」の価値があると思うでしょうか？

#統計 具体的に言えば、「主観確率」「ベイズ主義」「意思決定論」に基く「ベイズ統計」では、主観と無関係に観測されているデータが運悪く偏っていたり、主観的に設定したモデルがひどく不適切であるリスクを扱うことさえできません。

#統計 「主観確率」「ベイズ主義」「意思決定論」に基く「ベイズ統計」では、主観的に決めたモデルと事前分布のもとで期待リスクを最小化するだけなので、主観外にあるリスクを扱うことを原理的にできない。

私はそのような「ベイズ統計」は複雑怪奇な現実に立ち向かう道具として不適切だと考えます。

#統計 「主観確率」「ベイズ主義」「意思決定論」に基く「ベイズ統計」のような極端な考え方(教科書では普及している)でなくても

①データが運悪く偏っているリスク

だけではなく

②モデル自体がひどく不適切である可能性

も扱う気がない何ものかを「統計学」扱いするのは危険行為だと思います。

#統計 あと、それ以前の問題として、ものすごく評判の悪い豊田『瀕死本』の「仮説が正しい確率」をまともなもの扱いするのは非常にまずいです。引用したようにp.5で清水裕士さんはさらっとまともなもの扱いしています。

(ちなみにツイッター上で私は清水さんにブロックされています)

#統計 世界的に心理統計の分野からベイズ統計に関するクズ言説が広まっているという現実を認めて、まともな心理統計の専門家が対抗措置を取ってくれるとよいと思うのですが、どうしてそうならないんですかね？

#統計 おかしな考え方は、どんなに偉い人が言っていても、どんなに定番の教科書に載っていても、クリアに「これはダメです」と言うべきだと思います。

#統計 ①データが運悪く偏っているリスクと②モデル自体がひどく不適切である可能性も扱うために、「データが未知の法則によってランダムに生成されている」という想定で色々計算結果を見せてくれている場合は、そういう計算を何も見せてくれない場合の上位互換になっていて、一方的に優れています。

#統計 ②のモデル自体がひどく不適切である可能性を扱わないより制限された議論も、複雑な議論を一時的に単純化して理解するために役に立ちます。しかし、上位互換の存在を忘れるとまずい。

#統計 現実には、次々に必要なデータが降って来るという状況はほぼ皆無で、手持ちのデータのみから得られる結果を用いたギャンブルを避けることはできない。

そのときに、データ自体がひどく偏っているリスクやモデル自体がひどく非適切であるリスクを見積りたくなるのが普通。そしてそれは難しい。

#統計 データ自体がひどく偏っているリスクやモデル自体がひどく非適切であるリスクを見積もることが難しいのは当たり前のことですが、現時点で我々が使用可能な数学的道具の性質を理解すれば、具体的にどのように難しいかに関するより深い理解が得られます。

みんなそういうことを勉強すればよい。

#統計 例えば「赤池情報量規準」「AIC」とか言われると、何も知らない人はその権威的な響きに恐れを感じてしまうかもしれませんが、以下のリンク先のような計算なら高校数学の範囲で可能です。

恐れず、正確な定義を調べて、簡単な場合について地道に計算して、理解度を深めて行く。これが大事。

https://twitter.com/genkuroki/status/1323988000313761792

#統計 コインを投げたときに表が未知の確定した確率qで出るという想定で、表の出る確率はpである(pはパラメータ)というベルヌイ分布モデルによる最尤推定のAICとその推定先である真の予測誤差を計算すれば(高校数学に範囲で可能)、AICと真の予測誤差が綺麗に逆相関していることを確認できます。続く

#統計 よくある通俗的な解説では、易しい具体的な計算例を見せずに、「AICは予測の悪さの指標であり、AICが小さい方が予測の誤差が小さいと推測される」というような説明が書いてありますが、地道に計算した人は、AICと真の予測誤差が綺麗に逆相関しているという事実も知っているわけです！

#統計 具体的な計算をしていれば、通俗的な(ゆえに杜撰な)理解を超えて、AICによる予測の悪さの見積もりにどのようなリスクがあるかについても理解できるようになるわけ！

統計学はギャンブルのための道具の一種とみなせるので、その手のリスクについて知っている人が増えた方が良いに決まっている。

#統計 「表の出る確率は未知だが確定しているqでデータは独立試行で生成されている」というシンプルな想定のもとでの計算であっても、それを知っているか否かで見えて来る世界が全然違って来ます。

#統計 以上のような考え方で健全な勉強をする人達が増えれば良いと思うのですが、主義が好きな人達が誤誘導を計画的に実行しているように見える(笑)。

#統計 重要なことなので繰り返し。

尤度は(周辺尤度も含めて)、単にモデルのデータへの適合度の指標に過ぎず、「もっともらしさ」でも「証拠」でもない。

専門用語として、likelihoodやevidenceという用語を使う場合にはその単語の意味通りに解釈してはいけない。

#統計 予測と尤度の一般論

データの確率的生成法則の未知の密度函数がq(x_1,…,x_n)で(nは可変)、モデル内でのデータの既知のそれがp(x_1,…,x_n|z) (zはパラメータ)のとき、データX_1,…,X_nが観測されたときの次のX_{n+1}のモデル内予測分布は～続く

#統計 続き～、モデル内で観測データと同じ数値が生成されたという条件の下で、モデル内で次に生成される値の条件付き確率分布として定義される(モデルによる未知の法則のシミュレーションによって予測分布を定義)。続く

#統計 続き。すなわち、予測分布の密度函数は

p(x_{n+1}|X_1,…,X_n,z)
= p(X_1,…,X_n,x_{n+1}|z)/p(X_1,…,X_n|z).

しかし、このままだとパラメータzの値が決まらない。

よくある処方箋は、分母の尤度 p(X_1,…,X_n|z) を最大化するようなにzの値をz=z*と決めることである(最尤法)。続く

#統計 以上の枠組みは、最尤法、MAP法、ベイズ法で共通である。

最尤法は

p(x_1,…,x_n|z) = p(x_1|z)…p(x_n|z)

の場合で、MAP法は

p(x_1,…,x_n|z) = p(x_1|z)…p(x_n|z)φ(z)

の場合で、ベイズ法は

p(x_1,…,x_n|z) = ∫p(x_1|w)…p(x_n|w)φ(w|z)dw

の場合になる。続く

#統計 続き。以上のような一般的な枠組みがあることに気付けば、「主義」によって事前分布φ(z)もしくはφ(w|z)を扱う場合を「別の理論」とするのはアホらしくなる。

20世紀に発生した統計学を「主義」で理解しようとする非論理的な態度は完全に捨てて、数学的仕組みを理解することを優先するべき。

#統計 上に続きとしてのモデル評価の一般論

未知のデータ生成法則q(x_1,…,x_n)においてデータX_1,…,X_nが観測されたとき、その次のX_{n+1}の条件付き確率分布の密度函数は

q(x_{n+1}|X_1,…,X_n)
= q(X_1,…,X_n,x_{n+1})/q(X_1,…,X_n)

になる。

#統計 予測分布 p(x_{n+1}|X_1,…,X_n, z*) の予測誤差は q(x_{n+1}|X_1,…,X_n) とのKL情報量で定義される。そのKL情報量もしくはデータX_1,…,X_nの揺らぎに関する期待値の推定量をうまく作れれば、予測の良し悪しについてのモデル選択が可能になる。続く

#統計 以上では予測分布を x_{n+1} の1つだけの確率分布としたが、x_{n+1},…,x_{n+m}の場合に容易に一般化可能。

外部に見えているパラメータzがなければ、z*を最尤法で決定する必要がないので、データが何も観測されていない場合の x_1,…,x_n の予測分布も定義できる。