Thread by @genkuroki

#統計 統計学入門の教科書で、推定と検定を無関係の別の話であるかのように説明しているのはよくない。

昔からある雑な考え方で統計学を分類して、道具の利用の仕方の自由をユーザー側から奪うことにならないような注意が必要だと思う。

特に、P値と信頼区間は表裏一体で別に話題にはならない。

#統計 P値の定義は大雑把に「データの数値以上の偏りがモデル内で生じる確率」です。近似値や上限を取る変種もある。

モデルがパラメータθを持っている場合には、「P値がα以上になるθの範囲」として信頼度1-αの信頼区間が定義されます。

P値と信頼区間はまさに表裏一体です。

#統計 これを知っていれば、αが有意水準のとき、信頼度1-αの信頼区間の定義が「検定で棄却されないモデルのパラメータθの範囲」に一致することもわかり、信頼区間の解釈は検定における「棄却」の意味に帰着し、信頼区間を誤解し難くなると思います。

検定と区間推定は密接に関係しています。

#統計 検定と区間推定ではどちらも、モデルのパラメータθと観測データXをP値に対応させる函数pval(θ, X)を使います。

検定では帰無仮説をθ=θ₀としてpval(θ₀, X)を計算。

区間推定ではpval(θ, X)≥αとなるとθの範囲を計算。

だから、コンピュータではpval(θ, X)の実装が最初の問題になります。

#統計 問題1：統計学入門の教科書にあるベルヌイ分布モデルや正規分布モデルを使った検定と区間推定の場合で上のpval(θ, X)が何になるかを調べよ。

問題2：そのpval(θ, X)を計算するコンピュータのプログラムを書け。

問題3：テストデータXを与え、パラメータθの函数pval(θ, X)をプロットせよ。

#統計 本当はP値については「データの数値以上に偏っていること」を判定するために使う偏りの大きさの指標となる「検定統計量」の話もするべきだったのですが、省略しました。

その辺についても自分で調べてから上の問題を解くとよいと思います。

訂正

❌別に話題にならない
⭕️別の話題にならない

ああ！これは非常によろしくない誤りだった。

検定と推定は別だからという理由で無関係であるかのように説明するのは非常によくないです。

ユーザー側から道具の利用法を自由に選ぶ権利を奪っちゃダメ。
かけ算順序問題と同様になってしまう。

https://twitter.com/genkuroki/status/1345346374640967683

#統計

使っているプログラミング言語で、函数 f(θ) の区間[a, b]内での零点集合を求める函数 find_zeros(f, a, b) が使えるならば、適当な前提のもとで、適切なa, bを決めて

ci(X, α) = find_zeros(θ->pval(θ, X)-α, a, b)

とすれば、信頼区間を求める函数ci(X, α)が得られます。恐ろしく簡単。

https://twitter.com/genkuroki/status/1345346382626840576

#統計 信頼区間による区間推定と検定を全然別の話としてしまう「伝統文化」の産物が、「互いに不整合なP値と信頼区間を表示する統計ソフト」達です。

例えば、R言語のfisher.testが表示するP値と信頼区間の間には整合性がありません。こういう有名な標準ソフトでもこうなっている。

#統計 #Julia言語 上の問題を2×2の分割表のFisher検定の場合について私が解いた結果が

nbviewer.jupyter.org/gist/genkuroki…

にあります。添付画像を見ればわかるように、Rのfisher.testで生じるP値と信頼区間の不整合が、問題を解いた結果では解消されています。

#統計 2×2の分割表の通常のFisher検定では、仮説「期待値のオッズ比=1」の場合のみを扱います。

上の問題をこの場合に解くためにはそれを仮説「期待値のオッズ比=ω」の場合に一般化する必要がある。

Fisherの非心超幾何分布を使えばその一般化が可能になります。

超幾何分布だけでは足りない。

#統計 練習問題としてさらに面白いのは、2×2の分割表の独立性に関するχ²検定の場合に上の問題を解くことです。その場合に非自明なのは仮説「期待値のオッズ比=ω」の場合も扱えるように、χ²検定を一般化することです。

「χ²検定とは何か？」を理解するために非常に良い練習問題になっています。

#統計 効果の大きさをオッズ比の信頼区間で見たいという要求は、以上で説明したように、Fisher検定やχ²検定のP値を「オッズ比=1」の場合から「オッズ比=ω」の場合に拡張すること(非自明！)によって満たされることになります。

#統計 おまけ：2×2の分割表での使い分け

* Fisher検定は正確であり、χ²検定はその近似に過ぎないのだから、可能ならばFisher検定を使うべきだとする考え方は__ひどい誤り__です。

* Fisher検定は、検出力を犠牲にして、第一種の過誤が起こる確率を確実に有意水準以下にするために使える。

続く

#統計 続き

* χ²検定では、第一種の過誤が起こる確率を確実に有意水準以下にはできないが、Fisher検定よりも第一種の過誤が起こる確率が有意水準に近くなり、検出力も上がる。

* いかなる場合においてもχ²検定でYatesの連続性補正を使うべきではない。

「定説」=「俗説」は間違っています。

#統計 Fisher検定とχ²検定のどちらを使うかはユーザーの判断に任せる方が合理的です。

それを妨げそうな主な要因は、「定説」=「俗説」を信じている人が論文の査読者になってしまうと文句をつけられてしまうことです。そうなる可能性はかなり高いと思う。

高等教育におけるチョー算数問題！

#統計 R言語のchisq.testは「定説」=「俗説」に基いて実装されており、いかなる場合にも使うべきではないYatesの連続性補正がデフォルトで有効になっており、χ²検定が十分正確な場合にも「不正確である」という意味の警告が表示されるようになっています。

高等教育におけるチョー算数問題の悪影響。

#統計 人間が作る統計ソフトから誤りを全部消すのは無理なので、ユーザー側は統計学を理解してからソフトを使わないとダメです。

「誰か偉い人が正しいルールを普及してくれる」という世界は永久に実現しないと思います。

現実には間違っている「俗説」に従ってソフトが作られ続けるでしょう。

#統計 P値と信頼区間の関係のより明瞭な解説(試案なので取り扱い注意、雑いです)↓

https://twitter.com/genkuroki/status/1334520319193726977

#統計 2×2の分割表における仮説「期待値のオッズ比=ω」(ω=1の場合が独立性の仮説)のχ²検定を得る問題を解くために必要な予備知識は、最尤法から種々のχ²検定を出すために使われるWilks' theoremです。

最尤法から一般的にχ²検定を出せることを知っていれば、上の問題は単なる計算問題になる。

https://twitter.com/genkuroki/status/1345358217941929984

#統計 Wilks' theoremについては証明をフォローできない人は、以下のリンク先の方法でたくさんの数値シミュレーションで確認することによって理解を深めるとよいと思います。

https://twitter.com/genkuroki/status/1325757353250095105

#統計 Wilks' theoremは「自由度って何？」という質問へのχ²検定の場合の解答も与えます。Wilks' theoremによれば

自由度=帰無仮説によってパラメータ空間の次元がm次元下がったときのm.

例えば2×2の分割表で「期待値のオッズ比=1」でパラメータ空間の次元は1下がるので、自由度は1になります。

#統計 非常に困ったことに、2×2の分割表の独立性検定の自由度が1になる理由を「すべての周辺度数を固定すると2×2のセルのうち自由に動かせるのは1つだけになるから」と説明している場合が大部分です。

これも間違いではないと言えるのですが、肝腎のWilks' theoremとの関連に触れていないので、～続く

#統計 続き～、

①超幾何分布を経由するので、χ²検定の誤差が不当に大きく見えてしまう。(おそらくこれが「俗説」発生の原因)

②仮説「期待値のオッズ比=ω」の場合へのχ²検定の構成への道が見えにくくなる。

でろくなことがないです。

無知を認めてWilks' theoremを素直に学ばないとダメ。

#統計 おまけ：「不偏分散」での「自由度n-1」はℝⁿから1次元部分空間{(x̅,x̅,…,x̅)|x̅∈ℝ}への直交射影で減る次元の大きさ。nから1にn-1減るので自由度はn-1になる。

y=a+bx型の最小二乗法ではℝⁿから2次元部分空間{(a+bx_1,…,a+bx_n)|a,b∈ℝ}への直交射影になるので、自由度はn-2になる。

#統計 要するに、直交射影が神。

不偏分散や最小二乗法での自由度についての詳しい説明↓

https://twitter.com/genkuroki/status/1334250385905577984

#統計 以上において

* Wilks' theoremから来るχ²検定の自由度

* 直交射影から来る自由度 (不偏分散や最小二乗法の場合)

について説明したが、さらに別の

* Welchのt検定における自由度

については以下のリンク先を参照。

多分、自由度についてはこの3つをおさえておけば困らないと思う。

https://twitter.com/genkuroki/status/1335859288397365249

#統計 推定と検定を無関係であるかのように説明するのもまずいが、それらとデータの代表値を作る記述統計が無関係だと説明するのもまずい。

標本平均と標本分散の組は正規分布モデルの最尤法の解であり、データの中央値はLaplace分布モデルの最尤法の解の一部分である。続く

https://twitter.com/genkuroki/status/1345346374640967683

#統計 確率分布族をモデルとして与えたとき、データの尤度函数を決定する十分統計量はモデルに基くデータの要約になっているし、モデルがデータに最も適合するように調節されたパラメータ値もモデルによるデータの要約値になっている。

推定はモデルを使ったデータの要約ともみなされる。

#統計

信頼度1-αの信頼区間
= P値がα以上になるモデルのパラメータの範囲
= 有意水準αの検定で棄却されないモデルのパラメータの範囲

を知っていると、

検定と区間推定が表裏一体であること

が分かり、

P値と整合的な信頼区間を表示するプログラム

を自分で書けるようになる。

https://twitter.com/genkuroki/status/1345346374640967683

#統計 統計学における基本的な道具達について「主義・思想が違う」と説明してはダメで、「同じ数学的道具をあなたの目的に応じて異なる使い方をしてもよい。あなたには道具の使い方を自由に決める権利と責任がある」と言うべきだと思う。

例えば、データの標本平均には沢山の使い方がある。当たり前。

#統計

データの平均に沢山の異なる合理的な使い方があるのと同じように、ベイズ統計における事前分布にも沢山の異なる合理的な使い方がある。

「主義」によって事前分布の正しい使い方を固定したがる人は、かけ算順序問題において、かけ算は単価×数量の順序でなければいけないと思っている人と同類。