Thread by @genkuroki

#統計 「ベイズ統計もいいよ！」と他人に言いたい人達は、Wagenmakers (2007) というP値の使用に反対してベイズをおしているクズ論文が存在して、沢山引用されていることも知っておいた方が良いかも。

replicationindex.com/2018/12/29/wag…

elsur.jpn.org/mt/2016/08/002…

#統計 その予備知識の使用例

＞私はWagenmakers (2007)はクズそのものだと思っています。私がベイズ統計の方法を用いていることと、そのようなクズを結びつけるのはやめて頂きたい。

＞なるほど、あなたもWagenmakers (2007)はクズだと思っているのですか。それなら安心だ。誤解をお詫びします。

#統計 ベイズ統計に関するクズ言説は心理統計学の世界からよく発信されているように見える。

どうしてこういうことになっちゃうのかね？

#統計 豊田『瀕死本』にもWagenmakers (2007)と同じような話が書いてある。豊田『瀕死本』でその論文は引用されていましたっけ？

見つけた人がいれば引用しているページの番号を教えて下さい。他の文献でも可。「目grep」する気力はない。

関連スレッド↓

https://twitter.com/genkuroki/status/1320734481381089280

#統計 Wagenmakers (2007)に「BICの差」が出て来るので解説。特に仮説検定との関係を解説しましょう。

簡単のために、1次元パラメータθを持つ確率分布族p(x|θ)における帰無仮説θ=θ₀の検定の場合について考えます。

モデルの正則性などの最尤法が有効になる性質も仮定します。続く

関連スレッド↓

https://twitter.com/genkuroki/status/1329159532707135488

#統計 仮説検定とBICを比較したい。

そこで、データX_1,…,X_nは帰無仮説に対応する確率分布p(x|θ₀)のi.i.d.として生成されていると仮定し、尤度函数

L_n(θ)=p(X_1|θ)…p(X_n|θ)

を最大化するθをθ̂と書きます。

#統計 このとき、分布族p(x|θ)のBICはパラメータ数d=1なので、

BIC₁ = -2 log L_n(θ̂) + log(n)×d = -2 log L_n(θ̂) + log(n)

となり、帰無仮説に対応する分布p(x|θ₀)のBICはパラメータ数が0なので

BIC₀ = -2 log L_n(θ₀)

になります。続く

#統計 これらの差は

BIC₁ - BIC₀ = -2(log L_n(θ̂) - log L_n(θ₀)) + log(n).

BICによるモデル選択は「BICが小さい方を選択すること」によって行われます。

続く

#統計 ゆえに、正しいモデルのBICであるBIC₀の側が大きくなってしまうことは、仮説検定では第一種の過誤が起こることに対応します。この意味で、

第一種の過誤が起こる
⇔ BIC₁ < BIC₀
⇔ 2(log L_n(θ̂) - log L_n(θ₀)) > log(n)

です。続く

#統計 Wilks' theorem より、nが十分大きければ、

2(log L_n(θ̂) - log L_n(θ₀))

は自由度1のカイ分布に近似的によく従うようになります。

そこでc(α)を「自由度1のχ²分布においてc(α)以上になる確率はαになる」という条件で定めておきます。

続く

#統計 nが十分大きいならば、Wilks' theoremによって、有意水準αの検定を

2(log L_n(θ̂) - log L_n(θ₀)) > c(α) ⇔ 帰無仮説を棄却

によって作れます。

有意水準αは第一種の過誤が起こる確率であったことも思い出しておきましょう。

#統計 これとBICによるモデル選択の場合を比較すれば、仮説検定の状況におけるBICによるモデル選択を検定の言葉で理解できる。

BICによって帰無仮説が「棄却」される
⇔ 2(log L_n(θ̂) - log L_n(θ₀)) > log(n)

χ²検定によって帰無仮説が棄却される
⇔ 2(log L_n(θ̂) - log L_n(θ₀)) > c(α)

続く

#統計 要するに「自由度1のχ²分布でc(α)以上になる確率がαになる」という条件で定義されたサンプルサイズnに依存しない定数c(α)を log(n) に置き換えた場合が、χ²検定の状況におけるBICによるモデル選択に一致しているわけです。

続く

#統計 c(α)が大きくなるほど有意水準αは小さくなり、BICでのモデル選択ではc(α)をlog(n)に置き換えたものになっています。

χ²検定の状況におけるBICによるモデル選択はサンプルサイズが大きいほど有意水準を小さくする仮説検定と同じになります！

続く

#統計 BICはベイズ情報量規準と呼ばれており、ベイズ統計における対数周辺尤度の-2倍の近似値になっている。

ダメな人達は「BICを使うと主義が異なるベイズ統計の話になるので、頻度論の仮説検定とは無関係の別の方法になる」と誤解してしまうでしょうが、普通に数学的に考えれば誤解せずにすみます。

#統計 以上のパラメータ数1のモデルと帰無仮説を課したパラメータ数0のモデルの比較において、BICによるモデル選択で第一種の過誤と同じことが起こる確率の近似値は

n=32～64 ⇒ α=6.3%～4.1%
n=512～1024 ⇒ α=1.3%～0.85%
n=16384 ⇒ α=0.18%

のような感じになります。他の場合も同様に計算可能。

#統計 再掲。要するに、χ²検定の状況においては、BICによるモデル選択はサンプルサイズnが大きいほど小さな有意水準を採用した仮説検定と同じになるということです。

#統計 ベイズファクターでもその漸近挙動によってnが大きい場合にはほとんど同じことになります。(BICの差はベイズファクターの対数の2倍の近似値になっています。)

以上によって、χ²検定の状況におけるBICやベイズファクターの使用は有意水準の言葉でも理解可能なことが分かりました。

#統計 有意水準を小さめに取ったときのトレードオフについて、仮説検定ユーザーは当然知っているはずです。nが大きい場合のBICやベイズファクターの使用においても同じトレードオフが発生するわけです。

魔法は存在せず、トレードオフを気にしながら目的に合わせて適切な道具を使うしかない。

#統計 以上の議論において最も本質的な数学はWilks' theoremです。Wilks' theoremについては以下のリンク先スレッドを見てください。

数学的な証明遂行スキルが不十分であっても、具体例の数値的確認を十分に行えば、中心極限定理の場合と同様に十分に実用的な理解が可能だと思います。

https://twitter.com/genkuroki/status/1325783580220432385

#統計 AICについて補足

BICによって帰無仮説が「棄却」される
⇔ 2(log L_n(θ̂) - log L_n(θ₀)) > log(n)

χ²検定によって帰無仮説が棄却される
⇔ 2(log L_n(θ̂) - log L_n(θ₀)) > c(α)

AICによって帰無仮説が「棄却」される
⇔ 2(log L_n(θ̂) - log L_n(θ₀)) > 2

https://twitter.com/genkuroki/status/1330421609958694914

#統計 以上においては p(x|θ) の具体形によらない議論にしてしまいましたが、p(x|θ) = (1/√(2π))exp(-(x-θ)²/2), θ₀=0 の場合の計算の詳細が、渡辺澄夫『ベイズ統計の理論と方法』のpp.80-82にあります。

その部分とこのスレッドを比較すれば具体例の計算の重要性も理解できると思います。

#統計 「ゴールをより厳しめにずらすこと」はBICやベイズファクターを使わない方法でも可能です。豊田『瀕死本』がその手のことをやっていることについては以下のリンク先スレッドを参照。

ゴールをずらしたいなら、ベイズ主義的なデタラメをほざかずに、ゴールをずらすと正直に言えばよい。

https://twitter.com/genkuroki/status/1241349990619832321

#統計

帰無仮説でパラメータ空間の次元がΔd下がる場合:

G = 2(log L_n(θ̂) - log L_n(θ̌))

とおくと、帰無仮説が選択されないための必要十分条件は

BIC: G > log(n)×Δd

χ²検定: G > c(Δd, α)

AIC: G > 2Δd

θ̌は帰無仮説化での最尤法の解で自由度Δdのχ²分布でc(Δd, α)以上になる確率はα.

【心理学は統計学をちゃんと使おうと思っている】の証拠があるなら見てみたい。

「ちゃんと使おう」の中身は何なんだろうか？

もしも「科学っぽい体裁を整えるためにお墨付きを得るための道具として使いたい」ならアウト。

統計学は科学的なお墨付きを得るための道具ではない。

https://twitter.com/tbs_i/status/1330740775995404289

統計学はお墨付きを得るための道具ではない。

ところが、最近出版された某書のテーマは【お墨付き】を得るための統計学の【特権的な機能】について哲学的に語ること。

こういう本や『瀕死本』が出版されてそこそこ売れてしまうこと自体が色々ろくでもないことが起こっていることの証拠になっている。

https://twitter.com/genkuroki/status/1327884834157383680