Thread by @genkuroki

#統計 「信頼区間」のような入門的な統計学用語を定期的にツイッターで検索しているのだが、

❌P値の使用はやめるべき

と

❌P値ではなく信頼区間を使うべき

がワンセットになっている誤解をよく見る。

⭕️95%信頼区間の各点には5%以上のP値達が乗っている

というイメージが見えていないらしい。

#統計 95%信頼区間は「P値が5%以上になるパラメータ値全体の集合」なので、本質的に

❌P値を使わずに、信頼区間を使うこと

は不可能です。

信頼区間に含まれるパラメータ値達の立場は同等ではなく、それぞれにP値というデータの数値とモデル+パラメータ値の相性の良さの指標が対応しています。

#統計 95%信頼区間の両端の点に対応しているP値は5%で、一般に100(1-α)%信頼区間の両端の点に対応してP値はαになります。

αを動かして、さまざまな幅の信頼区間を計算すれば、パラメータ値にどのようなP値が対応しているかがわかる、のように考えることができます。

#統計 逆に、パラメータ値の各々にP値を対応させるP値函数が与えられているならば、P値がα以上になるパラメータ値全体の集合として100(1-α)%信頼区間が得られます。

パラメータ値の各々にP値を対応させるP値函数

と

有意水準αに100(1-α)%信頼区間を対応させる信頼区間函数

は1対1に対応している。

#統計 こういう事情があるので、P値の使い方を批判し、その代替案を真剣に提案している専門家達は、P値の使用そのものを否定していません。

否定されているのは、違いがないことを意味する特殊な帰無仮説のP値だけで科学的な重要な決定を行うこと。

繰り返します。P値の使用自体は否定されていない！

#統計

否定されていること
❌「違いがない」の型の帰無仮説のP値だけを計算して、その特殊なP値に基いて科学的に重要な決定を下すこと

信頼区間の使用
⭕️「違いは○○である」の型の仮説のP値を全て計算してα以上になる値○○全体の集合を求めること

これらの違いを認識することが重要です。

#統計 以上で説明したことについては、非常に短くて分かり易い以下の論文を読めばよりクリアに理解できると思います。

Amrhein-Greenland June 3, 2022
journals.sagepub.com/doi/10.1177/02…

この論文の著者達は nature.com/articles/d4158… (800人の科学者が統計的有意性に反対)の記事の共著者にもなっています。

#統計

❌違いがないことを意味する帰無仮説のP値だけで科学的に重要な判断を下す

というnullismは否定されています。しかし、これだけがP値の使い方ではないので、

⭕️P値の使用自体

は否定されていません。有名な記事である

nature.com/articles/d4158…

の内容は酷く誤解されている。

#統計 添付画像は既出の journals.sagepub.com/doi/10.1177/02… より。

これはデータの数値から得られるP値函数のグラフ。

横軸には「ハザードリスクは○○である」という仮説が並んでおり、縦軸はその仮説のP値になっています。

「HR=1」型の帰無仮説のP値しか見たことがない人にとっては「目から鱗」だと思う。

#統計 journals.sagepub.com/doi/10.1177/02… にある以下の図を見ればわかるように、「800人の科学者達が統計的有意性に反対」の記事 nature.com/articles/d4158… の共著者でもあるAmrheinさんとGreenlandさんは、P値の使用を否定しているのではなく、

　もっと沢山のP値を計算するべきである

と言っています。

#統計

❌効果無しを意味する帰無仮説のP値だけで重要な決定を下すこと

を否定しつつ

⭕️「効果は○○である」の型の仮説のP値もすべて計算すること

を

journals.sagepub.com/doi/10.1177/02…

は勧めているわけです。

統計学入門における検定と信頼区間の解説はこの方向で全面的に書き直す必要があるかも。

#統計 この線に沿って解説したいときに生じる大きな障碍の1つは、RでP値函数のグラフをプロットするときに、コードを自分で書かなければいけない場合が多いことです。

一部の親切なパッケージはplot=TオプションをつけるとP値函数のグラフを自動的にプロットしてくれますが、そういうのは例外的です。

#統計 例えば、Rのexact2x2::exact2x2はplot=TでP値函数をプロットしてくれます。

P値の正しい使い方に関する議論を普及させるためには、統計ソフト側のこういうサポートが必要なのですが、Rのような統計学ユーザーの大集団のエコシステムでもまだ一般的になっていないという問題があります。

https://twitter.com/genkuroki/status/1571161006373736448

#統計 個人的には確率をexactに計算して作ったP値ではなく、正規分布近似を使って作ったP値のグラフも自動的に描いて欲しいのだ。

あと、Welchのt検定の函数でもplot=TでP値函数をプロットして欲しい。

プログラミング好きのRユーザーにはこういう方面でも貢献できることを広めたいです。

#統計 お勧めの短くて分かり易い論文 journals.sagepub.com/doi/10.1177/02… を読んだ人は、そこでされている議論は、よく見かける

❌「ネイマン&ピアソン vs. フィッシャー vs. ベイズ主義者」のような枠組みで統計学の使い方について議論すること

の類とは一線を画していることがすぐにわかると思う。

#統計 私の経験では「頻度論」とか「頻度主義」という用語を躊躇せずに使って議論している人達はおかしなことを言っている場合が非常に多いです。特に「頻度主義」を批判しているつもりの文献が危ない。

これは要注意だと判断するために結構役に立つ判定法だと思います。(偽陽性も結構あるのですが)

#統計 ベイズ統計に対する「事前分布の恣意性」の指摘による批判も多くの場合にクズそのものであることも覚えておくと便利かもしれません。

従うと危ない人の側に与することになる言説が大量に流布している。アンフェアで攻撃的な言説が実に多い。

⭕️どの道具にも欠点があるが有用でもある。

#統計 攻撃的な言説の例。以下のリンク先スレッドの件は、信頼区間の適切な構成を自分でできるだけのスキルがないと、不当に攻撃的な言い方をしていることを見抜けなくなる。

統計学における悪しき言説は数学的な複雑さを隠れ蓑に使っているとみなせる場合が多い。やっている本人も自覚が無さそう。

https://twitter.com/genkuroki/status/1575081055694225408

#統計 訂正

❌ハザードリスク
⭕️ハザード比

P値ユーザーが

　仮説「HR=1」のP値だけではなく、
　任意の数値aに関する仮説「HR=a」のP値も計算するべき

と言われて抵抗するのは難しいと思う。そして

　今までどうして「HR=1」のP値しか
　計算しなかったのだろうか

と思うのではなかろうか。

https://twitter.com/genkuroki/status/1575332722419322881