#統計 確率測度の意味での「確率」は単に「全体の大きさを1としたときの部分の大きさ」という意味での「割合」という意味でしかなく、「ランダムに起こる現象」の類に当たることを定式化した部分は何もない。

確率測度の概念に確率概念に関する哲学・思想の類を感じるのは誤り。
#統計 非自明なのは、「割合」の概念の数学的定式化に過ぎない確率測度さえあれば、「ランダムに起こる現象」の分析に役に立つ数学的道具を大量生産可能なこと。

大数の法則、中心極限定理、Sanovの定理やCramerの定理などは特に基本的。前者の2つはよく解説されているが、後者の2つはそうではない。
#統計 「確率空間や確率測度の概念によって現代的な確率の概念が確定した」のように、確率概念に関する思想の発展を感じさせる解説はひどくミスリーディング。

「確率測度」は実際には「全体の大きさを1としたときの部分の大きさ」=「割合」の概念の抽象化でしかない。
#統計 あと、確率空間・確率測度の概念の習得と統計学の理解は方向性がかなり異なります。前者が後者に必須だと見えている人はひどく誤解していると思う。

誤解した人が誤解をさらに拡散するというようなことが起こっていると思う。
#統計 確率測度の概念の習得を諦めて、確率(質量)函数または確率密度函数がある場合に限定してしまっても、実践的に必要な統計学関係の数学を相当に深く理解できると思います。
#統計 純粋数学的にも、確率(質量)函数または確率密度函数がある場合の具体的な取り扱いについて無知なままで、いきなり確率空間の概念を基礎とする確率論の一般的定式化を学んでも、算数を知らずに整数論を勉強してしまうのと同類の不健全な勉強の仕方になってしまう可能性が高いと思う。
#統計 例えば、私が他人に勧めて来た渡辺澄夫著『ベイズ統計の理論と方法』や須山敦志『ベイズ推論による機械学習』『ベイズ深層学習』のような本は、確率密度函数がある場合の取り扱いを知っていれば読めます。

仮説検定や信頼区間について書かれた本で他人に勧められる本は現時点ではない。
#統計 渡辺澄夫『ベイズ統計の理論と方法』pp.80-84では、AICやBICと検定を比較しています。

それらに「思想的な違い」を感じてしまうようなダメな人達には良い薬だと思います。

違うのは思想ではなく、数学的な性質。

異なる性質を持つ異なる道具をどのように適切に使うかは読者の側の仕事。
#統計 よくある型の(χ²検定がある場合の)仮説検定とその場合におけるAICによるモデル選択はもろに関係があって、それらの違いは本質的に帰無仮説に対応するモデルの側をえこひいきするか否かの違いになります。仮説検定では帰無仮説の側をえこひいきするが、AICによるモデル選択ではそうしない。
#統計 仮説検定では第一種の過誤(=帰無仮説のモデル化の側が正しいのに棄却してしまう誤り)が起こる確率は有意水準として固定されており、サンプルサイズn→∞でも0になりません(当たり前)。

AICによるモデル選択でも同じように正しいモデルの選択に失敗する確率はn→∞としても0になりません。
#統計 非常に不思議なことに、そのように「一致性を持たない」という性質を持つ数学的道具も当然役に立つのに、それを理由に仮説検定やAICを否定する議論を展開するお馬鹿さん達が過去に存在していて「論争」になっていたりします。そういう愚かな「論争」に21世紀の我々が付き合う必要はありません。
#統計 (χ²検定による)仮説検定の状況でBICを使って帰無仮説のモデル化と対立仮説のモデル化の選択を行うと、サンプルサイズnが大きいほど有意水準を小さめに取るのと同じことになります。

具体例における詳しい計算については渡辺澄夫『ベイズ統計の理論と方法』pp.80-84を参照。
#統計 仮説検定から統計モデリングに移ると全然違うことをやることになるかのような解説はもちろん誤り。

統計モデリングのためにベイズ統計の方法を使っていても、数学的には仮説検定から連続的に繋がっている。

統計学において、主義や思想が違うと感じさせる説明は大抵間違っている。

• • •

Missing some Tweet in this thread? You can try to force a refresh
 

Keep Current with 黒木玄 Gen Kuroki

黒木玄 Gen Kuroki Profile picture

Stay in touch and get notified when new unrolls are available from this author!

Read all threads

This Thread may be Removed Anytime!

PDF

Twitter may remove this content at anytime! Save it as PDF for later use!

Try unrolling a thread yourself!

how to unroll video
  1. Follow @ThreadReaderApp to mention us!

  2. From a Twitter thread mention us with a keyword "unroll"
@threadreaderapp unroll

Practice here first or read more on our help page!

More from @genkuroki

18 Nov
ヤンデル氏は【気にくわないもの、嫌いなものから黙って距離をとらずにいちいち「嫌いだ」と口に出す人は、誰かに「そうだね、ぼくもだよ」と言ってもらいたい気持ちがある】という自分自身の強い思い込みに寄り添って欲しいのだろうか?

ヤンデル氏自身が自分自身の強い思い込みに気付かないとダメ。
ヤンデル氏関連

かけ算順序問題ではこういう言い方をしていた。
Read 6 tweets
17 Nov
#統計 太古の時代には「AIC vs. BIC」というこれまた不毛な論争があったようですが、現代の我々はそのような不毛な論争は誰の発言であっても「不毛な議論!」の一言で切り捨てて問題ない。

AICとBICはそれぞれ別のKullback-Leibler情報量+定数の推定量とみなされ、別の価値を持っています。
#統計 仮に、AICにはKL情報量を用いた基礎付けはあるが、BICはベイズファクターの近似値なのでKL情報量を用いた基礎付けはない、というような調子で書かれた文献を見たら、質が低い文献であることを見抜かないとダメ。続く
#統計 AICとBICのKullback-Leibler情報量を用いた基礎付けは、最近の人はみんな読んでいるっぽい渡辺澄夫『ベイズ統計の理論と方法』にもしっかり書いてあります。

大小関係を推測したいKullback-Leibler情報量の違いでAICとBICは使い分ければよい。論争は無意味。続く
Read 10 tweets
17 Nov
計算速度と書き易さを考慮すれば #Julia言語 で書くのが最適。C, C++, Fortran並に速く、圧倒的に楽に習得できる。圧倒的。

数学者側がMathematicaやSagemathを使えるだけのプログラミング能力があるなら、数学者側が #Julia言語 を習得して、自分で書いた方が早いと思います。続く
#Julia言語 でガチで特殊函数(指数積分函数)を実装する実演をやっているのが、MITでの講義の宿題の答えのこれ↓

nbviewer.jupyter.org/github/steveng…

それを最新版のJuliaでも動くようにしたものが

nbviewer.jupyter.org/gist/genkuroki…

のIn[2]にある。続く
#Julia言語

Juliaによる超幾何函数の実装の例が

github.com/JuliaMath/Hype…

にあり、添付画像はソースコードの一部分です。数学関係者なら、Juliaをよく知らなくても、大体何をやっているか分かるはず。

超幾何の例があれば、他の場合については手間の問題でしかない(もちろん結構大変!)。 Image
Read 6 tweets
15 Nov
#統計

「ベイズだとサンプルサイズ設計は必要ない」とか「尤度原理に基くベイズ統計ならp-hackingのような問題は生じない」とか、危険なことを言う人達がいて頭が痛い。

ベイズ統計は魔法じゃない。

そういうおかしなことを言う人達は無視して、尤度函数を地道にプロットして遊ぶ方が有益😊
#統計 仮にデータを生成している真の確率法則が決まっていても、データは確率的に揺らぎます。データが運悪く偏っているリスクが常にある。

データを生成している真の確率法則がないとか決まっていないなら、もっと状況は悪くなる。データが何の情報を拾っているのか自体を明瞭にしないとダメ。
#統計 添付画像は標準正規分布のサイズ10のサンプル(←確率的に揺らぐ)に関する正規分布モデルの尤度函数のプロット。中央のシアンのドットは標準正規分布の平均と標準偏差。

ランダムに生成されたサンプル(データ)ごとに異なる尤度函数が得られる。

gist.github.com/genkuroki/8a5b…
Read 35 tweets
15 Nov
#統計 その引用はページ全体に拡張した方が意図がくみとり易いと思います。

x_1,…,x_nの平均は差の二乗和 Σ (x_i - a)² を最小にするaとして特徴付けられ、中央値(一般に一意に決まらない)は差の絶対値の和 Σ |x_i - a| を最小にするaとして特徴付けられます。

mext.go.jp/content/140707…
#統計 私が、正直、理解できないのは、

【データの分布が非対称形の場合】には【代表値として平均値より中央値のほうが適切】である

という主張。

全体の平均を知りたい場合には平均値を知りたいし、順位的に真ん中の値を知りたい場合には中央値を知りたい(トートロジー)なら理解できるが、~続く
#統計 続き~、【データの分布が非対称形の場合】に【代表値として平均値より中央値のほうが適切】であるという主張は理解できない。

分布の非対称性をどこで使っているの?

中央値には左右の非対称性をケアする機能はありません。
Read 18 tweets
14 Nov
#統計 「伝統的な統計学」について、Fisher's exact testに関わるゴタゴタもウンザリさせられるような事態になっている。

* 2×2の分割表のχ²検定はFisher検定の近似に過ぎないので、可能ならば正確なFisher検定の方を使うべきだ(特に度数が小さい場合には)。

このデタラメを他人に教える人が多過ぎ。
#統計 一応念のためため述べておきますが、私は統計学についてはど素人。

そして、数学に関係した事柄については「教科書に書いてある」とか「査読論文に書いてある」のような事実を正しいことの証拠に挙げる人達を常日頃から「権威に基づいて正しさを判定するろくでもない奴らだ」と言っています。
#統計

⭕️2×2の分割表のχ²検定の方法をサンプルサイズが大きな場合のFisher検定の近似によって導出できる。

という主張は正しいです。しかし、

❌χ²検定はFisher検定の近似としてしか導けない。
❌Fisher検定は正確である。
❌χ²検定の誤差をFisher検定との違いで測るのが正しい。

はどれも誤り。
Read 41 tweets

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just two indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member ($3/month or $30/year) and get exclusive features!

Become Premium

Too expensive? Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal Become our Patreon

Thank you for your support!

Follow Us on Twitter!