黒木玄 Gen Kuroki Profile picture
Sep 10, 2020 13 tweets 5 min read Read on X
#Julia言語 以下の特徴があるので、Juliaがベスト。

* 気楽にアルゴリズムを実装できる。

* 速い。

* Jupyter notebook化すれば数式を含む解説文とコードとプロットを1つのファイルにまとめられる。

* パッケージ化が容易。

* 他言語との連携によって例えばPythonやRでも使えるようにできる。
#Julia言語 二項検定のP値と信頼区間のコード

using Distributions, Roots

⪅(x, y) = x < y || x ≈ y

pval(n, k, p) = let bin = Binomial(n, p); sum(pdf(bin, j) for j in 0:n if pdf(bin, j) ⪅ pdf(bin, k)) end

ci(n, k, α) = find_zeros(p -> pval(n, k, p) - α, 0, 1)

たったの4行! Image
#統計 #Julia言語 P値を計算する函数が実装済みなら、信頼区間函数の実装は

ci(n, k, α) = find_zeros(p -> pval(n, k, p) - α, 0, 1)

の1行で終わることは注目に値する。この事実は統計学入門の教科書を見ても出て来ない。

一般に統計学入門の教科書における信頼区間の説明はひどい。
目標がプログラミング自体ではなく、アルゴリズムの理解やシミュレーションによる統計数理の理解であるならば、気楽にかつシンプルにコードを書けて、線形代数に強く、計算が速くて、グラフのプロットが易しい環境でプログラムを書くべきだと思う。

この条件だと、#Julia言語 ほぼ一択。
最近のプログラミング言語ではユニコードを変数名や函数名に使えるようになっているが、 #Julia言語 のように任意の言語圏のコンピュータ環境でも入力できるようにしてくれているものは珍しい。(Julia以外にある?)
そのおかげで #Julia言語 では変数名に μ, σ², φ, x₀, X̅, θ̂, …などを使用した「まるでアルゴリズム説明用の疑似コード」に見えるプログラムを書いて、そのまま実用的に動かすことができる。

自分で書いたコードを教育でも利用したい人にとっては大きなメリットだと思われる。
#Julia言語 Jupyter notebookでの使用例

添付画像

1. ギリシャ文字αを使用。doc stringも書いてある。

2. ヘルプでdoc string中の数式がきれいに整形されて表示される。きれいな数式は後で見直したときの最理解を円滑にしてくれる。

3, 4. 理解の助けになるプロット。

nbviewer.jupyter.org/gist/genkuroki… ImageImageImageImage
グラフの多彩な形式の歴史は統計学の歴史そのものだと言っても言い過ぎにならないほど、統計学全般においてグラフは重要だと思う。

統計がらみのコードを書く場合には、グラフのプロットまで一挙に書いてしまった方が理解が進む。

しかし、グラフのプロットの仕方を学ぶコストは高いので要注意。
あと、統計がらみの計算は複雑な場合が多いので、プログラムのコードだけから、何をやっているかを理解するのは難しい場合が多い。

教科書にあるような数式を使ったアルゴリズムの説明がないと後でコードを読み直したときに非常につらい思いをすることになる。
統計の数理を気楽に理解するコツは、統計分析用のコードのテストをモンテカルロシミュレーションで確認すること。

疑似データをランダムに大量に生成して、疑似データからの推定結果の分布をプロットしてみることが典型的な作業。

これ、計算量が増えるので、高速なプログラム言語が必須です。
あと、統計学的概念のスッキリした記述には線形代数が必須。

理解を深めるためには線形代数が自然に使えるようになっている環境でプログラムを書いた方がよい。

例えばGauss過程回帰も #Julia言語 ならばせいぜい十数行あれば書ける。

結論:満足できそうな合理的選択は #Julia言語 ほぼ一択。
計算が重くならないなら、統計がらみのシミュレーションでは #R言語 も非常に良い選択肢だと思うし、言うまでもなく、#Python もよい選択肢だと思います。

理解のためのモンテカルロシミュレーションを実際にやってみることの方が「道具の選択」よりも重要であることは言うまでもないことです。

• • •

Missing some Tweet in this thread? You can try to force a refresh
 

Keep Current with 黒木玄 Gen Kuroki

黒木玄 Gen Kuroki Profile picture

Stay in touch and get notified when new unrolls are available from this author!

Read all threads

This Thread may be Removed Anytime!

PDF

Twitter may remove this content at anytime! Save it as PDF for later use!

Try unrolling a thread yourself!

how to unroll video
  1. Follow @ThreadReaderApp to mention us!

  2. From a Twitter thread mention us with a keyword "unroll"
@threadreaderapp unroll

Practice here first or read more on our help page!

More from @genkuroki

Aug 29
#統計 サイコロを1万回ふってどの目の確率も1/6に近付くかを調べることについて、

「大数の法則」
「標本調査がどーして成り立つか」
「1万回も投じる必要がない」

と基本的なことを理解していない疑いがある発言をしているところにみんなもっとつっこみを入れるべきだと思いました。
Image
#統計 以下のリンク先の反応も理解していない側に分類されると私は思いました。

確率の計算をある程度できれば「1万回もしなくていい」と安易に言えないはずです。

例えば、試行回数n=10000、成功確率p=1/6の二項分布において、0.99np以下となる確率と1.01np以上となる確率を計算してみて下さい。 Image
#統計 こういう話題の場合には、仮にどの目が出る確率もぴったり1/6ならば、1万回サイコロをふってとき1の目が出た回数がk回以下になる確率やk回以上になる確率がどうなるかを具体的に計算してみた方がよいです。

確率の数値に関する直観を身につけることは難しいので、地道に計算してみるべき。
Read 11 tweets
Jun 13
#統計 いつも言っていることをそのまま書きます。長めのスレッドになります。

以下スクショによるスライドの引用は より。赤字と青字は私による書き込みコメント。

まず、p.12について。詳しい解説に続く。 speakerdeck.com/shuntaros/jia-…

Image
#統計 「違いがない」の型の帰無仮説のP値をnull P値と呼びます。

null P値は「違いは○○である」の型の仮説に関する無数のP値の特別な場合で、null P値へのこだわりは悪しきnullismである云々とGreenlandさんは言っています。

biostat.ucdavis.edu/sites/g/files/…
Image
#統計 平たく言えば、「違いがない」の型の帰無仮説を「null P値<α」という条件によって棄却して「違いはある」という結論を出すためにP値を単純に使うことはP値の誤用の典型例であり、科学のプロセスを害しています。

biostat.ucdavis.edu/sites/g/files/…
Image
Read 36 tweets
Jun 18, 2023
#統計 念の為のコメント

1️⃣「t検定の使用が適切なためには、母集団が正規分布に従っていることが必要である」という考え方は誤り。

2️⃣「Wilcoxonの順位和検定=Mann-WhitneyのU検定であれば、無条件使用は適切である」という考え方も誤り。

以上の誤りを信じている人達をよく見る。続く
#統計

1️⃣「t検定の使用が適切なためには、母集団が正規分布に従っていることが必要である」という考え方は誤り。

これについてはツイッター上で繰り返し非常に詳しく解説して来ました。

ツイログ検索

twilog.togetter.com/genkuroki/sear…
#統計

2️⃣「Wilcoxonの順位和検定=Mann-WhitneyのU検定であれば、無条件使用は適切である」という考え方も誤り。

これについてもツイッター上で繰り返し非常に詳しく解説して来ました。

ツイログ検索

twilog.togetter.com/genkuroki/sear…
Read 40 tweets
Jun 17, 2023
#数楽 ℤ[√2]やℤ[√3]はEuclid整域なのでPIDでUFDになるので、ℤ[√2]やℤ[√3]係数の多項式の √2や√3が出て来る因数分解の問題も既約元の積に分解する問題として意味を持ちます。続く
#数楽 ただし、整数dに関する√dが出て来る場合には、既約元の積への分解は因子の可逆元倍と順序の違いを無視しても一意的でなくなる場合が出て来ます。

実はそういうところに面白い数学が隠れている!
#数楽 整数の平方根が出て来る因数分解もちょっと話題になっていますが、その話はとてつもなく面白い数学の話に繋がっています!

中学生であっても思いつきそうな話の中にも素晴らしい数学が隠れています!
Read 20 tweets
Jun 16, 2023
東工大出身者のような理系の人達が、上野千鶴子が自閉症の母親原因説を唱えるくらい科学的に無能でかつ優しさに欠けた人物であることぐらいは知っておいた方が、我々の社会はよくなる可能性が高まると思います。

有名かつ有力になってしまった人物はたとえク○であっても無視できなくなる。
上野千鶴子は、自閉症の原因について母子密着説を唱えていたのですが、それが誤りであることが定説になっていることを指摘された後には、定説と上野千鶴子的なトンデモ説を平等に扱うという態度を取りました。

上野千鶴子の自分が苦しめた人達への態度は真にあきれるものでした。
上野千鶴子的な活動家は科学的無知と優しさに欠けた態度の両方の力を行使していました。

そういうことを許す伝統が現代においても人々の苦しみの源泉の1つになっているわけです。
Read 6 tweets
Jun 15, 2023
私は、環論を学ぶまで、重根もしくは重解の概念を十分に理解できた感じがしてなかったです。(代数)方程式の概念も同様。

実数体上の方程式x²=0は環

A = ℝ[x]/(x²)

で表現されます。これと方程式x=0に対応する環

ℝ[x]/(x)

は異なる。環論を使えば方程式x²=0とx=0を明瞭に区別できます。
環k上の環Aで表現された方程式のk上の環Bでの解集合はk上の環準同型全体の集合

Hom_{k-ring}(A, B)

で表現されます。例えば、集合として、

Hom_{ℝ-ring}(ℝ[x,y]/(x²+y²-1), ℝ) ≅ {(x,y)∈ℝ²|x²+y²=1}.
そして、以上のような代数方程式の表現になっている環の話について前もって知っておいた方が、環論の勉強はしやすいように思えます。
Read 6 tweets

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just two indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member ($3/month or $30/year) and get exclusive features!

Become Premium

Don't want to be a Premium member but still want to support us?

Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal

Or Donate anonymously using crypto!

Ethereum

0xfe58350B80634f60Fa6Dc149a72b4DFbc17D341E copy

Bitcoin

3ATGMxNzCUFzxpMCHL5sWSt4DVtS8UqXpi copy

Thank you for your support!

Follow Us!

:(