Thread by @genkuroki

#JuliaLang

v1.5.3 vs. v1.6.0-rc1

random counting

11 sec (v1.5.3)
↓
3 sec (v1.6.0-rc1)

😊😊😊😊😊

gist.github.com/genkuroki/33f6…

#JuliaLang

3 sec (v1.6.0-rc1, single thread)
↓
0.9 sec (v1.6.0-rc1, ThreadPools.tmap)

ThreadPools.tmap example.ipynb
gist.github.com/genkuroki/2e8f…

#Julia言語

forループの函数版：返り値のある函数fをX成分ごとに作用させた結果を得るためにはmap(f,X)を使い、返り値を使わずにXの各成分ごとにfを実行するにはforeach(f,X)を使う。

それぞれのスレッド並列版がThreadPools.{tmap, tforeach}。
github.com/tro3/ThreadPoo…

#Julia言語

ThreadPools.{tmap, tforeach}だけではなく、ThreadPools.{qmap, qforeach, bmap, bforeach}についての解説を誰かしてくれないものだろうかと思う。

github.com/tro3/ThreadPoo…

#Julia言語 互いに独立なモンテカルロシミュレーションを大量に並列で走らせたければ

using Base.Threads

@ threads for i in 1:niters
result[i] = monte_carlo_simulation()
end

実際には細かい注意が必要。

細かい注意の具体例については以下のリンク先を参照。

gist.github.com/genkuroki/3672…

#Julia言語 繰り返しを分割して、各々を別のスレッドで並列処理したい場合には、分割されたレンジを Distributed.splitrange(start, stop, n) で作れることを知っていると便利です。

@ threads for ran in Distributed.splitrange(1, N, nthreads())
for i in ran
～
end
end

#Julia言語 並列化によってすべてのコアが100%使われている様子を見るのは結構気分がよいです。

並列化では無駄なメモリアロケーションを防ぐことも重要性が増します。

作業用の配列の類も各スレッドごとに用意する必要がある。

#Julia言語 無駄な(重複した)計算やメモリアロケーションを無くして、スレッド並列化した結果、7倍程度速くなりました。CPUは4コア。コア数がもっと多ければより大きな高速化が可能なはず。

①最適化前 41.4秒
②最適化後 5.8 秒

数秒と数十秒では試行錯誤のループの回転の速さが全然違う。

試行錯誤で数学的に何が起こっているかを確認したい場合には計算速度は非常に重要。速いは正義！

さらにコードを少し変えてやり直すことも繰り返すので、コードを変更してから実行するまでの時間(コンパイル時間など)は可能ならばゼロであって欲しい。

このような点について現時点ではJuliaが最強！

#Julia言語 マルチスレッドを使いたい場合には、環境変数 JULIA_NUM_THREADS を設定しておくか(v1.4以下でもOk)、

julia -t auto

のようにオプションをつけてjuliaを起動するようにしておくことを忘れずに！(v1.5以上)

docs.julialang.org/en/v1/manual/m…

#Julia言語 では、マルチスレッドの他に、複数のjuliaのプロセスを走らせて分散処理を行うこともできます。

マルチスレッドのお手軽マクロが Threads.@ threads

分散処理のお手軽マクロが using Distributed の後の @ distributed

分散処理では procs, workers, addprocs, rmprocsも必要。

#Julia言語

Threads.@ threads (マルチスレッド)
Distributed.@ distributed (マルチプロセスの分散処理)

の違いについては、

スレッドとプロセスの違いについて検索↓
google.com/search?q=%E3%8…

#Julia言語 ThreadPools.tmapの解説

4sum(tmap(count_isindisk, splitint(N, Base.Threads.nthreads())))/N

でやっていることは

①splitintでNをnthreads()個に分割
②その各々にtmapでcount_isindiskを適用(並列化される)
③その和の4倍をNで割る

gist.github.com/genkuroki/2e8f…

#Julia言語

正の整数Nをn個の数に N = k_1 + … + k_n と分割するのではなく、レンジ 1:N をn個のレンジに分割するには Distributed.splitrange を使える。

注意：その函数の仕様は今後変わるかもしれない。(過去に変わったことがある。)

https://twitter.com/genkuroki/status/1362907933936259076

#Julia言語 以下のリンク先程度のことなら、Threads.@ threads マクロでも楽に可能だが、ThreadPools.tmapを使ってシンプルに書いている。

https://twitter.com/genkuroki/status/1363016246447337473

#Julia言語 やってはいけないこと

f(k) = [
0.1
0.2
0.4
0.6
0.8
0.9
][k+1]

のような函数f(k)をループの内側で使うと、無用なメモリアロケーションが膨大に発生してしまう。[～] の配列の分のメモリ割当がf(k)を呼ぶごとに発生する。

[ ] を ( ) に置き換えれば大丈夫。

#Julia言語 並列化関連

並列化せずに書いたコードを「小さなn」でテストした後に、やっていることがシンプルなら、ちょっとだけコードを追加して並列化できると結構美味しいです。

https://twitter.com/genkuroki/status/1361603094539247621

#Julia言語 Arrayではなく、Tupleが使える場合には、Tupleで済ませた方が効率的に特になることが多い。

しかし、Tupleには線形代数の演算が定義されていない。

Tupleを「線形代数化」したものに

github.com/JuliaArrays/St…
StaticArrays.jl

という便利なパッケージがある。

https://twitter.com/genkuroki/status/1363071124465020929