Thread by @genkuroki

#Julia言語 もう何度目になるか分かりませんが、私もdual numbersを実装してみた。

添付画像2の @ code_warntype と @ btime の結果に注目。この2つの確認は必ずやった方がよい。続く

ソースコード↓
nbviewer.jupyter.org/gist/genkuroki…

https://twitter.com/abap34/status/1374568774687330305

#Julia言語 自動微分の仕組みのdual numberパートは易しい部分。

難しいのは大量の函数を合成してできる函数の微分をどのように効率的に求めるか。

行列A,B,C,Dのサイズによって、A(B(CD))と((AB)C)Dで計算にかかる時間が大きく違う場合がある(そのことは行列の積の定義さえ知っていれば理解可能)。

#Julia言語 Juliaで積極的に計算を遅くするには、

① グローバル変数の値を引数を経由せずに函数の中で中で使う。

② structを

struct Foo
a
b
end

のように定義して使う。もしくはこれのバリエーション。

あとほとんどの場合に mutable struct は必要ない。

#Julia言語 解決法の例

① 問題を記述するデータを1つの変数にまとめて、函数に常に引数として渡すようにする。

② structを

struct Foo{A, B}
a::A
b::B
end

のような形式で定義し、aやbの具体型をjuliaに自動的に決めてもらうようにする。

@ code_warntype と @ time での確認必須。

#Julia言語 @ time での確認では、実行時間だけではなく、メモリアロケーションの回数にも注意を払う。無駄にメモリアロケーションが多くなっている場合には、ほぼ確実に型安定性が崩れている。

#Julia言語 注意を払っていないと、数百倍遅いコードになってしまっているのに気付かない場合がある。

#Julia言語 逆行列を求めさせるにはabsとislessも実装する必要があった。Real dual numberの場合にしか実装していない。

absは少なくともComplex dual numberの場合には実装しておくべきなのだが、そこはサボっている。

興味を持った人はやってみるとよいと思う。

nbviewer.jupyter.org/gist/genkuroki…

https://twitter.com/genkuroki/status/1374737977356656640

#Julia言語 以下のリンク先の言い方は正確でなかった。

@ timeで測ったメモリアロケーションの回数が異様に多い原因は

① 型安定性が崩れている。特にグローバル変数やstructに注意。

② ループの内側で無駄にメモリ割当が生じるコードを書いている。

https://twitter.com/genkuroki/status/1374741007422484481