深層ニューラルネットの潜在空間上で一般相対論を展開しようとすると，「潜在空間において光速が存在するとはどういうことか？」が問題になる 実はこの問いの答えは簡単で，生物の脳内にあるニューロン，あるいは，スパイキング・ニューロンにはそれ以上速く発火することができない発火頻度の上限が存在する

ChatGPTなどのLLMをスケールアップしていくと，モデルが当初想定していなかった新しい能力を獲得する創発現象（特定タスクについてのAccuracyがTransformerのスケーリング則では説明できない上昇を見せる）

その出現条件に共通するパターンは見つからなかった，というブログ
yaofu.notion.site/A-Closer-Look-… まずTransformerのスケーリング則自体が驚異的だけど，この創発現象も相当に驚異的で，モデルのスケールアップを続けていけば，人間がまだ名前をつけていない未知の能力をモデルが獲得できるのか？等，興味深い

ai.googleblog.com/2022/11/charac…