EAのCarlShulmann氏はAGIや超知能実現以降10年以内という極めて短いタイムラインで1000倍のエネルギー消費をするような文明にまで進歩する直感的には信じられない程の文明変化の可能性をその理数的な機序を詳らかにしながら分析し議論している。（特に米中の宇宙開拓競争圧力で規制より安全保障上の資源エネルギー開発が行われるといった人間社会の分析もあり包括的）このシナリオはいわゆるカルダシェフ・スケールタイプ1文明への極めて短期間の移行を理路整然と分析しその妥当性を示している恐らく初めての議論となっている。普通AGIが開発されてもソフトウェアの世界の加速は速いが物理世界の変化は遅いと考える人が多い。そして従来そのような文明に至るまでは数百年かかると推測されていた。しかしこの議論では物理世界において第一原理的に可能なシステムの自己複製スピードから直感では信じられない程の変化が物質的にも短期間で起こり得てその可能性は高いと議論している。
ある種の「AGIピル世界観」を考える際には5-10年のタイムラインはLeopold Aschenbrenner「Situational Awareness」やDario Amodeiの「Loving of machine grace」エッセイが有名だが、AGI以後10-20年の野心的な世界を見通すうえでのこのCarl Schulmannの経済学、物理学、ガバナンス、地政学を含めた広範な知識から理路整然と話される議論は優れた文献になると思われる。 以下Carl Shulmann氏の議論。彼はDeep techポッドキャスターで有名なドワルケシュ・パテルからは「カールほど多くの興味深いテーマについて厳密に考えた人は、おそらく世界で3人しかいないでしょう。」と評されている。
80000hours.org/podcast/episod…
以下Carl Schulmannへのドワルケシュ・パテルインタビューも参考になる。
dwarkesh.com/p/carl-shulman
つまりCarl Shulmannはカリフォルニアのテック界隈の最先端の議論の中でも更に最先端の「人間と同等以上に賢い存在が現れたら世界はどうなるか？」という議論に関する最も包括的で深い知識を持った人物であり、未来を考える上での重要な考え方として参考にするべきものだと感じる。

AIのスケーリングが「続く」ことがわかり今何が世界で起こっているかがわかる貴重な記事。
・合成データ生成に必要な計算資源は「莫大」（1000万の問題に1万試行で数千億の軌跡で数百兆のtokenが生成され厳選されフィルタリングされている。それが更に問題セットとドメインの拡大したら莫大な計算資源が学習ではなく合成データの生成だけで必要）で事前学習スケーリングの次の巨大なパラダイムが始まろうとしている。
・o1とo1 proの違いは多数決してるかどうか。o1は思考の複数生成をしていない。o1 proはしておりそのため推論コストが高い。
・推論コストはモデルが賢くなればなるほど安くなるため合成データの生成とポストトレーニングで何桁も計算資源スケーリングすることは経済的に「合理的」
・スケーリングに対する弱気な各種メディアや予測者の意見（データ不足が問題等）は事前学習のみにフォーカスしている。
・業界の意思決定者はスケーリングパラダイムが変わっていることを前提に巨大な投資を意思決定しており、スケーリングの状況は依然として変化と進化を続け（ムーアの法則が形と定義を変えながら進展するように）AI 開発プロセス全体は加速し続けている。  
semianalysis.com/2024/12/11/sca… つまり、一言で言えば今後の計算資源スケーリングは合成データを生成するために必要であり、その合成データでさらにモデルは学習され賢くなり、その賢くなったモデルがさらなる合成データの生成と検証を行うというフィードバックループに入っているということだ。（記事にも同じ説明あり）

今は数億人が1日10回位GPT4使うだけだから数万~数十万台のA100が稼働すればいいけど、今後ホワイトカラー13億人が一斉に毎日何時間も連続で使い続けるとなると、H100クラスのGPUを何千万台と稼働し続けなくてはいけない。
1000TWh（世界電力消費量5%）レベルでいけるとし、やはりボトルネックはGPU不足 つまりOpen AI 内部でどんなに賢いマルチモーダルAIモデル（Arrakis等）が実は開発されていたとしても、その性能に見合った世界中の需要に答えるGPＵがそもそもたりなさすぎて、Open AIはリリースできていない可能性がある。安全性や推論コストを下げる必要からの遅れよりGPU不足ファクターがでかそう

バイデン大統領は30日、AIの能力向上によって国民の安全とセキュリティーに影響を及ぼすとし、国家安全保障などに重大なリスクをもたらすAIの開発を行う企業には、国防生産法に基づき、開発の過程で政府への通知を求めてる。
11/1.2から英国で安全性サミット。急速に進んでる www3.nhk.or.jp/news/html/2023…

https://twitter.com/bioshok3/status/1717739325214114223

許可が出たので10/28のJimmy Apples氏との会話を公開するが、ここにバイデン大統領についての話も書いていますが、大統領もある程度知っていると主張している。もしこれが本当だったら、（恐らく違う）大統領はAGIをみてこんなに対応をいそいでいると陰謀論的に解釈できるね
cooing-iron-11a.notion.site/10-28Jimmy-App…

衝撃的なこと（判断は人それぞれ任せますが）が判明したかもしれない。
Open AIのインサイダーと思わしきJimmy Apples氏に今日フォローされDMで「AGIが内部的に達成されている」件についてダメ元で聞いてみたらなんと返信があった。DMのスクショはなしで日本語で内容呟くなら公開OKとのこと。以下貼る 以下私とJimmy Apples氏の会話を日本語に訳してまとめたもの。一言一句正確に翻訳した。
まず9/18のAGIが内部的に達成とのツイートについて、そのAGIの優秀さについて聞いたところ、サムアルトマンがよく言っている中央値の人間を置き換えるレベルで、しかも「幻覚を解決」。数ヶ月の長期計画が可能。

論文を読むと1.4*10^12tokenでLLaMAは学習されているらしく、これは世界最大レベルのデータセットの学習量(Chinchillaと同程度レベル)ですね。最近「コードの学習」が推論能力の強化に効いているのではないかという仮説があ理、LLaMAはざっくり200GBのgithubデータを正味学習している気がしていて、

https://twitter.com/jaguring1/status/1629233936290435073

PaLMは100GB程度、Chinchillaは300GB程度と推定されると考えると、以下のMMLUのスコアで同程度のパラメータ(70B,65B,62B)同士を比べるとChinchilla>LLaMA>PaLMとなるのが綺麗に説明つくかもしれない。

Googleが画像編集AI(Imagen Editor)でRT-1（視覚、言語条件付きロボットAI）の学習データセットを拡張する手法「ROSIE」を発表。Imagen Editorで作られた新たなタスクの学習以下最初の図（例えば引き出し＝＞台所のシンクに変更し、そこにコーラを入れる）や次の図（他注意を散らす物体）に堅牢に。

https://twitter.com/xf1280/status/1628483168306364416

手法は以下の図。例えばタスクが「コーラを引き出しに入れる」だったら、その中からコーラと引き出しをセグメンテーションし、次に画像編集AIでセグメンテーションマスクとプロンプトを入力として、画像全体の一貫性をできるだけ保ちつつ新たな視覚入力を生成する。

短期
・Google
スマホAIで覇権
広告モデルかサブスクか検索AIによるサービス利益の手数料かで儲ける？
スマホ検索AI
・Microsoft
PC内AIシステムと法人向けAIで勝利？
PC検索AI

中長期
・Google、Amazon
汎用産業ロボット
・テスラ
汎用人型ロボット
・Microsoft、メタ
メタバース

アップルわからん イヤホン系×AIでアップルは躍進するかもしれない。
あとスマートスピーカーはAmazonやGoogleが強いかもね。

ついにChatGPTよりも強力で、特に検索用にカスタマイズされたモデルが組み込まれたBing発表！ユーザーが見ている Web ページやドキュメントを要約し質問、複雑な検索も可能。
本日、デスクトップでの限定プレビューとして利用できる。今後数週間で、プレビューを数百万にスケールする予定。

https://twitter.com/satyanadella/status/1623031898544152578

theverge.com/2023/2/7/23587…
ここにも使い方が書かれている。

Microsoftは本日、レドモンド本社でサプライズイベントを開催していて今開催されているっぽいぞ！
なんかゾクゾクとタイムラインで流れてくる。 theverge.com/2023/2/7/23588…
ここでリアルタイムで記者？のコメントが見える。

いやー本当にそうなんだよな。
大御所達がこのAIトレンドは産業革命だと言ってくれてるから、普通に考えてAIはビジネスチャンスというスケールもありつつそれをこえて国家安全保障、わんちゃん人類に対する安全保障にもなりえる。まーひとまずは国家安全保障の問題だと認識する必要ありそう。

https://twitter.com/umiyuki_ai/status/1622909316624973824

日本がビジネス的に遅れるからAIトレンドに乗っかろうとかそういう次元ではない。国家安全保障上の問題になるので、取り組もうくらいの勢いが必要な気がする。

全く言語学には詳しくはなかったけど、ことばには意味の構成性というのがあるらしく、現状の大規模言語モデルの意味の分散表現パラダイムとはまた別だからノームチョムスキーは現状の言語モデルは人間の言語のエミュレートにはならないと言っているのかも。

※素人呟き
この方の動画はめちゃくちゃ好きでよく見ているんだけど、大規模言語モデルの限界についても示唆されている。ここで紹介されている構成的汎化に関する論文ではスケーリングが微調整だと飽和するとある一方で、プロンプトチューニングや文脈内学習
arxiv.org/abs/2205.12253

arxiv.org/abs/2201.11903
これ去年衝撃的な性能向上を示したCoT論文の1月の修正版なんだけど、これを見るとやはりLaMDAよりGPT(text-davinci002)やPaLMの方が圧倒的にCoTの能力を引き出している。これ何でかって多分「コードの学習」にある気がしててLaMDAは対話データで学習されている。つまり、 googleはLaMDAベースのBARDを数週間以内に出そうとしているけど、それだとMicrosoftのBing搭載されるCodexベースのGPT3.5以降の推論能力に負ける可能性があると思う。

やっとAIの未来について、書き終わりました！！
様々なレポートや予測サイトや専門家アンケート、他最新のAI動向を外挿して10年後のSF的な未来は信じられませんが、ほぼ来るだろうという結論です。
その他、汎用人工知能、超知能、ちょっと聞きなれないかもですが一般化知能の実現時期推定もあります！

https://twitter.com/Futurist_SF/status/1588865256906199040

結論をまとめますと、
・高い可能性で2020年代後半(2026年頃)から「指示待ち人間レベル」もしくは猫レベルの人工知能（一般化知能、Generalized Intelligence）が台頭

・社会実装が急速に進み、2035年までに社会のあらゆる側面を変革

・そこそこの可能性で汎用人工知能や超知能が20年以内に実現