上周 Bloomberg 透露了 OpenAI 内部会议上 AI 智能等级的最新定义，一共五个 Level，我们现在还处于 Level 1，但很快就能达到 Level 2。其实 Deepmind 在今年早些时候也发表一个 Levels of AGI 的分级，还有 Anthropic 去年九月的 ASL 也是一种基于安全等级的智能分级，我把这三家 AGI 公司的等级做了个横向对比表格✨

OpenAI 的分级更像系统功能的扩展，和他们的目标一致，AGI 解放生产力，不过玄学级别的 Level 2 推理要是实现了，后面那几个都是工程问题，所谓一生二，二生万物。。

Deepmind 则是完全对标人类的能力衡量 AI，硬核提升单体智能，直到超人出现；唯有 Anthropic 从人类安全视角来做分级，只有它们提到了 AI 的自主性和自我升级能力会带来的潜在威胁，他们的任务就是在 AI 出现自主意识之前将其识别并控制起来，果真全员 70% Doomer 的研究机构🤔 OpenAI 告诉员工他们已经接近 Level 2 了。。

欢迎来到东京🗼 这段效果炸裂的视频是 OpenAI 今天最新发布的 Text-to-Video 模型 Sora 生成！

Sora 可以创作长达 60 秒的视频，能实现详实的场景、复杂的运镜，以及表情生动的多角色。。手握最强 LLM 的 OpenAI 剑一出手就封喉🗡️ 无论你生成什么，先得有脑子有逻辑才是王道！

那些做视频生成的创业团队，必须得像 Midjourney 那样在效果和产品路线上专业化，才能有出路🤔

Prompt: “A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. she wears a black leather jacket, a long red dress, and black boots, and carries a black purse. she wears sunglasses and red lipstick. she walks confidently and casually. the street is damp and reflective, creating a mirror effect of the colorful lights. many pedestrians walk about.”openai.com/sora Prompt: Reflections in the window of a train traveling through the Tokyo suburbs.

今天， 对外公开了他们的首款产品 Grok，一个全新的大语言模型，它将具备：

- 25000 Tokens 的上下文窗口；
- 极快的响应速度，能实时获取 𝕏 的信息，对比其它模型这是一个巨大的优势；
- Grok 的知识库是基于886.03GB 的 The Pile （一个开源的语言数据库）和整个 𝕏 平台的 Exabytes 数据库微调而成；
- 计划提供 API，还有图像识别和音频识别；
- Grok 的一个版本将使用本地计算能力在 Tesla 中“本地”运行
- 测试版 𝕏 Premium+ 的订户才能使用。。

xAI 脚踏 𝕏 与 Tesla 两大平台的文本、图像还有现实世界的视频数据，这将是其它模型公司不具备的优势，它联通了数字和物理世界；同样未来 Grok 也会被用来增强 𝕏 还有 Tesla 的 FSD，弥补其缺失的语言模型智能。Grok 将是ChatGPT 的一个有力的竞争对手🤔

—

除了大家都在转发的几个重要特性之外，再给分享一些来自今年七月 Elon 在 X Space 讨论中透露的一些细节：

xAI 的目标是开发有益于人类的 AGI，专注理解宇宙。其方法是创造一个最大程度上充满好奇心、追求真理，并努力减少信念与现实之间误差的 AI。这旨在避免 AGI 按照固定或错误的道德观进行对齐可能带来的潜在危害。

关于架构与数学理解

xAI 期望揭示宇宙的基本真理并分享这些知识，重点是利用科学和工程技术来构建AI，进行快速迭代和简化解决方案，而不是依赖粗暴的计算力。

数学被视为严谨理解的框架，类似于工程学中的物理。概念模型和理解对于在先进的神经网络至关重要，科学家和数学家将会将会在 xAI 中与工程师并肩作战。

和现实世界的结合

Elon 看到 xAI与 Tesla 的现实世界 AI 合作带来的潜在好处，因为 Tesla 在部署用于自动驾驶的神经网络方面取得了重大突破，将两家公司的工程师汇集在一起可能会在捕获复杂的真实世界现象方面带来互助的改进。xAI 将开发关于概念性的3D世界的知识，而不仅仅是利用互联网的数据，现实世界的反馈将被大量采用。

关于 AI 的安全

为了安全，任何像 Optimus 这样的实体机器人都必须有硬编码的物理开关，以便在必要时强制关闭它们。无线远程访问可能会被黑客攻击，因此物理切断是必要的，尤其是对于那些可以随人走到任何地方的移动 AI。

合理的 AGI 规范可以接受，但是会严重阻碍进步的过度限制将会受到反对。为了安全而做出的一些延迟是值得，确保AGI 安全的途径是最大限度地提高透明度。Elon 表示如果需要揭露任何损害公众利益的不当政府要求，他愿意冒着坐牢的风险。如果政府机构试图秘密地以不符合公民利益的可疑动机影响技术，xAI 将坚决反对。

减少不平等和平权治理

xAI 团队表示，让每个人都能使用AI 的知识以帮助整个人类十分重要。广泛可靠的 AI 帮助可以大大减少机会的不平等。作为一家公司，xAI 向着真实性和赢得公众信任的目标努力，而不是优化利润或控制。

xAI 强调透明度和与学术界/研究人员的开放合作，它希望避免大型科技公司那样限制，将促进公众参与决策，任何人都可以对 xAI 的未来方向进行投票（但 Elon 今天特意发帖强调他旗下的任何公司都不会发币的。。）

—

总的来说，Elon 表示通过 AI 在数学和科学中做出基本的新发现和实现新的能力将是重要的里程碑。在多个学科中创造新知识的能力超过人类，这就意味着 AI 实现了真正的通用智能🤟x.AI
在这些基准测试中，Grok-1 展现出了强劲的性能，超过了其计算等级中的所有其他模型，包括 GPT-3.5 和 Inflection-1。性能仅次于那些使用了大量的训练数据和计算资源进行训练的模型，如 GPT-4。这展示了 xAI 在训练LLMs 上出色的效率🙌

在那篇《Sparks of AGI》的针对 GPT-4 的研究论文之后，微软又给出了一篇 166 页的针对 GPT-4V 潜能的超强研究报告《The Dawn of LMMs》- 大型多模态模型的黎明🌅 这篇报告将是 GPT-4V 高级用户的必读之作，强烈推荐阅读原文！论文地址：

研究者对广泛的领域和任务进行了采样测试，包括开放世界的视觉理解、视觉描述、多模态知识、认知常识、场景文本理解、文档推理、编码、时间推理、抽象推理以及情感理解等。GPT-4V 在许多实验领域都表现出了令人印象深刻的人类水平的能力🧵arxiv.org/abs/2309.17421

GPT-4V 在视觉理解、描述、常识、场景文本理解等领域展现出人类水平的能力👀

EO 的这段采访 Notion 的短片不错！Ivan 亲述了全员去京都开发 2.0 版的故事。Notion 的爆点就是从这一版开始的，提供简单的模版来帮你完成工作，用户并不想自己去构建什么，而是需要完成工作，这就是需求！作为一名从 2018 年就开用的老用户，分享下印象比较深的几个点🧵 Notion 最开始是要做一个让大家都可以自己做 software的东西，就是 drag and drop 做网站之类的软件，但是一直没抓住用户，然后 Ivan 和 Akshay 意识到 “intuitively, everyone wakes up not to build a software, they wake up to do their job”

继 Google I/O 之后 Microsoft Build 也 All in AI！在今年二月 Bing 与 Edge 深度绑定 OpenAI 后，今天又宣布了：
- Window Copilot 在操作系统级别集成 AI
- 完整的 Copilot Stack 开发框架
- 以及 Azure AI Studio
macOS 你再不把 Siri 升个级
会拉低系统智商的。。😓
Copilot & Plugins
这是微软为全新的 AI 驱动的软件提供的 Copilot Stack 框架，在这里你可以开发 ChatGPT & Bing Chat 插件，也可以为 Microsoft Copilots & Windows Copilots 开发插件，当然你也可以开发自己的 Colipots！详见

https://twitter.com/indigo11/status/1661135309982281728?s=20

微软在今天的 Build 大会上发布了 Copilot Stack！这是专门为 AI 驱动的软件提供的新开发模式，你可以用这种模式来实现自己的 Copilot，也能在这个框架下为 ChatGPT、Bing、Dynamics 365 和 Microsoft 365 的 Copilot 来开发新插件。整个 Stack 分为三层：体验层、协调层和模型层，具体见🧵 1. 用户体验层，交互界面都在这里，和传统的应用不同，这里你只需要关注自然语言，它是最简洁的界面

OpenAI 发表了自己关于超级智能管理的初步想法，这是“能力越强，责任越大“的竞争策略，用秩序制定者的身份来建立护城河！大意是建立一个类似国际原子能机构的 AI 国际机构，拥有强大算力的公司纳入监管，公开透明，彼此控制研发进展；那些算力不够的公司和开源项目就随便他们玩吧，反正也兴不起风浪🌊

https://twitter.com/OpenAI/status/1660700692372410368

OpenAI 有两个核心信念。首先，AI将创造一个超乎想象的美好世界，我们已在教育、创意工作和个人生产力等领域看到一些早期的例子。当前世界正面临许多亟待解决的问题，这项技术能够改善社会，经济增长和生活质量将取得显著提高📈

这家以建造通用机器人为己任的公司 @TheSanctuaryAI 竟然在温哥华，回头要去拜访下！他们的第六代通用机器人 Phoenix™ 刚刚发布，搭载了最新的 LLM，可以像人一样思考和行动来完成任务！和 @TeslaAIBot 对比谁会更便宜和更强大呢？ 这里有段 Phoenix™ 完成 60 件任务的集锦视频！
看上去还是很灵巧的👀

周末要给湛庐做个直播分享，特意整理了一份我自己的常用 AI 工具集，先在推上分享给大家！日常使用，真心推荐，绝非拉流量的"空心列表"😄

1. ChatGPT 绝对是对话 AI 的主力工具，Claude 偶尔在文章创作时用用，Poe 中的 Bots 会很有趣，例如那个 Midjourney 提示词🤖️ poe.com/midjourney

2.… twitter.com/i/web/status/1… 演示文稿工具推荐 gamma.app 以及 beautiful.ai
不过大多数情况下适合给些版式创意，Keynote 才是真正的生产力工具，体积巨大也不在话下。。

WSJ 的一篇报道透露了苹果很快将宣布其历史上最具实验性和非常规的产品 - Apple Glass！一些试用过的人表示其能力远超其竞争对手，有更好的性能与沉浸感！但预计要到今年九月才能量产 。。苹果期望通过 WWDC 来激励开发者，大家觉得在这次活动上能看到 Apple Glass 么？wsj.com/articles/apple… Apple 分析师 Ming-Chi Kuo 表示，2023 年的出货量预测估计为 20 - 30 万台，比第一代 iPhone 和 Apple Watch 的首年产量要小得多；总部位于中国的装配商Luxshare 负责生产该设备，下一代高端版预计在 2025 年推出，而苹果最大的装配商富士康预计将生产第二代低端版。。。

看完了 Google I/O 2023，感觉这就是针对 Microsoft + OpenAI 的 PPT 大反攻！不过这次算把混乱的 AI 研发整清晰了，PaLM 2 做 LLM，Gemini 做多模态基础模型，然后所有的产品都基于这它们，包括 Bard、Search 还有 Cloud。画了一张 Google 产品一览图，方便大家快速了解🧵 youtube.com/live/cNfINi5CN… Google Maps 永远都是 Google 最爱展示的 App，这次也不例外，AI 生成的沉浸式街景导航看上去太酷了

哈佛大学 CS50 课程前几天关于 GPT-4 的直播课
youtube.com/live/vw-KWfKwv…

其中 steamwork.com 创始人 Ted 分享了在 GPT-4 上构建应用的范式，搭配 @AndrewYNg 的那套课程一起来看，绝对是神来之笔！从 24:30 开始，Ted 讲解了伴聊、问答、工具摘要、创意生成和多任务代理五种范式🧵 1/5 Companionship 类似 ChatGPT 的伴聊范式
要把你的 instructions or database 简单的封装到 prompt 里面，让应用基于你的数据来对话

Nvidia 的黄老板和 OpenAI 的首席科学家 Ilya Sutskever 有一个对谈

@ilyasut 表示 GPT 的确只是个神经网络语言模型，它被训练出来只是要预测下一个单词。但如果你训练得足够好，它就能很好地掌握事物之间的统计相关性，这就意味着 GPT 真正学习的是一个「世界的投影」🧵 神经网络所学习的是世界与人类境况的方方面面，包括他们的希望、梦想、动机，以及他们之间的互动和我们所处的各种情境。神经网络学会了对这些信息进行压缩、抽象和实用的表示，就是通过准确预测下一个单词所学到的内容。而且，预测下一个单词的准确性越高，这个过程中的保真度和分辨率就越高

SemiAnalysis 今早发布了一份 Google 内部泄露的文件，其实 Google 针对 OpenAI 做了很多审视自己的工作：“谁会跨越下一个里程碑？令人不安的事实是，我们没有能力赢得这场军备竞赛，OpenAI也是，就在我们争吵不休的时候，第三个派别一直在悄悄地吃我们的午餐” 那就是开源🧵 semianalysis.com/p/google-we-ha… 1/8 虽然闭源的模型在质量方面仍有轻微的优势，但差距正在以惊人的速度缩小。开源模型的速度更快，可定制性更强，更有私密性。他们正在用100美元的成本和130亿的参数做一些事情，而我们在1000万美元和540亿的参数上却很难做到。而且他们在几周内就能做到，而不是几个月。。

Harnessing the Power of LLMs in Practice
arxiv.org/abs/2304.13712

这篇论文来自 Amazon 和 Texas A&M University 的研究团队，他们构建了一个现代 LLMs 的进化树，以追踪近年来语言模型的发展，同时也对 LLMs 与 Fine-turning（微调）的选用，做了系列评估建议，我简单总结一下🧵 可以很清晰的看到，只有用 Transformer 做解码的分支发展壮大：LLama、Bard、GPT、Bloom、PalM、jurassic-2 还有 Claude；同时做编解码的还有清华大学的 GLM、Google 的 T5 & UL2；只做编码器的已经全部淘汰！Google BERT 一开始就选错了方向。。。

来自历史学家 @harari_yuval 和 HumanTech 的联合创始人 @tristanharris 的这篇《如果我们不控制 AI，AI 就会控制我们》表现出了一种超前的担忧，就像制药公司不能在未经过严格的安全检查之前向人们销售新药一样；具有 GPT-4 及以上能力的 AI nytimes.com/2023/03/24/opi…… twitter.com/i/web/status/1… 1/8 对于我们的人类思维来说，很难理解 GPT-4… twitter.com/i/web/status/1…

今天 ChatGPT 对外宣布了流传已久的 Plugins 功能 👀

简单来说就是允许第三方为 ChatGPT 开发插件，将自己的服务集成到 ChatGPT 的对话窗口中。从演示来看，插件已经包括了酒店航班预订、在线购物、法律知识库、文字生成语音还有大家最爱的 Stephen … twitter.com/i/web/status/1… Browsing 插件将用互联网上最新的信息来回答你的问题，给出它的搜索步骤和内容来源链接。其实 OpenAI 的 WebGPT 还有 Google 的 LaMDA2 都做过类似尝试，通过自主的实时检索，回答超越训练语料库范围的内容，只不过这一次是通过插件形式集成到了 ChatGPT。Browsing 使用了 Bing… twitter.com/i/web/status/1…

GPT-4 的模型在去年8月就炼出来了，但今天才发布，官方解释是需要大量测试和各种查漏补缺。我怀疑 @OpenAI 是担心 AI 进化太快人类接受不了 。。看了 Twitter 上的各种深度剖析，但纸上得来终觉浅，于是直接问了一下 ChatGPT，然后快速看了下论文，把自己领悟到的内容给大家摘要了七条🧵 1/7 能力惊人：就先前面 ChatGPT 自己回答的优势，GPT-4在许多任务上已达到人类水平（human-level）。在普通对话中，GPT-3.5与GPT-4区别不大。但在复杂任务中，GPT-4在可靠性、创造力和处理细节上更出色，在很多专业和学术考试上超越了 90% 的人类。这让我们的教育系统该如何应对？

The Washington Post 报道：联邦当局正在考虑保护SVB 的所有未保险存款，采取一项特别干预措施，以防美国金融体系出现恐慌。FDIC 周六就开始了对 SVB 的拍卖程序，希望在周日下午确定中标者。将 SVB washingtonpost.com/us-policy/2023…… twitter.com/i/web/status/1… 但现在也不是 2008 了，互联网让大家的传播和行动速度要远高于当年。如果 SVB 的名字叫“加州农村信用合作社”，那估计还不会造成这样的恐慌。。救还是不救？事件发展到现在，已经成了一个政治选择问题。。

昨天 Google 发布了一款拥有 5620 亿参数的大模型 PaLM-E，项目网站 palm-e.github.io

这是一个多模态的 LLM，它可以接受的数据包括：

- 语言（language）
- 图像（images）
- 场景表征（neural scence representations）
- 物体表征（object representations）

PaLM-E是一个仅有解码器的… twitter.com/i/web/status/1… LLMs 已经被证明可以完成复杂的任务。然而，要在现实世界中实现“推理”，例如用于机器人问题，则提出了新的挑战。PaLM-E 在语言模型之上，直接将现实世界的连续传感器模式纳入语言模型，从而建立单词和感知之间的联系。PaLM-E… twitter.com/i/web/status/1…