歸藏(guizang.ai) Profile picture
Apr 24, 2023 8 tweets 9 min read Read on X
AIGC Weekly #18更新了,本期主要介绍了Mini GPT-4等开源项目以及一些传统互联网公司的AI尝试动态和其他一堆非常值得阅读的内容。下面是上周一些行业动态和产品推荐,更多详细的内容可以去图里的竹白查看:
op7418.zhubai.love/posts/22622494…
#AI #GPT4 #AIGC Image
🥰本周精选(1):
上周值得关注的开源项目
RedPajama:一个计划创建一套领先开源模型的项目:together.xyz/blog/redpajama

Mini GPT-4:取巧的方式实现了多模态能力:huggingface.co/spaces/Vision-…

Stable Diffusion的开发商Stability AI发布了开源大语言模型Stable LM:stability.ai/blog/stability…twitter.com/i/web/status/1… Image
🥰本周精选(2):
一些传统互联网厂商的AI尝试
Raycast AI 逐步开放测试资格,这是功能介绍:raycastapp.notion.site/Raycast-AI-Bet…

谷歌计划构建新的搜索引擎:searchengineland.com/google-plannin…

Adobe Firefly 可以通过自然语言编辑视频了:

Webflow推出了自己的AI能力:webflow.com/blog/power-of-… Image
⚒️产品推荐(1):

AI 论文速递:快速阅读近期AI论文:briefgpt.xyz/chatgpt

Finchat:一个金融信息的ChatGPT:finchat.io

Vercel AI Playground:免费使用多个语言模型进行对比:play.vercel.ai/r/mWjP5Dt

Codeamigo:利用AI学习代码:codeamigo.devtwitter.com/i/web/status/1… Image
⚒️产品推荐(2):
Kickresume:AI优化简历:kickresume.com/en/

HyperDB:与 LLM 代理一起使用的本地矢量数据库:github.com/jdagdelen/hype…

HealthGPT:分析你的健康数据:

MULTI·ON Browser:ChatGPT控制你的浏览器:

Better Prompt:Stable… twitter.com/i/web/status/1… Image
🧑‍🎓学习资源:

如何在本地快速部署AutoGPT:

微软的机器学习工程师课程:udacity.com/course/ai-fund…

ChatGPT 课程——使用 OpenAI API 编写 5 个项目: Image
🔬精选文章(1):

Sam Altman:未来LLM的规模不会那么重要:techcrunch.com/2023/04/14/sam…

一种新的计算方法重新构想人工智能:quantamagazine.org/a-new-approach…

Multimodal C4:一个开放的、10亿规模的、与文本交错的图像语料库:arxiv.org/abs/2304.06939

Inpaint… twitter.com/i/web/status/1… Image
🔬精选文章(2):
经济学案例,为什么AI不能抢走你的工作:notboring.co/p/intelligence…

对齐你的潜变量:利用潜变量扩散模型的高分辨率视频合成:arxiv.org/abs/2304.08818

深度探讨大语言模型生态链:芯片,基建,工具,开源,应用:xiaoyuzhoufm.com/episode/644033…twitter.com/i/web/status/1… Image

• • •

Missing some Tweet in this thread? You can try to force a refresh
 

Keep Current with 歸藏(guizang.ai)

歸藏(guizang.ai) Profile picture

Stay in touch and get notified when new unrolls are available from this author!

Read all threads

This Thread may be Removed Anytime!

PDF

Twitter may remove this content at anytime! Save it as PDF for later use!

Try unrolling a thread yourself!

how to unroll video
  1. Follow @ThreadReaderApp to mention us!

  2. From a Twitter thread mention us with a keyword "unroll"
@threadreaderapp unroll

Practice here first or read more on our help page!

More from @op7418

Dec 20
Anthropic 几个核心创始人罕见的一起录了一个播客

详细介绍了他们如何认识然后产生共识最后迫不得已创建公司的事情

整理了一下核心内容笔记:

- 创始历程与动机
- 公司文化特点
- 几个联创展望未来
- 有趣的AI历史细节

里面很多以前没说过的事情,强烈建议看看 Image
Image
Image
Image
创始历程与动机

1. 个人背景与转折点:
- Jared 原本是物理学教授,被Dario展示的AI模型结果所吸引
- Chris最早19岁就认识了团队成员,后来在Google Brain与Dario共事
- Tom原本是记者,2014年就开始关注AI发展,尽管当时很多人认为这个决定"疯狂"
- Daniela在Stripe工作了5.5年,经Greg介绍认识了团队

2. 关键时间节点:
- 2014-2015: Tom开始追踪ImageNet结果,注意到GPU在AI研究中的重要性
- 2015: Dario发表"Concrete Problems in AI Safety"论文,开创性地将AI安全与实际机器学习结合
- 2016: 多位成员加入OpenAI
- 2020: GPT-3成功后,团队意识到必须采取行动
- 2020-2021: 团队决定离开OpenAI创立Anthropic

3. 决策过程:
- Chris描述自己花了6个月时间纠结是否要投身AI安全领域
- Tom采用了一个有趣的策略:向雇主提出不可能被接受的条件,帮助自己下定决心
- 有些成员(如Chris)最初不想成立新公司,更倾向于建立非营利组织
- 最终选择创业是出于实用主义考虑,认识到需要资本支持

4. 核心动机:
- "None of us wanted to found a company. We felt like it was our duty."(没人想创业,但我们觉得这是责任)
- 看到GPT-3的成功后,意识到如果不采取行动,可能会错过改变行业的机会
- 希望避免科技行业常见的错误,建立一个不同的机构文化
- 团队成员共同特点是"betting with conviction"(带着信念下注)

5. 独特视角:
- 物理学家背景带来的影响:更愿意追求雄心勃勃的目标,不受AI寒冬的心理阴影影响
- 新闻记者背景带来的洞察:能够较早发现技术趋势
- 工程师视角的重要性:认识到不仅研究者,工程师也能为AI安全做出贡献
公司文化特点
这是一个非常独特且深思熟虑的企业文化体系:

1. 核心价值观的统一性
- 团队成员有着高度一致的使命感和价值观
- 所有人都清晰理解并认同公司的使命
- 团队成员都做出了80%收入捐赠的承诺(the 80% pledge)
- 各个部门都在为同一个目标努力,避免了部门间的利益冲突

2. 信任文化的构建
- 团队成员之间存在深厚的信任关系,这种信任来自于长期合作
- 信任不仅存在于创始团队,还成功扩展到了更广泛的员工群体
- Daniela被认为在保持高标准方面发挥了重要作用
- 信任使得团队能够坦诚地讨论和处理复杂问题

3. 低政治性特征
- 公司刻意维持低政治性的环境
- 员工对政治行为有着"过敏反应"
- 强调低自我(low ego)的重要性
- 注重实质性贡献而非职场政治

4. 部门协作的特点
- 产品团队、研究团队、信任和安全团队等都紧密协作
- 没有部门间的对立或互相指责
- 各个部门都理解自己在整体目标中的角色
- 工程师也会关注安全问题,安全研究人员也会考虑实用性

5. 实用主义方法
- "极端实用主义"(extreme pragmatism)是重要特征
- 在保持理想主义的同时注重实际可行性
- 认识到需要在安全与竞争力之间找到平衡
- 愿意面对现实约束,做出务实决策

6. 独特的组织结构特点
- 将权衡和决策分散到组织各个层级
- 避免决策仅在高层进行
- 让每个员工都能参与到重要决策的讨论中
- 强调透明度和信息共享

7. 客户导向的安全理念
- 将安全作为产品竞争力的重要组成部分
- 理解客户对安全可靠的AI系统的需求
- 通过市场成功证明安全与商业价值可以共存
- 创造良性的"向上竞争"环境

8. 文化维护机制
- 严格的面试流程,确保新员工与文化匹配
- RSP(负责任扩展政策)作为制度保障
- 持续的文化建设和价值观传递
- 领导层以身作则

9. 反映在日常工作中
- 工程师主动提出安全考虑
- 产品团队重视安全评估
- 业务团队理解并支持安全措施
- 跨部门合作自然形成

10. 文化的可持续性
- 文化已经超越了创始团队,扩展到更大范围
- 建立了制度化的机制来维护文化
- 通过实践证明这种文化是可持续的
- 形成了良性循环

这种企业文化的特殊之处在于:
- 它不是自上而下强制推行的,而是自然形成的
- 它既有理想主义色彩,又保持着务实态度
- 它成功地在规模扩张中保持了核心特征
- 它将看似对立的目标(如安全与发展)统一起来
Read 5 tweets
Dec 14
Ilya 罕见发声在 2024 年 Neurips 大会上演讲

“我们所熟知的预训练将会终结”

大致介绍了:

- 深度学习的演进
- 为什么预训练已经达到上限
- 未来的发展方向
- 对超级智能的思考

我转录总结了后面三个部分,文字版本在下面 Image
Image
Image
预训练终结预测的关键论点:

1. 预训练终结的必然性
演讲者明确表示:"预训练将毫无疑问地结束"(Pre-training as we know it will unquestionably end)

2. 终结的核心原因:计算力与数据的不平衡发展

a) 计算能力方面持续增长:
- 硬件性能不断提升
- 算法效率持续改进
- 计算集群规模扩大
- 这些因素共同推动计算能力的指数级增长

b) 数据增长的天然限制:
- "我们只有一个互联网"(we have but one internet)
- 可用的优质数据是有限的
- 演讲者用了一个形象的比喻:"数据是AI的化石燃料"(data is the fossil fuel of AI)
- 就像化石燃料一样,数据是在特定时期产生的有限资源
- 我们已经达到了"峰值数据"(peak data)的状态

3. 数据限制的影响
- 虽然现有数据仍然可以支持相当长一段时间的发展
- 但最终必须面对数据量增长有限的现实
- 需要寻找新的解决方案和发展方向
行业未来发展方向:

1. 主要发展方向

a) Agents (智能代理)
- 被广泛认为是未来发展方向之一
- 演讲者提到"很多人都在谈论agents"
- 认为这个方向"最终一定会有所突破"
- 但具体细节仍然模糊

b) 合成数据 (Synthetic Data)
- 被视为一个关键发展方向
- 但演讲者指出这是个很大的挑战
- 提到"弄清楚这意味着什么是一个大挑战"
- 暗示当前对合成数据的理解和应用还不够成熟

c) 推理时计算优化
- 特别提到了O(1)模型作为例子
- 强调在推理阶段优化计算效率的重要性
- 这代表了一个更注重计算效率的发展方向

2. 生物学启发的新思路

演讲者特别分享了一个生物学案例来说明潜在的发展可能:

a) 哺乳动物脑体比研究
- 展示了不同类型哺乳动物的脑重与体重关系图
- 发现常规哺乳动物和非人类灵长类动物遵循相似的比例关系
- 但人类祖先(Hominids)展现出不同的缩放指数
- 这种差异表明可能存在突破性的发展路径

b) 启示
- 证明了系统可以找到不同的发展路径
- 暗示AI发展也可能出现类似的质变
- 当前的扩展方式只是我们找到的第一种方式
- 可能存在其他未被发现的发展路径

3. 长期展望

演讲者对更长远的未来提出了几点思考:

a) 质变可能性
- 未来系统将具有真正的推理能力
- 可能发展出自我意识
- 将产生与当前系统质的不同

b) 不可预测性
- 强调具有推理能力的系统将变得更不可预测
- 类比国际象棋AI对人类棋手的不可预测性

4. 关键观点

- 现有的发展方向都在尝试解决"后预训练时代"的问题
- 需要开放思维,接受多样化的解决方案
- 强调了探索新路径的重要性
- 承认预测未来很困难,各种可能性都存在

演讲者的态度是开放但谨慎的,既认可这些方向的潜力,也承认我们对未来的认知有限。他特别强调,我们当前的扩展方式可能只是众多可能性中的一种,未来可能会出现完全不同的发展路径。

这种多元化的展望对于AI领域的发展具有重要的启发意义,提醒我们要保持开放的心态,准备迎接可能的范式转换。
Read 4 tweets
Dec 2
黑五最后一天了,整理了一下打折的 AI 软件内容。

看看有需要的可以赶快下手。 Image
Perplexity 黑五优惠首月只需 5 美元。另外如果你朋友是会员的话,他可以免费送你一个月的会员。

Windsurf 将所有免费用户的试用期延长到了 12 月 11 号。

Screen Studio 我常用的视频剪辑和录制软件,使用BLACKFRIDAY24这个优惠代码可以获得40% 的优惠。

Monica 年卡超级会员4折$119,原价299,周末放出了会员群专属的优惠券可以实现折上折。

推特6折 5.4美元年会员,原价84,只能首次订阅的用户享受。

Suno月卡6折6$,原价10。

Framer基本版、专业版和启动版首年5折,只有首次订阅用户可以享受。

Recraft年度7折,月度3折(BLACKYEAR70/BLACKMONTH30 )

可灵海外版现在也有5折优惠。

桌面快捷启动器Raycast使用代码BF30可以优惠30%。

Bolt 结账时使用 CYBERBOLT 代码可以获得10%的优惠。

写作笔记软件Craft 5折,后续续费也是五折,很值。

AI 画图工具 Ideogram 5 折。

Lummi AI 图片素材库,年订阅用户打 5 折。
Perplexity 黑五优惠首月只需 5 美元。
Read 10 tweets
Nov 12
Anthropic CEO 接受了 Lex Fridman 长达五个小时的访谈。

里面的信息非常丰富,老哥真的实诚。

整理了一下笔记,内容包括:

- AGI 何时到来
- Scaling Hypothesis的定义以及是否结束
- Anthropic的产品策略
- LLM可解释性研究
- AI发展时间线的介绍和预测 Image
大致访谈内容

关于扩展假设(Scaling Hypothesis):

- Dario从2014年在百度工作时就开始关注扩展假说
- 认为随着模型规模、数据量和训练时间的增加,模型性能会持续提升
- 观察到语言是最适合验证这一假说的领域
- 目前看来扩展假说仍在持续验证中,尚未遇到明显瓶颈

关于AI发展时间线:

- 预计2026-2027年可能达到人类水平的AI
- 认为在编程等专业领域,AI已经开始接近专业人士水平
- 虽然时间线预测有不确定性,但blockers在逐渐减少
关于Anthropic的产品策略:
- Claude系列产品分为Opus(最强)、Sonnet(中等)、Haiku(最快)三个等级
- 每一代产品都在努力推动性能边界
- 重视安全性,设有Responsible Scaling Policy

关于AI安全:

- 提出了ASL(AI Safety Level)分级系统,从1-5级
- 目前的模型在ASL 2级,预计2024年可能达到ASL 3
- 特别关注catastrophic misuse和autonomy risks两大风险

关于Claude的性格塑造:

- 负责设计Claude的性格特征
- 强调要让AI表现得像一个理想的对话者
- 平衡诚实性和有用性

关于提示工程:

- 重视提示的清晰性和具体性
- 建议反复迭代优化提示词
- 使用具体例子来说明需求

关于机制可解释性研究:

- 致力于理解神经网络内部运作机制
- 提出了线性表征假说
- 发现了多语义特征和电路结构
Read 8 tweets
Oct 22
今晚这是肿么了?

Claude 3.5 Haiku 和升级款的 Claude 3.5 Sonnet 也来了,Claude 3.5 Sonnet 推理得分超过O1。

而且 Claude 现在支持像人类一样操作计算机,通过查看屏幕、移动光标、单击按钮和键入文本!

升级 Claude 3.5 Sonnet 现在开放。computer use测试版也开放使用。
新版Claude 3.5 Sonnet介绍:

更新后的Claude 3.5 Sonnet在行业基准上显示出广泛的改进,尤其是在代理编码和工具使用任务方面取得了显着的进步。

它在SWE-bench Verified上的性能从 33.4% 提高到 49.0%,得分高于所有公开可用的模型,包括 OpenAI o1-preview 等推理模型和专为代理编码设计的专用系统。

它还将在代理工具使用任务TAU-bench上的表现提高,零售领域从 62.6%提高到 69.2%,在更具挑战性的航空领域从 36.0%提高到 46.0%。

早期客户反馈表明,升级后的 Claude 3.5 Sonnet 代表了 AI 编码的重大飞跃。GitLab 为 DevSecOps 任务测试了该模型,发现它在没有增加延迟的情况下提供了更强的推理能力(在各种用例中高达 10%)。
Claude 3.5 Haiku介绍:

Claude 3.5 Haiku 在各项技能上都有所提高,甚至在许多智能基准上超过了上一代最大的模型 Claude 3 Opus。

Claude 3.5 Haiku 具有低延迟、改进的指令遵循和更准确的工具使用能力。

Haiku 在编码任务上尤其强大。例如,它在 SWE-bench Verified 上得分为 40.6%,优于许多使用公开可用的最先进模型(包括原始的 Claude 3.5 Sonnet 和 GPT-4o)的代理。
Read 6 tweets
Sep 29
Karpathy 说 NotebookLM 播客功能中可能蕴含着类似 ChatGPT 的机会,一个新的 AI 交互范式。

我一直关注和等待的东西,终于有行业核心人物注意到了,这个机会可能比 ChatGPT 还要大的多。

写了篇内容详细介绍了一下这个新的 AI 范式里面的逻辑。

将已有的庞大文本内容利用日渐成熟的其他模态 AI 模型转换为更多可被用户消费的内容形态,从而满足更多的用户消费场景。Image
Perplexity 的发现页面将全世界大量不同语言的新闻内容重新整合。

变为可以被不同语言消费的新闻信息流。

同时 TTS 的加入让用户的消费场景获得了极大的拓展,可以不用盯着屏幕了。
NotebookLM 将用户感兴趣的长篇文字内容拆解、总结、整合,让其更符合用户消费习惯。

播客的加入也让整理内容的消费场景获得了拓展,另外对谈的形式也避免了让用户提问题这个成本很高的动作。
Read 6 tweets

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just two indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member ($3/month or $30/year) and get exclusive features!

Become Premium

Don't want to be a Premium member but still want to support us?

Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal

Or Donate anonymously using crypto!

Ethereum

0xfe58350B80634f60Fa6Dc149a72b4DFbc17D341E copy

Bitcoin

3ATGMxNzCUFzxpMCHL5sWSt4DVtS8UqXpi copy

Thank you for your support!

Follow Us!

:(