indigo Profile picture
May 10 8 tweets 3 min read Twitter logo Read on Twitter
看完了 Google I/O 2023,感觉这就是针对 Microsoft + OpenAI 的 PPT 大反攻!不过这次算把混乱的 AI 研发整清晰了,PaLM 2 做 LLM,Gemini 做多模态基础模型,然后所有的产品都基于这它们,包括 Bard、Search 还有 Cloud。画了一张 Google 产品一览图,方便大家快速了解🧵 youtube.com/live/cNfINi5CN… Image
Google Maps 永远都是 Google 最爱展示的 App,这次也不例外,AI 生成的沉浸式街景导航看上去太酷了
PaLM 2 按照模型大小提供了四个版本,从小到大依次为 Gecko、Otter、Bison 和 Unicorn,其中轻量级的 Gecko 模型可以在移动设备上运行,速度非常快,不联网也能在设备上也能运行!未来应该会广泛用在 Google Devices 上,Apple 的模型在哪里? Image
PaLM 2 是在超过 100 种语言的语料库上训练的,因此它更擅长多语言任务,能够理解、生成和翻译比以往更细致和多样化的文本;对于具有思维链 prompt 或自洽性的 MATH、GSM8K 和 MGSM 基准评估,PaLM 2 的部分结果超越了 GPT-4。PALM2 的参数更少,但效果反而远超上一代 PaLM
Google Brain + DeepMind 对 AI 贡献巨大:
- AlphaGo
- Transformers
- word2vec
- WaveNet
- AlphaFold
- Seq2Seq models
- Distillation
- Deep reinforcement learning
新的合体的 Google DeepMind 将利用 Google 的全部算力资源训练新的多模态基础大模型 Gemini Image
Bard 也得到了升级,基于 PaLM 2 模型!Google 将 Bard 定义成对话式 AI,可以独立使用,它的能力也会被集成到 Search 里面,现在支持 40 多种人类语言和 20多种编程语言。Bard 也能集成工具,例如 Google Lens、 Maps、Sheets 等等,和 ChatGPT Plugins 一样可以第三方接入
针对最赚钱额业务 Search,Google 依旧小心翼翼,还记得 Google Labs 吧?大家可以在这里申请(g.co/labs)体验 Search 的试验性功能 Generative AI 建议,还有 Shopping Graph 等等,从演示来看比 Bing 对 ChatGPT 的整合更深度和有诚意🤔️
Google Cloud 的这次 AI 大升级很有料!Vertex AI 开发平台可以直接创建 Generative AI 应用,内置 Imagen、Codey、Chirp 这些模型能力,你也可以安全的直接利用 PaLM API 来微调训练自己的模型,最重要的是通过基于 Nvidia H100 的 A3 虚拟机让算力服务大幅提升!

• • •

Missing some Tweet in this thread? You can try to force a refresh
 

Keep Current with indigo

indigo Profile picture

Stay in touch and get notified when new unrolls are available from this author!

Read all threads

This Thread may be Removed Anytime!

PDF

Twitter may remove this content at anytime! Save it as PDF for later use!

Try unrolling a thread yourself!

how to unroll video
  1. Follow @ThreadReaderApp to mention us!

  2. From a Twitter thread mention us with a keyword "unroll"
@threadreaderapp unroll

Practice here first or read more on our help page!

More from @indigo11

May 8
哈佛大学 CS50 课程前几天关于 GPT-4 的直播课
youtube.com/live/vw-KWfKwv…

其中 steamwork.com 创始人 Ted 分享了在 GPT-4 上构建应用的范式,搭配 @AndrewYNg 的那套课程一起来看,绝对是神来之笔!从 24:30 开始,Ted 讲解了伴聊、问答、工具摘要、创意生成和多任务代理五种范式🧵 Image
1/5 Companionship 类似 ChatGPT 的伴聊范式
要把你的 instructions or database 简单的封装到 prompt 里面,让应用基于你的数据来对话 Image
2/5 Question Answering 问答范式
将文档转换到适量数据库,用户对数据库进行矢量搜索,最后 embedding 到 GPT-4 通过 Prompt 封装来提问!让应用基于你的文档来对答 Image
Read 6 tweets
May 8
Nvidia 的黄老板和 OpenAI 的首席科学家 Ilya Sutskever 有一个对谈

@ilyasut 表示 GPT 的确只是个神经网络语言模型,它被训练出来只是要预测下一个单词。但如果你训练得足够好,它就能很好地掌握事物之间的统计相关性,这就意味着 GPT 真正学习的是一个「世界的投影」🧵
神经网络所学习的是世界与人类境况的方方面面,包括他们的希望、梦想、动机,以及他们之间的互动和我们所处的各种情境。神经网络学会了对这些信息进行压缩、抽象和实用的表示,就是通过准确预测下一个单词所学到的内容。而且,预测下一个单词的准确性越高,这个过程中的保真度和分辨率就越高
Ilya Sutskever 有一个信念:“如果你能够高效的压缩信息,你就已经得到了知识,不然你没法压缩信息”。你想高效压缩信息,你就一定得有一些知识,所以他坚信 GPT-3 和最新的 GPT-4,它们已经有了一个世界模型在里面!GPT 学的其实不是语言,而是语言背后的那个真实世界🌍
Read 4 tweets
May 4
SemiAnalysis 今早发布了一份 Google 内部泄露的文件,其实 Google 针对 OpenAI 做了很多审视自己的工作:“谁会跨越下一个里程碑?令人不安的事实是,我们没有能力赢得这场军备竞赛,OpenAI也是,就在我们争吵不休的时候,第三个派别一直在悄悄地吃我们的午餐” 那就是开源🧵 semianalysis.com/p/google-we-ha… Image
1/8 虽然闭源的模型在质量方面仍有轻微的优势,但差距正在以惊人的速度缩小。开源模型的速度更快,可定制性更强,更有私密性。他们正在用100美元的成本和130亿的参数做一些事情,而我们在1000万美元和540亿的参数上却很难做到。而且他们在几周内就能做到,而不是几个月。。
2/8 在3月初,开源社区获得了他们的第一个真正强大的基础模型,因为Meta的LLaMA被泄露给了公众。它不具备指令或对话调整功能,也没有RLHF。尽管如此,社区迅速领会到了他们获得的这项技术的重要性
Read 9 tweets
Apr 27
Harnessing the Power of LLMs in Practice
arxiv.org/abs/2304.13712

这篇论文来自 Amazon 和 Texas A&M University 的研究团队,他们构建了一个现代 LLMs 的进化树,以追踪近年来语言模型的发展,同时也对 LLMs 与 Fine-turning(微调)的选用,做了系列评估建议,我简单总结一下🧵 Image
可以很清晰的看到,只有用 Transformer 做解码的分支发展壮大:LLama、Bard、GPT、Bloom、PalM、jurassic-2 还有 Claude;同时做编解码的还有清华大学的 GLM、Google 的 T5 & UL2;只做编码器的已经全部淘汰!Google BERT 一开始就选错了方向。。。
这张流程图用来评估 LLMs 与微调模型的选择 Image
Read 9 tweets
Mar 26
来自历史学家 @harari_yuval 和 HumanTech 的联合创始人 @tristanharris 的这篇《如果我们不控制 AI,AI 就会控制我们》表现出了一种超前的担忧,就像制药公司不能在未经过严格的安全检查之前向人们销售新药一样;具有 GPT-4 及以上能力的 AI nytimes.com/2023/03/24/opi…twitter.com/i/web/status/1…
1/8 对于我们的人类思维来说,很难理解 GPT-4… twitter.com/i/web/status/1…
2/8 如果人类生活在一个大部分故事、音乐、影像、法律、政策和工具都由非人类智能塑造的世界里,这意味着什么?这种智能知道如何利用人类思维的弱点和偏见,还知道如何与人类建立密切关系。在最高级的围棋游戏中,没有人能够打败计算机。当这种情况发生在艺术、政治或宗教领域时会发生什么?AI… twitter.com/i/web/status/1…
Read 9 tweets
Mar 23
今天 ChatGPT 对外宣布了流传已久的 Plugins 功能 👀

简单来说就是允许第三方为 ChatGPT 开发插件,将自己的服务集成到 ChatGPT 的对话窗口中。从演示来看,插件已经包括了酒店航班预订、在线购物、法律知识库、文字生成语音还有大家最爱的 Stephen twitter.com/i/web/status/1…
Browsing 插件将用互联网上最新的信息来回答你的问题,给出它的搜索步骤和内容来源链接。其实 OpenAI 的 WebGPT 还有 Google 的 LaMDA2 都做过类似尝试,通过自主的实时检索,回答超越训练语料库范围的内容,只不过这一次是通过插件形式集成到了 ChatGPT。Browsing 使用了 Bing… twitter.com/i/web/status/1…
Code Interpreter 是一个实验性的模块,它创造了一个可以运行 Python 解释器的沙盒,在防火墙控制下有短暂的存储空间,能处理文件上传和下载,整个虚拟空间在会话期有效。在最初的用户研究中,已经确定代码解释器可以做:

· 解决数学问题,包括定量和定性
· 进行数据分析和可视化
·… twitter.com/i/web/status/1…
Read 5 tweets

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just two indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member ($3/month or $30/year) and get exclusive features!

Become Premium

Don't want to be a Premium member but still want to support us?

Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal

Or Donate anonymously using crypto!

Ethereum

0xfe58350B80634f60Fa6Dc149a72b4DFbc17D341E copy

Bitcoin

3ATGMxNzCUFzxpMCHL5sWSt4DVtS8UqXpi copy

Thank you for your support!

Follow Us on Twitter!

:(