1/ 把 Meta 前两天发布的这篇论文读了一遍，mind blowing
这篇论文被近期 ChatGPT & Bing Chat 的风头盖过去了，不过我感觉论文中提到的内容可能是未来 Language Model 发展的一个重要的分支。
-- thread 🧵 --
这篇论文被近期 ChatGPT & Bing Chat 的风头盖过去了，不过我感觉论文中提到的内容可能是未来 Language Model 发展的一个重要的分支。
-- thread 🧵 --
2/ 简单来说，这篇论文提出了一种新的语言模型：Toolformer。
这个 LM 的特别之处是可以训练自己来使用各种工具，例如调用 API、做数值计算、请求网页内容，或者是其他任何操作。
这个 LM 的特别之处是可以训练自己来使用各种工具，例如调用 API、做数值计算、请求网页内容，或者是其他任何操作。
3/ 我们都知道现在 ChatGPT / GPT-3 存在的一个很大的问题就是生成的结果受限于训练的数据集（ChatGPT 截止于 2021 年），对于一些实时性的内容是无法生成的。
另外就是无法进行很好的数值计算，简单的加减乘除也会算错。
另外就是无法进行很好的数值计算，简单的加减乘除也会算错。
4/ Bing Chat 一部分解决了这些问题，其实底层的原理也比较简单，先利用 Bing 进行关键词搜索，然后再把结果通过 embedding 的方式注入到 prompt 中去调用底层的大模型。
当然 OpenAI 和微软应该在上层工做了很多工程化的工作，所以 Bing Chat 的生成速度和准确性上都表现得非常好。
当然 OpenAI 和微软应该在上层工做了很多工程化的工作，所以 Bing Chat 的生成速度和准确性上都表现得非常好。
5/ 但是这种能力是非常有限的，比如你想要通过 Bing Chat 来搜索夏威夷的某个旅店价格，这个是可以做到的。
但是如果想让它帮你预定最实惠的那个酒店就不行了，因为它只能够生成内容，不能执行逻辑。
但是如果想让它帮你预定最实惠的那个酒店就不行了，因为它只能够生成内容，不能执行逻辑。
6/ 但是如果 LLM 能够知道「怎么预定酒店」这个操作的话，那么就可以完成上面的步骤了。
其实方法简单来说就是把很多预定酒店的操作过程喂给他来训练，然后它就能「学」会了。
其实方法简单来说就是把很多预定酒店的操作过程喂给他来训练，然后它就能「学」会了。
7/ 简单做一层抽象，这个可以扩展到任何外部的 API 调用。
一些可能的场景：
- 让 LLM 在训练的过程中自己通过调用外部数据源的形式来优化训练；
- 生成结果的同时进行额外的操作，比如和 Office 365 中的文档进行交互；
- 让机器人自己学会工具的使用；
- 数值计算、更强大的逻辑能力等。
一些可能的场景：
- 让 LLM 在训练的过程中自己通过调用外部数据源的形式来优化训练；
- 生成结果的同时进行额外的操作，比如和 Office 365 中的文档进行交互；
- 让机器人自己学会工具的使用；
- 数值计算、更强大的逻辑能力等。
8/ 如果说 GPT-3 / ChatGPT / Bing Chat 等 LLM 只是「智能大脑」的话，Toolformer 模型就是给这些大脑加上了「手」，可以开始使用工具了。
9/ 未来不难看到一个集成了 ChatGPT（or 类似的）& Toolformer 的 AI 通过自训练学会了操作电脑，然后自己把自己的代码重写了一遍，完成了自举。
10/ 这篇论文是在 ChatGPT 的帮助下进行阅读的，10x 提升了效率，甚至还能把几篇不同的论文进行交叉比对。
给 9 岁小朋友解释这篇论文 👇
给 9 岁小朋友解释这篇论文 👇
11/ 一些论文的要点 👇
12/ 以一个非 Deep Learning 从业者的视角读的这篇论文，所以理解上可能并不完全准确，欢迎在评论区进行勘误。
• • •
Missing some Tweet in this thread? You can try to
force a refresh
