Thread by @xuwenhao

话说过去一段时间，我的技术焦点一下子转移到LLM以及AIGC上来了。如果用更“时髦”一点的说法，就是到AGI也就是“通用人工智能”上来了。花了点时间试了一遍OpenAI Cookbook，虽然还没有时间过一遍相关的论文，但是也看了一些相关的Survey。说实话ChatGPT让人很兴奋，所以也想推演一下接下来会发生什么。

目前看下来，LLM或者说ChatGPT让人感到AGI有希望的原因在于，它既有大量的“知识”，也有“推理能力”。并且更进一步的，能够把“知识”和“推理能力”结合起来，真的能够替代人完成一些工作，比如写代码，这个还是非常震撼的。

比如现在，简单的Bash脚本现在我都是让AI来写了，自己简单做一下Review就好了。

大部分玩了玩ChatGPT的人可能没有尝试过解锁这个推理能力。通过对外部数据分成chunks并且生成embedding，然后通过简单的cosine相似度拿到Top K的相关内容，最后让模型进行Completion，就可以利用这个推理能力，对目前模型没有覆盖的数据一样提供AI问答的能力，在目前看到的几个demo都算效果出众。

目前类似于 AI 读论文进行归纳总结的应用应该用的都是类似的方法。

这个能力一下子和几年以前所谓的“聊天机器人”提供的扯淡闲聊功能已经完全不一样了。之前的聊天机器人，稍微用两下你的感觉就是个随机性+文本检索的能力，而不是什么“人工智能”。

我个人的判断是，这是和PC，互联网，以及移动互联网一样重要的一个范式转变，会有一个10年左右的浪潮。

国内头部的大厂，已经开始组织人力物力开始复现ChatGPT的效果了。但175B的参数除了最头部的大厂之外，其他人都训练不起。即使百度这样的工作，在目前阶段咬咬牙能跟上，往后很可能也跟不上了。

175B参数的模型，意味着即使用float8这样精度的参数，拿Nvidia的V100来做推理（32GB），要5块卡才可以。
A100和H100虽然有80GB显存的版本，但是现在对中国大陆都已经禁运了。

而训练一个20B参数的模型，大概需要100块A100这样量级的显卡。而175B参数的显卡，要上两个数量级，1万块A100/H100。

拿最便宜的40GB的A100，现在大概是1万美元一块。意味着如果你想要搞个20B的模型，比如copilot，先拿100万美金出来。

如果你想要参与大模型的军备竞赛，先拿1亿美金出来买显卡。这还没有算配套的CPU，数据中心的其他设备，电力成本等等。每年不往这个领域里砸上10亿美金，基本上啥新东西也干不了。

另外很重要的一点是，NVidia旗舰线的A100和H100现在对大陆是禁运的。意味着所有国内大厂要么学Tiktok，把一些业务和国内完全分割开，然后在海外建立团队和数据中心，要么就要用次一级的“特供版”H800来玩这个军备竞赛。

不过，NVidia在国内的研发团队规模并不小。也许接下来会再有人开始搞国产TPU。

当然，短期内对于大部分人来说。最简单参与到LLM的办法还是直接用OpenAI给的API来做应用开发。毕竟自己搞100块显卡搞个垂直领域的模型也不是绝大部分人和公司可以承受的。

对这些公司和团队来说，核心竞争力会变成对于领域的理解和领域数据。如果说在有LLM之前领域的理解是优势来源，接下来就会反过来

不过大量应用的涌现，利好搞向量据库的公司。我自己推测Open AI顺便应该给 Pinecone 和 weaviate 带了不少流量。

国内也有milvus这样的公司，过去几年应该也之算得上不温不火。不过当LLM应用门槛大幅下降，场景大幅度增加之后，应该会有很大一波增长机会。

另外一个可能受到正面影响的领域就是RPA了

通过LLM生成指令，让RPA和遗留的老系统集成完成工作应该也会是一个长期的趋势。

应用层一定竞争激烈，而在目前都不得不给模型提供方缴纳“模型税”，毕竟openai只是开放了API和发了一些论文。但是训练完的模型、代码、数据都没有开放出来。而高昂的训练成本使得社区不太可能在短期内复现或者提供开源的版本。毕竟LLM的主要效果来自于模型本身的规模，而不是某一个特别厉害的新想法。

那么，LLM接下来会开源么？还是会成为一个巨头垄断的市场？社区有可能搞出开源的LLM让所有人受益么？

首先，虽然所有人在LLM上都落后Open AI 1-2年的时间，不过这个差距很快会被追赶上。毕竟复现一个模型的挑战比找到并试出正确的方向要容易太多了。而计算机这个领域的社区也一直有非常开放的文化传统

第二个，Meta之前已经开源了175B参数的OPT模型。所以后来者开放模型，特别是效果还略有差距的模型的可能性并不小。

这个，对于能搞个100块A100的公司来说，无论是在预训练好的大模型上做各种微调来解锁各种能力还是训练一个更好的特定垂直领域的模型都是行得通的。

那么最终，LLM会分层出现三种类型的公司。

第一种就是能自己搞个大模型的公司，其实也就是现在的巨头。每年投入到大模型上的研发费用在10亿美元往上。

第二种是能在特定垂直领域训练大模型，或者基于大模型在特定领域微调的公司。每年投入到大模型的研发费用会在1000万美金到1亿美金这个量级。

第三种就是纯粹基于别人的模型或者API进行应用开发的小公司和小团队了。

当然，这个讲的只是模型相关。围绕着大模型的生态，无论是做新一代TPU、分布式训练/推理框架、向量数据库、数据标注、更好的API等等一系列的生态还会诞生很多别的公司。

而 Sam Alton说的中间层公司，也就是这个三层公司里面的中间层。毕竟第一层的大模型公司只会是现在的巨头游戏，而应用层公司的底层能力又在别人的手上要不停缴纳模型税。只要中间层是很多厉害的团队有机会参与，同时上限又高的。

不过，这个三层的公司金字塔也还有一个变数。

这个变数就在于，大模型的两种能力，海量知识和模糊推理是耦合在一起的还是正交独立的。

如果这两者可以彻底解耦，那么意味着也许我们可以通过一个小的模型就能有基本的语义理解和推理能力，而大模型中大量的其他参数都只是存储了一些知识数据而已。

在这种情况下，能参与LLM游戏的人就大大增加了。

不过很主观的直觉来说，我觉得这两者很难解耦。

因为从今天看到的LLM来说，可能越来越多地和大脑是如何运转的联系到一起了。

从这个角度推测，AI下一轮的发展里，符号主义以及和大脑运作机制的关联会重新受到重视。这即是一个新方向，我们从LLM里面看到了影影绰绰的样子，又暂时不用去比拼算力。

不过，所有会主动参与三层LLM的开发者其实都是这场技术变革的幸运儿。而更多的人，不得不承受这场技术变革带来的冲击。

就以本身已经算是高薪高技术工种的程序员来说，只要你用过Copiliot，就很难回去了。基本上，小的片段代码Copilot已经基本都能搞定，你需要简单review一下就好了。

其实写程序原本是个挺难挺累的事儿，主要是好的程序员既需要“宏观”，又需要“微观”。在设计整个系统的时候，要宏观地设计系统的模块和分工，但是一旦到具体写代码，又要非常注意细节，确保各种边界条件都没有bug。说难听点，就好像作为建筑师，你需要又能画图纸，又要能抹水泥，两个都要搞得横平竖直。

而现在看来，随着AI的进展，对于小规模的代码和细节问题的熟悉，可以逐步交给AI。未来软件开发，会变成一个更加注重宏观设计的新工种了。

这一点，在AIGC画画上也是类似的。对于问题本身的深入理解，创意，以及基于两者之上的表达能力，比具体的技法更重要了。也就是所谓的“Prompt Engineering”工作。

而在AI逐渐深入到我们日常工作中，并且每个人都有一个AI助手的情况下，未来的工作会变成什么样子就更难预测了。

就好像移动互联网在国内催生了外卖、打车，这个我们还容易理解。但是催生了抖音和拼多多就完全是在意料之外了。

我相信随着AI渗透进入了更多工作的方方面面，也会有新的工种出现。但是，这并不意味着会有更多的工作机会，恰恰相反，AI一定会消灭更多的工作机会。特别是原先“体面”的工作机会。

比如，很多“低端”的软件开发工作，一堆基于CRUD的后台应用。可能在大厂的看不上，但是对于很多大专生来说就是个好工作。

但是当这些低难度的知识工作，能够靠 AI 解决之后，工作会变成一个更加两极化的事情。要么，在金字塔顶端设计和运用AI，要么，在金字塔底端受AI指挥去工作，就像现在难以逃离系统的网约车司机和外卖小哥。

如果从这个视角来看，在未来的工作选择上，作为知识工作者不能走到金字塔顶，就没有太好的工作机会。

对于更多人来说，就会不得不选择基于情感联系的娱乐性或者服务性的工作了。

这个大概就是在LLM出来之后的一些猜测，一孔之见，相信会有很多是错误的。

不过，我个人是深信接下来，LLM乃至于AGI会对我们的生活再一次带来巨大的改变。

@readwise save thread