4. 核心动机:
- "None of us wanted to found a company. We felt like it was our duty."(没人想创业,但我们觉得这是责任)
- 看到GPT-3的成功后,意识到如果不采取行动,可能会错过改变行业的机会
- 希望避免科技行业常见的错误,建立一个不同的机构文化
- 团队成员共同特点是"betting with conviction"(带着信念下注)
1. 预训练终结的必然性
演讲者明确表示:"预训练将毫无疑问地结束"(Pre-training as we know it will unquestionably end)
2. 终结的核心原因:计算力与数据的不平衡发展
a) 计算能力方面持续增长:
- 硬件性能不断提升
- 算法效率持续改进
- 计算集群规模扩大
- 这些因素共同推动计算能力的指数级增长
b) 数据增长的天然限制:
- "我们只有一个互联网"(we have but one internet)
- 可用的优质数据是有限的
- 演讲者用了一个形象的比喻:"数据是AI的化石燃料"(data is the fossil fuel of AI)
- 就像化石燃料一样,数据是在特定时期产生的有限资源
- 我们已经达到了"峰值数据"(peak data)的状态