Thread by @SnowAFK

GPT4回答：如何从维特根斯坦的哲学的角度去理解LLM表现出智能的现象

Wittgenstein, ‘picture theory’ of language: reality (‘the world’) is a vast collection of facts that we can picture in language, assuming that our language has an adequate logical form

Fireside Chat with Ilya Sutskever and Jensen Huang: AI Today and Vision of the Future [S52092]
OpenAI 首席科学家 Ilya Sutskever 炉边谈话
yuque.com/3dinternet/gpt…

"当我们训练一个大型神经网络来准确预测互联网上许多不同文本中的下一个词时，我们正在做的是，我们正在学习一个世界模型。表面上看起来我们只是在学习文本中的统计相关性。但实际上,神经网络所学习的是生成文本过程中的一些表述。这个文本实际上是这个世界的一个映射，世界在这些文字上映射出来。"

"因此，神经网络正在学习从越来越多的角度去看待这个世界，看待人类和社会，看人们的希望、梦想和动机，以及相互之间的影响和所处的情境。神经网络学习一种压缩的、抽象的、可用的表示形式。这是从准确预测下一个词中学到的东西。"