本文来自PRO会员通讯内容，文末关注「机器之心PRO会员」，查看更多专题解读。
一段一年前 Ilya Sutskever 向黄仁勋描述「AI 预测下一个单词可以实现真正的理解」的视频切片近期在社交平台 Reddit 上引起了许多讨论。视频仅 44 秒，内容是 Ilya 在回答黄仁勋问题时，打的一个比方：
「我想绕一个小弯子，打个比方，希望能说明为什么更准确地预测下一个单词会带来更多的理解，真正的理解。举个例子，假设你在读一本侦探小说。小说中人物各异，事件繁多，情节曲折离奇，让人摸不着头脑。然后，假设在书的最后一页，侦探收集了所有的线索，聚集了所有的人，然后说，我要揭示犯罪者的身份，这个人的名字是……」
该视频片段节选自 2023 年 3 月 23 日的英伟达 GTC 大会上，英伟达创始人兼 CEO 与 OpenAI 联创及首席科学家 Ilya Sutskever 的「炉边谈话」。彼时，GPT-4 在对谈发生的前一天刚刚发布，黄仁勋在赞叹 GPT-4 各项突破的同时，询问了 Ilya「什么是 ChatGPT 和 GPT-4 之间的主要区别？是什么导致 GPT-4 在这些领域的改进？」
「侦探小说」的比喻引起了网友的对AI理解能力、理解和预测的区别、AI 是否真的有认知等问题的讨论。而完整的视频中，Ilya表示，用大型神经网络准确预测互联网上许多不同文本中的下一个词时，表面上看只是在学习文本中的统计相关性，但他们其实在学习一个世界模型。
Ilya 从侦探小说的比喻出发，GPT-4 能力突破的原因，进而谈论了他对 Scaling Law 态度，对 AI 的潜力和局限的看法，以及对 AI 可靠性和安全的重视。从这场炉边谈话的发生到现在的一年半时间里，Ilya 理念和他对技术的坚持在后续其他场合的发言里始终如一，乃至他创业成立 SSI 中都有映射。部分观点对于当前的 AI 技术发展方向仍有借鉴意义。
目录
01. 不仅仅是 LLM，围绕ChatGPT的是相当复杂的系统
Ilya Sutskever 在和黄仁勋的炉边对谈里表示，ChatGPT 在学习预测下一个词时，实际上理解了文本背后的现实世界过程和情感等信息，形成了「世界模型」，预训练提高了模型对复杂过程的理解，此外，Ilya 认为需提升 ChatGPT 的可靠性，以便在不确定时明确表明不知道并请求澄清。
1、黄仁勋提到了一个常见的误解，即很多人认为 ChatGPT 只是一个大型语言模型（LLM），但事实上，它是一个相当复杂的系统，不仅仅依赖于语言模型本身。
① Ilya 指出，当 ChatGPT 训练一个大型神经网络来预测互联网上文本中的下一个词时，实际上并不仅仅是在学习文本的统计关联。虽然表面上看是根据前缀预测接下来的词，但为了压缩这些复杂的文本模式，神经网络需要学习生成这些文本的背后过程，ChatGPT 是在学习这些文本所投射的现实世界，这些文本往往包含着人类的情感、动机、互动、社会情境等信息。神经网络通过这些数据学到了一种关于世界的抽象表示或「世界模型」。随着预测精度的提升，模型对这些复杂过程的理解也会变得更为深入细致。这就是预训练的核心作用。
② Ilya 强调，预训练阶段虽然让神经网络具备了理解世界的能力，但并没有指定它应该如何具体表现。他指出，他希望 ChatGPT 成为一个遵守特定规则、诚实且乐于助人的助手，而不仅仅是完成文本预测。因此，预训练并不能直接让模型具备这些期望的特定行为。
③ Ilya 进而补充道，为了通过微调和强化学习让模型具备更具体的行为能力，模型需要进入第二个阶段的训练。在这个阶段，模型不会被教导新的知识，而是通过与人类的交互，学习如何遵循特定的规则和行为边界。通过这种微调，模型不仅能够更好地理解人们对它的期望，还能够在实际使用中表现得更加稳定和可靠。
2、黄仁勋和 Ilya Sutskever 二人还讨论了是否可以通过微调教模型执行某些任务，或者避免某些不安全或不当行为。Ilya 解释称这正是第二阶段训练的关键，它允许我们与神经网络进行沟通，定义边界，并明确地传达人们希望它执行或避免哪些任务。随着研究的进展，团队在如何精确地传达这些界限方面做得越来越好，神经网络也因此变得越来越可靠、准确，不仅能完成任务，还能够在不同情境下保持合适的行为表现。
3、此外，黄仁勋和 Ilya 还讨论了 ChatGPT 的推理能力以及它的局限性。
① Ilya 指出，推理这个概念并没有一个非常明确的定义。他认为，推理可以被理解为在特定情况下进行更深层次的思考，从而得出更好的答案。Ilya 认为 ChatGPT 的推理能力本质为一种通过处理大量语言数据，提取模式、结构和上下文，从而在面对不完全信息或模糊性的情况下作出推断的能力。黄仁勋提出，很多人认为深度学习不会导致推理能力，但实际上，ChatGPT 在预测下一个词时，必须考虑文本中的上下文和角色的意图，这实际上需要一定程度的推理能力，Ilya 也对此观点表达了认可。
② ChatGPT 在预测下一个词的过程中，通过处理文本中的模式和信息，逐步学会了一种形式的推理能力。然而，尽管神经网络展现了一些推理能力……
01 LLM 之后，AI 的下个关键词会是 LWM 吗？
World Labs 要做的 LWM 是什么？LWM 和空间智能有什么关系？LWM 和下一代 AI 有什么关系？3D 才是 AI 的核心表征？空间智能当前有什么进展？世界模型进展如何？…
02 人形是做通用机器人最合适的形态吗？
为何业内都在做人形通用机器人？人形一定是做通用机器人最合适的形态吗？为什么说 Scaling Laws 才是通用机器人面临的真正难点？如何解决「数据魔咒」的难题？…
03 Scaling 范式变了？Self-Play 还值得 All In 吗？
OpenAI 的 o1 模型有质的突破吗？Scaling Law 的范式要变了吗？Self-Play 在新范式中重要吗？传统 Self-Play 技术发展如何？Self-Play+LLM 已经能训出更强的模型了吗？…
04 Machine Psychology，解构 LLM 还是心理学更靠谱吗？
什么是 Machine Psychology？为什么要做 Machine Psychology？做 Machine Psychology 有哪些路线？哪些心理学理论可以用于 LLMs 研究？Machine Psychology 要如何应用？Machine Psychology 下一步要怎么走？…
相关文章
