Ilya 小题大作？「预训练终结」≠ Scaling Law 撞墙？

本文来自PRO会员通讯内容，文末关注「机器之心PRO会员」，查看更多专题解读。

前 OpenAI 首席科学家 Ilya Sutskever 在 NeurIPS 2024 会议上作主题演讲，分享了他关于人工智能的未来发展方向，特别是围绕数据峰值的问题、预训练模型的局限性、以及下一代 AI 模型的自主性和推理能力等方面的看法。

他讨论了现有数据资源的限制对 AI 训练方式的影响，并预测了 AI 系统将如何发展出更类似于人类思考方式的推理能力。然而，Ilya Sutskever 在演讲中有关「预训练结束」的判断引发了许多争议。

AI 社区的反驳和讨论大多来自两个层面，其一在于否认「数据即将枯竭」的判断，其二则围绕 Sutskever 口中即将结束「预训练」高度关联的 Scaling Law 撞墙争议展开。

有关「数据即将枯竭」的反驳中，许多知名研究者均在在社交平台中强调或将枯竭的是文本预料，但视频、图像等高维数据十分充裕；也有网友将关注点放在「互联网」之外因收费、访问限制能原因而未能用作预训练的书籍、文献等未开发资源。

另一方面，「预训练即将结束」的判断引发冲突来自业内对近年来指导 LLM 突破的 Scaling Law 可能失效的焦虑。

2024 年中，Gary Marcus 在 6 月就 Scaling Law 收益递减的话题引发了大量讨论，而后外媒 The information 在 11 月有关 Scaling Law 撞墙的报道则进一步引发了业内热议，乐观派和悲观派持续展开激烈的思辨。

此前，Ilya Sutskever 一直是 Scaling Law 的倡导者，他相信「压缩即智能」，用大型神经网络准确预测互联网上许多不同文本中的下一个词时，表面上看只是在学习文本中的统计相关性，但其实在学习一个世界模型；而在预训练环节投入更多数据和算力则提高了模型对复杂过程的理解。

然而，当坚持Scaling Law的Ilya Sutskever作出「预训练即将结束」的判断，可能代表着这种质朴的「大力出奇迹」的方式将真的不再生效，也再次点爆了近期业内有关 Scaling Law 是否撞墙的争议话题。

在媒体于11月爆料后，Sam Altman 曾在社交平台发布过「there is no wall」的推文，与此次Ilya Sutskever 的判断看似冲突。但有分析梳理了两者言论前提的差异，指出 预训练的终结的说法本质上是 Scaling Law 的范式转移……