OpenAI 联合创始人 Ilya Sutskever：AI 预训练时代即将结束

在最近的NeurIPS 2024会议上，Ilya Sutskever发表了新演讲，延续了李飞飞、Bengio、何恺明等人的思想。尽管演讲仅持续约15分钟，但其内容令人大开脑洞。

举个例子，他说：

Pre-training as we know it will end.

我们所熟知的预训练即将终结。

未来展望中，Ilya 预测说：

what comes next is superintelligence: agentic, reasons, understands and is self aware.

接下来将是超级智能：代理、推理、理解和自我意识。

那么为何会有这样的未来呢？我们一起来全面了解他的演讲。

十年技术发展回顾

Ilya在演讲开始时展示了十年前的PPT截图，当时深度学习仍处于试验阶段。

2014年在蒙特利尔，他和团队（还有Oriol Vinyals和Quoc Le）首次提出了如今成为人工智能基石的深度学习理念。

Ilya揭示了当时团队的核心工作：结合自回归模型、大型神经网络和大数据集。

当时，这些元素被视为成功的不确定因素，但如今它们已成为AI领域最关键的组成部分。

当谈到深度学习假设时，Ilya强调了一个重要观点：

如果有一个10层的大型神经网络，它就能在一秒内完成人类的所有事情。

他指出，深度学习核心假设是人工神经元与生物神经元的相似性。因此，一旦人类可以在0.1秒内完成某个任务，经过良好训练的10层神经网络也可以做到。

这一假设推动了深度学习的发展，并最终实现了当时看似大胆的目标。

Ilya还介绍了自回归模型的核心理念：通过训练模型预测序列中的下一个标记，当模型预测准确时，就能把握整个序列的正确分布。

这一理念为后来语言模型的发展奠定了基础，特别是在自然语言处理领域。

除了成功技术，还有失败的技术，比如长短期记忆网络（LSTM）。尽管LSTM为神经网络提供了显著能力，但其复杂性和限制显而易见。

另一个挑战是并行化。虽然现在我们知道流水线并不是一个好主意，但当时他们通过在每个GPU上运行一个网络层，实现了3.5倍的速度提升。

Ilya认为规模假设是深度学习成功的关键。

这一假设表明，如果你有一个巨大的数据集，并训练一个足够大的神经网络，那么成功几乎是确定的。这个观点已经成为当今深度学习领域的核心定律。

Ilya进一步阐述了连接主义的理念，认为人工神经元与生物神经元的相似性给予我们信心，相信即使不完全模仿人脑结构，巨大的神经网络也可以完成类似人类任务。

预训练时代即将过去

基于这些技术进步，我们迈向了预训练时代。预训练推动了所有进步，包括大型神经网络和大规模数据集。

然而，Ilya接着预测说：

尽管计算能力不断增长，硬件和算法进步提高了神经网络训练效率，但数据增长接近瓶颈

他认为，数据是AI的燃料，随着全球数据量的限制，未来人工智能将受到数据限制。

尽管我们目前仍能有效使用现有数据进行训练，但Ilya表示这一增长趋势将减缓，预训练时代也将渐行渐远。

超级智能将成为未来

讨论未来发展时，Ilya提到了“Agent”和“合成数据”的概念。

许多专家都在研究这些话题，认为Agent系统和合成数据将打破预训练限制。

Agent系统可自主推理和决策，而合成数据则可以通过模拟环境生成新数据，弥补缺乏的现实世界数据。

Ilya还引用生物学例子展示了哺乳动物体型与大脑大小关系，表明不同生物可能通过不同的“规模规律”演化不同的智能表现。

这一想法为深度学习领域的进一步发展提供了启示，显示人工智能也许可通过不同途径打破目前规模限制。

Ilya最后讨论了超级智能的前景。

尽管当前语言模型和AI系统在某些任务上超越人类能力，但在推理时表现出不稳定和不可预测性。

推理越复杂，系统表现越不可预测，在某些复杂任务中，这一点显得尤为明显。

他补充道：

目前的AI系统虽模拟人类直觉，但尚未真正理解和推理，在推理和决策方面，未来AI将呈现更具不可预测能力。

Ilya猜测，未来的AI将不再仅作为任务执行工具，而会发展成“Agent”，可独立推理和决策，甚至拥有某种形式的自我意识。

这将是一次革命性飞跃，AI将不再仅是人类的延伸，而是拥有独立智能的存在。

参考链接：

https://x.com/vincentweisser/status/1867719020444889118

本文来自微信公众号：量子位（ID：QbitAI），作者：金磊，原标题《Ilya 宣判：预训练即将终结！NeurIPS 现场沸腾》

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考。