LeCun 与 OpenAI 阿尔特曼达成共识：承认 AGI 5 到 10 年降临，但 LLM 注定死路一条

在最新表态中，LeCun意外表示AGI已经不再遥不可及，预计未来5到10年就能实现！这一转变与之前声称“永远差10到20年”形成鲜明对比。同时他继续认可JEPA路线，对LLM持质疑态度。目前，各路大咖均对此口径统一，有远见的投资者将跟进投资。

LeCun突然翻转立场！他在2023年12月坚称，实现人类水平AI还需10到20年。

然而，最近他又改口了！

如今，他称我们能在5到10年内拥有人类水平的AI。

主持人质疑：您之前不是认为AGI遥不可及吗？

LeCun回应说：我从未认为AGI离我们很遥远。

他强调，对AGI到来的预测与Sam Altman、Demis Hassabis等人没有太大不同。

总体而言，AGI在未来十年内很可能会到来，但不太可能在明年或后年。

尽管他调整了时间预测，但他对当前大语言模型的观点并未改变。

他认为，不能盲目扩展LLM，认为继续扩展并使用更大的超算和数据就能实现AGI。

我们需要类似JEPA的全新架构，这种AI可以从环境中学习并制定按重要性规划一系列动作，而不是像当前的LLM一样盲目生成下一个词。

简言之，我们需要系统2，而不是系统1。而目前的LLM仅处于系统1阶段。LeCun探讨的“目标驱动人工智能”就属于系统2。

网友对此感到震惊：LeCun之前不是坚决否定AGI很近的观点吗？

有观点表示，这可能是因为人们对AGI共识缺乏定义，对于模糊的AGI定义，无论如何说都有说服力。

网友留言中有一条开玩笑说。

他们推测Meta内部人找过LeCun谈：要实现AGI，就需要大量投资。现在继续说AGI遥不可及，就难以吸引更多投资者！

AI核心问题：改善对世界的心智模型

最近，LeCun接受Nikhil Kamath主持的People by WTF栏目采访，深度讨论了关于AI的多个问题。

LeCun在巴黎就学EE（电气工程），但随着学习，他对数学、物理和AI的基础问题越发感兴趣。

在EE学习中，他与数学教授合作进行了一些独立项目，早在1980年代。

如今，LeCun已成为著名的三驾马车之一。

作为科学家，他致力于构建世界的因果模型。

在他看来，几乎所有问题的根源都在于人类知识和智慧的匮乏。因缺乏智慧，我们常常犯错误，难以确识问题存在，也无法找到解决方案。

LeCun表示，如果我们能更智慧一点，拥有更好的关于世界运行方式的心智模型，我们将不再频繁犯错，而是做出更理性的决策。

这也是AI领域的核心问题所在。

当下，世界面临的一个大问题是，人们不乐于查找事实，也不愿自我学习，而AI有望提升全人类智慧，这是解决诸多人类问题的关键。

智能是由大量简单元素相互连接形成的网络现象。

自40、50年代起，人们开始认识到，智慧和记忆来自于神经元间连接的强度。大脑学习方式是通过修改神经元间连接强度实现的。

因此，人们提出了理论模型，并且使用电路实现了它们。

出现的经典计算机科学：启发式编程

根据解决问题和学习能力，AI分为了两个分支。

后者在50、60年代取得了进展，但在60年代晚期陷入困境。当时设计的神经网络学习程序非常有限，难以制造真正智能的机器。

但在模式识别工程领域，它产生了深远影响。

接下来，他们讨论了启发式编程。

机器学习最简单的情形是感知、图像和声音解释，这正是经典计算机科学出现的原因。

我们编写程序，在内部搜索解决方案，并能检查它所提出的解决方案是否合适，这就是启发式编程。

然而，我们不可能搜索所有可能的解决方案，因为方案数量庞大。

就像国际象棋的移动序列呈指数级增长，我们需要启发式方法，通过树搜索或专家AI来实施函数，努力实现最终状态。

好的系统与糟糕系统的差别在于系统是否足够智慧，在不进行穷尽搜索的情况下找到好的解决方案。

这引出了专家系统，或基于世界的AI系统。它们与搜索的概念紧密相关。

人们提出算法，改变神经元连接强度，使它们能够学习任务，这种类型的第一个机器叫感知机于1957年被提出。

MIT教授Marvin Minsky和数学家Seymour Papert合著的《感知机》在现实世界的统计模型识别中得以广泛应用。

然而，感知机存在一个严重问题，无法访问多种类型的函数，不足以训练系统判断图像内是否有狗、猫或桌子。

系统不够强大，无法真正计算这种复杂的函数。

强化学习与自我监督学习

在80年代，神经网络和深度学习改变了一切。事实上，神经网络是深度学习的前身，深度学习可以被视为它的新名字。

我们的理念是，不是完全编程指导机器完成任务，而是通过数据进行训练。

在机器学习中，有线性回归、分类树、支持向量机、核方法、贝叶斯推理等。

在某种程度上，这些模型都遵循一个模式：我们构建一个程序，但实际上尚未完成。程序有一系列可调参数，输入输出函数取决于这些参数的值。

因此，我们利用迭代调整技术从数据中训练系统。若示例答案不正确，我们调整参数使其更接近我们所需答案。

在强化学习中，我们不直接告知系统正确答案，而是告知其生成的答案好坏情况。

在过去的五六年间，自我监督学习备受瞩目，已成为聊天机器人和自然语言理解系统成功的主要驱动因素。

它类似于监督学习，但不同之处在于无需明确的输入和输出，而是训练系统从输入中生成输出。

与其说算法本身有所不同，不如说差异体现在系统结构、数据使用及生成方式上。

我们不需逐一检查数百万张图片，告诉系统其中是猫或狗在桌子旁，只需展示图片并破坏部分，要求系统从该受损图像中恢复原始图片。

这便是自我监督学习的一种形式。

这对于自然语言理解的成功至关重要。

例如，在大语言模型中，我们训练系统预测下一个词，仅允许查看前面词语，从而无需干扰输入。

最终，系统被训练从内容中预测接下来的单词。

在Transformer架构下，基本原则是将每个输入与其他输入进行比较，并生成权重。

反向传播算法与卷积神经网络

反向传播算法作用在向系统展示C图像并告知此为C时，它能激活相应输出神经元而不激活其他。

它知道如何调整参数，使输出更接近我们期待结果。这通过向后传播信号实现，基本上确定每个权重对每个输出的敏感性，从而改变权重，增强好的输出减少坏的输出。

实际上，反向传播算法此前就存在，但未见其在机器学习中发挥作用，直至20世纪80年代开始风靡。

反向传播算法至关重要，因为它颠覆了20世纪60年代Minsky和Papert关于感知机的限制，掀起一场重大浪潮。

但人们后来认识到，训练这些神经网络需要大量数据。

当时没有互联网，数据不充足，计算机速度也不快，因此人们的兴趣减弱。

然而，在80年代末90年代初，LeCun研究了一个项目，若想让系统识别图像，需要以特定方式连接神经元以推动系统关注。

他从生物学中获取启发，借鉴了可追溯到60年代的经典神经科学研究，以分层方式组织神经元连接，使它们更倾向于找到良好图像识别解决方案。

这便是著名的卷积神经网络。

它的设计灵感源于视觉皮质的结构。

卷积神经网络特别适合处理来自自然世界的数据，如拍照片时取相邻像素点，它们可能拥有相同颜色或强度。

几乎所有自然数据，包括图像和音频，都带有内在结构，若能构建神经网络以利用这种结构，学习速率将加快，且学习仅需较少样本。