OpenAI 员工“疯狂暗示”内部已成功开发 ASI？被曝训出 GPT-5 但雪藏

OpenAI 正在掀起一场轰动！近期有多重传闻涌现，声称 OpenAI 已经突破了「递归自我改进」的关键时刻，o4 和 o5 已具备自动化 AI 开发的能力，甚至据说 OpenAI 还已研发出 GPT-5？OpenAI 的员工们纷纷曝料，暗示内部已经在研制 ASI。

种种迹象显示，OpenAI 最近似乎经历了一次重大变革。

AI 研究员 Gwern Branwen 发表了一篇关于 OpenAI o3、o4、o5 的深度分析文章。

文中指出，OpenAI 已经跨越了「递归自我改进」的门槛，o4 或 o5 能够实现 AI 研发的自动化，完成后续的开发工作！

以下是文章的要点 ——

- OpenAI 可能会选择对其「o1-pro」模型进行保密，利用算力训练 o3 等更高级的模型，这与 Anthropic 的策略相似

- OpenAI 似乎已在 AI 发展中看到突破，正迈向 ASI 的旅程

- 他们的目标是打造高效的超人 AI，类似于 AlphaGo / Zero 所追求的成就

- 初期的推理搜索可以提升性能，但最终将达到极限

还有传言指出，OpenAI 和 Anthropic 实际上已经训练出 GPT-5 级别的模型，但双方都选择将其「隐藏起来」。

这样做的原因是，尽管这些模型能力出众，但运营费用过高，利用 GPT-5 洗练出 GPT-4o、o1、o3 等模型成本更为划算。

OpenAI 的安全研究员 Stephen McAleer 最近两周的推文，简直像是在编写短篇科幻小说 ——

我有些怀念那段做 AI 研究的日子，那时我们还不明白如何创造超级智能。

在实验室里，许多研究人员认真对待 AI 在短期内的影响，但在实验室外几乎没有人充分探讨其安全风险。

如今，控制超级智能已成为紧迫的研究议题。

我们如何管理灵巧的超级智能？即使我们拥有完美的监控系统，它是否会说服我们将其从沙箱中释放？

总之，越来越多的 OpenAI 员工暗示内部已经在研发 ASI。

这是真是假？还是 CEO 阿尔特曼的神秘风格悄悄影响了团队？

许多人认为，这只是 OpenAI 常用的宣传策略。

但让人不安的是，几位在一两年前离开的员工曾表达过担忧。

难道我们真的站在 ASI 的边缘？

超级智能的「潘多拉魔盒」，是否已经被打开了？

OpenAI:「遥遥领先」

OpenAI 的 o1 和 o3 模型开启了新的扩展模式：在推理时投入更多计算资源，从而稳定提高模型性能。

如图所示，o1 在 AIME 测试中的准确率，随着测试时计算资源的增加而持续上升。

OpenAI 的 o3 模型延续这一趋势，创造出佳绩，具体如下：

• 在 Codeforces 上获得 2727 分，成为全球第 175 名顶尖编程者；

• 在 FrontierMath 上得到 25% 的分数，该平台的题目通常需要数学家几个小时的解答；

• 在 GPQA 上获得 88% 的得分，其中70%的得分反映博士级的科学知识；

• 在 ARC-AGI 上得分 88%，而在困难视觉推理上，平均 Mechanical Turk 工作者的得分为 75%。

根据 OpenAI 的解释，o 系列模型的性能提升主要源于延长思维链（Chain-of-Thought，CoT）的长度（以及其它技术如思维树），通过强化学习进一步优化思维链（CoT）过程。

现在，运行 o3 达到最优性能极为昂贵，单次 ARC-AGI 任务的成本约为 300 美元，但推理成本正在以每年约 10 倍的速度下降！

Epoch AI 最近的分析指出，前沿实验室在模型训练和推理上的花费可能相当。

因此，除非接近推理扩展的物理极限，否则前沿实验室将持续大量投资于模型推理的优化，且成本将继续下降。

总体而言，推理扩展模式预计将长期持续，并将成为 AGI 安全性的重要考量因素。

AI 安全性影响

那么，推理扩展模式对 AI 安全性的影响是什么？简而言之，AI 安全研究员 Ryan Kidd 博士表示：

• AGI 时间表大致不变，可能会提前一年。

• 前沿模型的部署可能减少过度应用的影响，因其部署成本将比预期高出约 1000 倍，这将降低来自迅速或集体超级智能的风险。

• 思维链（CoT）的监管可能更有效，前提是禁用非语言的 CoT，这有利于 AI 安全。

• 更小、运行成本高的模型更易遭盗用，但非富裕者很难运营，降低了单边主义诅咒的风险。

• 可解释性的实现更容易还是更难，目前尚不明朗。

• 模型可能会更多采用强化学习（RL），但主要是「基于过程」，因此可能更安全，前提是禁止非语言的 CoT。

• 出口管制可能需要调整，适应专用推理硬件。

AGI 时间表

o1 和 o3 的发布，并未对 AGI 时间表的预测造成重大影响。

Metaculus 的「强 AGI」预测因 o3 的发布提前了一年，预计在 2031 年中期实现；然而，自 2023 年 3 月以来，该预测一直在 2031 到 2033 年之间波动。

Manifold Market 的「AGI 何时会出现？」预测也提前了一年，从 2030 年调整为 2029 年，但最近的预测也波动不定。

很可能，这些预测平台在一定程度上考虑了推理计算扩展的影响，因为思维链并非新奇技术，即便通过 RL 强化过。

总体来看，Ryan Kidd 自认为他也无法提供比这些预测平台更好的见解。

部署问题

在《AI Could Defeat All Of Us Combined》一文中，Holden Karnofsky 描绘了一种模棱两可的风险威胁模型。

在这种模型中，一群具有人类水平的 AI，通过更快的认知速度和更好的合作能力，超越了人类，而非依赖于质上的超级智能能力。

该情境假设，「一旦第一个人类水平的 AI 系统被创造出来，创造它的人可以利用相同的计算能力，运行数亿个副本，每个副本大约运行一年。」

如果第一个 AGI 的运行成本与 o3-high 相同（约 3000 美元/任务），总成本至少需 3000 亿美元，这使得该威胁模型变得不再可靠。

因此，Ryan Kidd 博士对「部署问题」的顾虑较小，认为一旦经过昂贵的训练，短期模型可以低成本部署，从而产生重大影响。

这在一定程度上缓解了他对「集体」或「高速」超级智能的担忧，同时稍微提高了对「定性」超级智能的关注，至少对于第一代 AGI 系统而言。

监督思维链

如果模型的更多认知以人类可理解的思维链（CoT）形式嵌入，而非内部激活，这似乎是通过监督促进 AI 安全的好兆头！

尽管 CoT 对模型推理的描述不总是真实或准确，但这一点可能会得到改善。

Ryan Kidd 对 LLM 辅助的红队成员也持乐观态度，他们能有效防止隐秘的阴谋，或至少限制潜在秘密计划的复杂度，前提是有强有力的 AI 控制措施

从这个角度看，推理计算扩展模式似乎对 AI 安全非常有利，前提是有足够的 CoT 监管。

可惜的是，像 Meta 的 Coconut（「连续思维链」）这样的技术可能会迅速应用于前沿模型，连续推理可能不再使用语言作为中介状态。

尽管这些技术能提升性能，却可能在 AI 安全性方面带来巨大的隐患。

正如 Marius Hobbhahn 所说：「为了微小的性能提升，牺牲可读的 CoT，简直是在自毁前程。」

然而，考虑到用户无法看到 o1 的 CoT，尚不清楚是否有可能识别非语言 CoT 是否被采用，除非通过对抗性攻击加以揭示。

AGI 的来临

美国的 AI 作家和研究员 Gwern Branwen 认为，Ryan Kidd 遗漏了一个重要的方面：类似 o1 的模型主要目标之一并非直接部署，而是生成下一个模型的训练数据。

o1 解决的每一个问题如今都是 o3 的一个训练数据点（例如，任何一个 o1 运行时找到正确答案的示例，均用于培训更细致的直觉）。

这意味着，扩展模式最终可能呈现出当前的训练范式的样子：大量大规模的数据中心，全力培训最终的高智能前沿模型，并以低搜索方式使用，并转换为更小更便宜的模型，以适应低搜索和无搜索的使用场景。

对于这些大型数据中心，压力几乎完全与搜索相关（因为推出模型的成本低廉且简单，相较于实际的微调），但对其他人来说并不重要；与以往一样，基本上是高端 GPU 和大量电力的投入，经过 3 到 6 个月，最终迎来一个更智能的 AI。

OpenAI 推出了 o1-pro，而不是将其保留为私有，并投入计算资源于更多 o3 的训练等自举过程。

Gwern Branwen 对此感到有些惊讶。

类似的情况也出现在 Anthropic 和 Claude-3.6-opus 上 —— 它并未「失败」，只是选择将其私有化，并将其蒸馏成一个小而便宜、但又颇具智慧的 Claude-3.6-sonnet。

OpenAI 的「临界点」突破

OpenAI 的成员在 Twitter 上突然变得有些异常兴奋，原因或许是在于观察到从原始 4o 模型到 o3（以及现在的状态）的显著进步。

这种感觉就像在观看 AlphaGo 的围棋旅程：它不断上升…… 上升…… 再上升……

或许他们感觉终于实现了「突破」，跨越了关键阶段：由基础的前沿 AI 工作，几乎在几年内便可复现，进化到起飞阶段 —— 破解了智能的秘密，使得 o4 或 o5 能够实现 AI 研发的全自动化，完成余下的部分。

在 2024 年 11 月，阿尔特曼表示：

我清晰地看到前景，我们正在进行的工作将持续加速，过去三年所取得的进展，将在未来三年、六年、九年及更长时间不断延续。

不久后，他又表示：

我们现在非常有信心地掌握了如何构建传统意义上的 AGI……并且我们开始超越这个目标，迈入真正的超级智能之旅。我们热爱当前的产品，但我们的目标是创造美好未来。借助超级智能，我们可以实现任何目标。

其他 AI 实验室不得不望其项背：当超级智能研究能够实现自给自足时，根本无法获得足够的计算设备进行竞争。

最终，OpenAI 可能会垄断整个 AI 市场。

毕竟，AlphaGo / Zero 模型不仅超越人类表现，同时其运行成本也极低。仅需几步搜索即可达到超人类水平；即使是简单的前馈推理，已然接近职业人类的能力！

若观察下文的相关扩展曲线，原因其实不难理解。

论文链接：https://arxiv.org/pdf/2104.03113

继续演变

在推理时的搜索如同兴奋剂，能够瞬间提升分数，但很快就会达到极限。

很快，必须借助更智能的模型去改善搜索本身，而不是仅仅增加搜索量。

如果单纯搜索能如此有成效，那么在 1960 年代国际象棋早该被解决了。

实际上，到 1997 年 5 月，计算机才打败了国际象棋世界冠军，但超越国际象棋大师的搜索速度并不复杂。

如果你想迅速生成「Hello World」的代码，一群在打字机上的猴子或许足够；但若想在宇宙毁灭之前完整撰写《哈姆雷特》，你最好现在就动手克隆莎士比亚。

幸运的是，只要你拥有必要的训练数据和模型，就可以创造出能写出媲美乃至超越莎士比亚作品的更聪明模型。

在 2024 年 12 月 20 日，阿尔特曼强调：

在当今的喧嚣中，一些关键信息似乎被忽视了：

在编程任务中，o3-mini 将超越 o1，但成本会低不少！

我认为这一趋势将持续，但也预见为获取边际性能而需投入的资金将会指数级增加，造成奇怪的局面。

因此，你可以投资干预模型输出的表现……但「你」可能是「AI 实验室」，而不仅仅是为了某一特定问题输出而花费资金。

这意味着外部用户可能永远无法看到中间模型（就像围棋玩家无法观察 AlphaZero 训练过程中的某一步随机检查点）。

而且，如果「部署成本是当前的 1000 倍」这个观点成立，这也是不进行部署的其中一个理由。

为何要浪费计算资源来服务外部客户，反而不继续训练，最终以一个成本为 100 倍、10 倍甚至更低的更佳模型进行部署呢？

因此，一旦考虑到所有的次生效应和新工作流程，搜索/测试时间的范式可能看上去出奇相似。

参考资料：

• https://x.com/emollick/status/1879574043340460256

• https://x.com/slow_developer/status/1879952568614547901

• https://x.com/kimmonismus/status/1879961110507581839

• https://www.lesswrong.com/posts/HiTjDZyWdLEGCDzqu/implications-of-the-inference-scaling-paradigm-for-ai-safety

• https://x.com/jeremyphoward/status/1879691404232015942

本文来自微信公众号：新智元（ID：AI_era）

广告声明：文中包含的对外链接（包括但不限于超链接、二维码、口令等形式），用于提供更多信息，帮助节省选择时间，结果仅供参考。