OpenAI 六年元老再发文：全球 AI 狂飙，我们应该拉手刹还是踩油门

最近，OpenAI 的资深成员Miles Brundage再次发表博文，探讨了一个备受关注的问题：当前人工智能的发展速度是加速、减速还是保持现状？

前段时间，OpenAI的政策研究领域资深成员Miles Brundage离职，公开发表了一篇辞职博文，指出我们尚未为AGI做好充分准备。

近日，Brundage再次发文，题为「AI发展是应该加速、放缓，还是保持不变？」

尽管标题是一个问题，但文章的结论非常明晰：为谨慎起见，我们应该为AI发展设置一个「刹车」。

负责托管维基百科的Chris Albon转发了这篇博文，并大力称赞，将Miles Brundage的内容产出与专注于教育领域创业的Andrej Karpathy相提并论。

近期，刚离职的Lilian Weng，使得OpenAI的「离职浪潮」大大丰富了高质量的AI博客内容。

Miles Brundage曾在George Washington University本科毕业，曾在美国能源部担任特别助理，并取得亚利桑那州立大学博士学位，研究科技对人类和社会的影响，还在牛津大学担任过AI政策研究员。

2018年，Miles Brundage加入仅成立3年的OpenAI，担任政策研究科学家，随后于2021年晋升为研究主管，现为AGI准备工作的高级顾问。

当今的AI发展

人工智能应该更快、更慢还是维持现状？在回答这个问题之前，我们先来简要回顾一下当前人工智能的进展速度。

2021年出版的《人工智能简史》一书中的观点已经在3年后变得过时。

例如，书中提及的「理解故事并回答问题」或「解释照片中的内容」等任务并未完全由AI解决；但从GPT、Claude、o1等模型中可以看到，在这些方面取得了巨大进展，甚至可能超过人类表现。

这并不是为了挑刺，而是要意识到严谨专家在人工智能领域也时常犯错。

尽管某些情况下确实存在对人工智能进展过于乐观的情况，但总体而言，过去十年坚持深度学习的反对声音并未取得成功。

计算机已解决和待解决的问题总览，按任务难度排序

另外，一张知名图表显示了AI的发展如何让各项基准很快饱和。

在物理、化学、编码等领域的测试问题上，AI开始超越专家，例如基于GPQA的问答基准，去年11月发布，目前已经落后。

在解决难以完成的孤立、研究生级别任务上，AI可以比大多数专家做得更好，即使专家有半小时时间来解决问题。

在具有挑战性的推理基准上，o1远超过GPT-4o

这种最新进展的动力在于AI系统向新思维范式的转变，即所谓的「思维链」，在回答问题之前进行思考。

GPQA基准只是一个短期任务，AI系统尚无法超越专家执行需要数小时/数天/数周/数年的「长期」任务，但科技公司正在努力，并可能在未来10年内实现。

这些进展已经开始与机器人技术融合，真正智能的AI系统将极大促进机器人技术的发展。

AI发展的理想速度

尽管随着时间推移，对于AI进展速度的争议可能会减少，但目前仍然存在很多模糊不清的问题，因为控制AI发展速度在不同规模和层面上可能颇具挑战，如单个公司、一个国家或一组国家，甚至全球范围。

例如，去年发表的一篇文章就分别提到：

人工智能的快速发展可以分为纵轴和横轴：纵轴指的是开发更大更强的模型，这伴随着很多未知因素和潜在人类生存风险；相比之下，横轴则强调将当前模型融入经济中各个角落，风险较低，回报较高。

本文将主要侧重全球范围内AI在纵轴上的扩展/进步，也就是大多数人所理解的AI进展，最终我们关心全球进展成果，因此无论AI发生在何处，都应考虑其进展。

有些人认为这是一个棘手的问题，因为他们认为这代表对技术观点的「试金石」，而技术本身已经引起巨大争议。

但事实并非如此，实际上，许多人整体上支持技术的发展，但对人工智能持谨慎态度。

在旨在重视AI风险的倡议书上，不乏亲力亲为推动技术发展的大人物，如比尔・盖茨、前OpenAI首席科学家Ilya Sutskever、DeepMind联合创始人兼CEO Demis Hassabis、Anthropic联合创始人兼CEO Dario Amodei、OpenAI CEO Sam Altman等人。

原文链接：https://www.safe.ai/ work / statement-on-ai-risk

在Miles Brundage看来，AI发展的配速之所以成为一个困扰，是因为即使在一个共同的道德前提下，诸如「不要杀人」和「技术应让更多人受益」等，一系列相关的实践问题极具挑战。

AI总体发展的理想速度或许取决于以下问题的回答，每个问题本身实际上都可能成为一个独立的领域：

• 让功能强大的AI系统变得更安全是超级容易、容易、困难还是超级困难？

• 中国是否有可能在AI领域超越美国？这可能会受到人工智能进步方式不同而产生的影响？

• AI的快速进步对我们应对其他重大社会挑战/风险（如气候变化）是否有积极影响还是会造成损害？

类似的问题还有很多，这些问题本身难以回答，更难的是将其整合到一个框架中，得出关于AI理想进展速度的结论。

我们是否需要「刹车」

需要声明的是，文章中所说的「刹车」并不是完全禁止AI技术发展，而是基于现实和对上述问题的回答，通过详细定义、分析技术和政策选择来减缓人工智能的进步。

Brundage认为，我们应该设立（经过设计和辩论的）「刹车」，因为目前AI的发展速度明显快于社会能够理解和调整的速度，而且这种情况可能长期存在且加剧。

理想情况下，政策制定者应该能够掌握一切，但我们不确定最糟糕的情况是否会发生，因此需要为各种情形做好准备。

值得一提的是，去年Brundage撰写了一篇文章，详细分析了他观察到的AI进步和社会准备之间的差距。

原文链接：https://milesbrundage.substack.com/p/scoring-humanitys-progress-on-ai

目前看来，「刹车」的设立仍未实现，其中一部分证据是所谓的「科技公司单方面暂停AI开发」的不切实际建议。

这些政策不太可能实施也不会奏效，至少在相当长一段时间内，因为负责任的AI开发是一个集体行动难题。Brundage在OpenAI任职期间，他和团队在2019年发表的一篇论文中详细解释了这一点。

原文链接：https://arxiv.org/pdf/1907.04534

大多数人对AI的发展感到担忧，他们看到了问题，并寻求解决方案，但政策制定是一项困难且需要远见、辩论和认真研究的任务。

OpenAI、哈佛肯尼迪学院、牛津、剑桥等机构于今年2月合作发表了一篇论文，探讨了设立「刹车」的一种可能性——「算力储备」。

原文链接：https://arxiv.org/pdf/2402.08797

类似于中央银行持有黄金储备来宏观调节市场经济一样，「算力储备」也试图调节AI发展节奏。

尽管有一份长达104页的论文作为基础，「算力储备」方案仍面临许多问题和模糊之处。这未必是正确的解决方案，但我们确实应该对此及其他相关思路进行更多探讨，如人工智能税等。

若要设置刹车，是否需要同时设计一个「油门」？

Brundage认为，这也是必要的，但目前我们看到许多小型的「油门踏板」被严密固定。

例如，CHIPS法案增加了对美国半导体制造的资金；初创公司、风险投资和科技巨头不断尝试扩大AI规模；教育机构不断培养研究人员和工程师；消费者通过「用钱包投票」来间接支持AI更快的进步。

鉴于协调减速方面的困难，单方面加速比单方面减速更容易。因此，在政策研究上，关注难题更为重要，即如何减缓AI发展。

结论和下一步