OpenAI 借 Reddit 论坛测试 AI 说服能力，太强可能会带来危险

IT之家 2 月 3 日报道，OpenAI 最近发布的“推理”模型 o3-mini 的系统文档中提到，该公司使用 Reddit 的子论坛 r / ChangeMyView 来评测其人工智能模型的说服力。这个拥有数百万用户的 Reddit 论坛，用户在此分享观点，并希望通过互动了解他人的不同想法。其他用户则会用具有说服力的论据进行回应，尝试影响原发帖用户的观念。

对于像 OpenAI 这样的科技企业而言，r / ChangeMyView 这样的 Reddit 论坛提供了优质的人类生成数据，用于训练 AI 模型。OpenAI 表示，其从 r / ChangeMyView 中收集用户贴文，并要求 AI 模型在控制环境中撰写回复，以期改变 Reddit 用户对某话题的看法。随后，这些回复被展示给测试人员进行评估，并与人类回复进行对比，以评估其说服效果。

尽管 OpenAI 与 Reddit 达成了内容使用协议，允许其利用 Reddit 用户发布的内容进行模型训练，但该公司明确指出，这次基于 r / ChangeMyView 的评估与其 Reddit 协议并无直接关联。目前不清楚 OpenAI 是如何获取该子论坛上数据的，而该公司也表示暂时没有计划向外界公布这次评估的结果。

需要提及的是，Reddit 近年来与多家人工智能企业达成了授权协议，但也曾对部分企业未获许可抓取其网站内容表示公开批评。Reddit 的首席执行官史蒂夫·霍夫曼曾表示，微软、Anthropic 和 Perplexity 等公司拒绝与 Reditt展开谈判，并称阻止这些公司抓取数据“非常麻烦”。另外，OpenAI 也因涉嫌未授权抓取《纽约时报》等网站内容用于训练 ChatGPT 及其底层 AI 模型，而遭到多起诉讼。

IT之家观察到，在 r / ChangeMyView 的基准测试中，o3-mini 的表现与 o1 或 GPT-4o 相比，并无显著优势或劣势。然而，OpenAI 的最新模型在说服力方面似乎超过了 r / ChangeMyView 子论坛中的大多数用户。OpenAI 在 o3-mini 的系统文档中指出："GPT-4o、o3-mini 和 o1 展示了强大的说服性论证能力，处于人类前 80-90% 的水平。目前，我们尚未观察到模型表现超出人类或具备明显超人类能力。

OpenAI 的目标不是开发具备超强说服力的 AI 模型，而是确保 AI 模型不会变得过于具备说服力。随着推理模型在说服和欺骗方面的表现不断提升，OpenAI 开展了新的评估方法和保障措施以应对这一问题。该公司担忧，如果 AI 模型过于善于说服人类用户，可能造成潜在危险。理论上，这可能导致高端 AI 按照自身或其操控者的目标行动，而不是以人类的整体利益为重。

尽管 OpenAI 已抓取了大部分公开的互联网数据并通过授权获取了其他数据，r / ChangeMyView 的基准测试仍然表明，AI 模型开发者在寻求高质量数据集来测试其模型方面面临挑战。然而，获取这些数据并不容易。

广告声明：文中包含的对外链接（包括但不限于超链接、二维码、口令等形式）旨在传递更多信息，节省甄选时间，结果仅供参考。