美国哥伦比亚大学研究：ChatGPT 的新闻搜索结果经常不准确

xxn 阅读：28724 2024-12-04 10:03:53 评论：0

IT之家最新报道指出，根据The Verge的消息，美国哥伦比亚大学Tow数字新闻研究中心的调查显示，OpenAI的ChatGPT搜索工具在精确性方面存在一些挑战。

在今年11月，OpenAI向订阅用户推出了这一新工具，并声称其可以快速提供答案，并提供相关网页来源链接。然而研究结果显示，ChatGPT在识别文章引用方面表现欠佳，即使是来源于与OpenAI数据共享的出版商的内容，ChatGPT也难以准确解决。

研究人员对20家出版商的200条引文进行了测试，其中40条来自于OpenAI无法访问的网站。但即便如此，ChatGPT还是自信地给出了错误回答，几乎没有显示出自身犯错的可能性。

测试结果表明，ChatGPT有153次回答存在全错或部分错误的情况，只有7次明确表示无法准确回答。在这7次回答中，它使用了“看起来”、“可能”等词汇，或者直接承认“无法找到具体文章”。

数据图显示，ChatGPT的回答中，有89次是“错误”的，57次是“部分正确”的，而只有47次是完全“正确”的。

在测试中还有一些典型案例，例如，ChatGPT错误地将《奥兰多哨兵报》读者来信的引用归因于《时代周刊》；在另一个例子中，当被要求确认《纽约时报》关于濒危鲸鱼的引用时，ChatGPT却链接到了一个完全抄袭该报道的网站。

对于《哥伦比亚新闻评论》，OpenAI表示，“在没有相关的Tow中心隐藏测试数据和方法的情况下，解决错误归因是相当困难的。这次研究对我们的产品进行了非典型测试。”OpenAI同时表示将继续优化搜索结果。

据IT之家之前的报道，今年早些时候，OpenAI宣布与新闻行业进行了广泛的合作，并征集了合作伙伴关于搜索功能的反馈。任何网站或出版商都有权选择出现在ChatGPT搜索结果中。一些已达成合作的媒体和出版商包括美联社、阿克塞尔・斯普林格、康泰纳仕、道奇梅雷迪思、《金融时报》、GEDI、赫斯特、《世界报》、路透社、大西洋月刊、时代杂志和Vox媒体等。