苹果新 Siri 超级碗知识测试大翻车,准确率仅 34%

xxn 阅读:47060 2025-01-24 22:01:43 评论:0

据称,针对苹果虚拟助手 Siri(新版)的一项测试显示,其在回答超级碗历史相关问题时表现出现问题。测试结果显示,在58届超级碗的冠军归属问题中,仅有20次正确回答,准确率为34%。

据报道,此次测试是由One Foot Tsunami的Paul Kafasis设计并执行的。他询问新版Siri从第一届到第六十届超级碗的冠军得主,并记录了其回答。结果显示,新版Siri的表现令人失望,尤其是在某些问题上出现了明显的错误。例如,新版Siri多次将33次超级碗冠军归于费城老鹰队,而该队实际上只赢得过一次冠军。此外,新版Siri的回答还出现了与问题无关的足球信息,甚至在某些情况下提供了错误的超级碗届数信息。

据悉,尽管新版Siri一度给出了一些连续准确的答案,例如正确回答了第五至第七届超级碗的冠军,但在第十七届至第三十二届超级碗的问题上连续回答错误达15次,凸显了其知识库的局限性。此外,当被问及第十六届超级碗时,新版Siri甚至建议用户向ChatGPT寻求答案,而后者则提供了正确答案

测试是在运行iOS 18.2.1并启用Apple Intelligence的设备上进行的,同时在即将发布的iOS 18.3测试版和macOS 14.7.2中也发现了类似问题,表明这一问题在苹果多个平台上普遍存在。测试结果已整理成Excel和PDF格式的表格,供公众查阅。

根据一些报道,新版Siri在回答体育问题时表现不佳。据称,其他AI系统能够正确回答问题,而新版Siri则频繁出错。一些评论人士称,新版Siri的回答方式甚至“看似合理”,这是最糟糕的错误方式。更糟糕的是,据称,旧版Siri在无法回答问题时会提供一组网页链接,其中第一个链接通常能提供部分正确答案,而新版Siri则不仅回答错误,而且每次答错都会不同。

Gruber对此表示:“新版Siri的回答不仅完全错误,而且看似合理,这是最糟糕的错误方式。”他指出,新版Siri甚至连一半的超级碗问题都无法准确回答。

有报道称,苹果正在开发一款基于先进大语言模型(LLM)的更智能版Siri,预计将使其能够更好地与ChatGPT等竞争。更智能版Siri可能支持持续对话,并提供类似于ChatGPT或Claude的见解和帮助。预计苹果将在2025年的全球开发者大会(WWDC)上发布LLM版Siri,但正式上线可能要等到几个月后。这意味着LLM版Siri将作为iOS 19的更新内容推出,iOS 19预计将在2026年春季正式上线。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传达更多信息,节省甄选时间,结果仅供参考。

声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

搜索
排行榜
关注我们

扫一扫关注我们,了解最新精彩内容