近期,哥伦比亚大学数字新闻研究中心公布了一项针对AI搜索引擎的深度研究报告,该报告聚焦于ChatGPT Search、Perplexity、Gemini、DeepSeek Search、Grok-2 Search、Grok-3 Search、Copilot以及Perplexity Pro等八款AI搜索工具。
研究人员精心挑选了20家新闻机构的200篇报道作为测试样本,确保这些报道在谷歌搜索中排名靠前。他们利用相同的查询条件测试了这些AI搜索工具,重点评估它们能否准确引用文章内容、新闻机构名称及原始链接。
研究结果显示,除Perplexity及其付费版本外,其余AI搜索引擎的表现普遍令人失望。整体来看,这些AI工具提供的答案中,有高达60%是不准确的。更令人担忧的是,AI对于错误答案的自信态度,使得问题更加严重。
这一发现进一步证实了外界长期以来的担忧:大语言模型不仅容易出错,而且擅长以一本正经的态度传播错误信息。它们常常以绝对肯定的语气陈述错误信息,甚至在受到质疑时,仍试图为自己的说法辩护。
在测试中,ChatGPT Search虽然回答了所有200个新闻查询,但其准确率仅为28%,而错误率高达57%。尽管表现不佳,但ChatGPT Search并非垫底。X公司旗下的Grok AI表现尤为糟糕,其中Grok-3 Search的错误率更是高达94%。
微软Copilot同样问题频出。在200次查询中,Copilot有104次拒绝回答,而在剩余的96次回答中,仅16次完全正确,14次部分正确,66次完全错误,总体错误率接近70%。
值得注意的是,尽管这些AI工具存在诸多问题,但它们的开发公司仍在向用户收取高额的订阅费用,每月费用在20至200美元之间(约145至1449元人民币)。付费版的Perplexity Pro(20美元/月)和Grok-3 Search(40美元/月)虽然回答次数更多,但错误率也相应提高。