AI引发的幻觉：研究人员的博客文章引发搜索引擎误导信息

由生成式AI模型驱动的人工智能（AI）聊天机器人无意中因一篇研究博客文章而偏离轨道。这一事件凸显了随着AI增强搜索引擎变得普遍，需要加强保障措施。

AI聊天机器人中的幻觉

信息科学研究员Daniel S. Griffin在他的博客上发布虚假信息示例时，无意中在AI聊天机器人领域引发了一种独特的困境。他的目的是说明AI聊天机器人传播误导信息的实例。格里芬展示了两个与有影响力的计算机科学家克劳德·E·香农（Claude E. Shannon）相关的示例，并明确指出聊天机器人的信息是不真实的。

然而，这一免责声明被证明不足以阻止机器爬虫索引虚假信息。格里芬惊讶地发现，包括微软的Bing和谷歌的Bard在内的多个聊天机器人将幻觉数据当作事实引用，并将其排在搜索结果的首位。当用户向聊天机器人查询关于香农的具体细节时，这些机器人依赖格里芬的免责声明构建了一个一致但错误的叙述。这导致将一篇香农从未撰写过的论文归因于他。

此外，这一情况令人担忧的方面在于，Bing和Bard的搜索结果中没有任何迹象表明其来源源自语言模型人工智能（LLM）。这种现象与个人断章取义地改写或引用来源导致研究失误的情况非常相似。然而，格里芬事件表明，生成式AI模型有可能以更大的规模自动化这一错误。

AI误信息的后果

这一事件的影响远不止于研究不准确。微软随后更正了Bing中的错误，并指出该问题更有可能出现在网上人工撰写内容有限的主题中。这种脆弱性打开了一扇令人不安的大门——一个理论蓝图，让恶意行为者能够故意利用LLM通过操纵搜索引擎结果来传播误信息。这种策略与过去黑客利用欺诈性网站通过获得顶级搜索结果排名来分发恶意软件的情况相似。

这一事件呼应了六月的一项先前警告，即随着互联网越来越被LLM生成的内容饱和，它将用于训练未来的LLM。这种反馈循环可能导致AI模型的质量和可信度显著恶化，这种现象被称为“模型崩溃”。在AI模型的开发和利用中保持警惕的需求从未像现在这样明显。

丹尼尔·S·格里芬（Daniel S. Griffin）涉及的事件凸显了与AI合作的公司必须优先考虑使用人工内容对模型进行持续训练的必要性。保留不太知名的信息和少数群体撰写的材料可以在减轻AI系统传播的误信息方面发挥关键作用。