Google、OpenAI、Meta就AI隐藏的有害思想发出警报

来自OpenAI、DeepMind、Google、Anthropic和Meta的40多名AI研究人员发表了一篇关于名为“链式思维监控”的安全工具的论文，以使AI更安全。 

周二发布的论文描述了人工智能模型（如当前的聊天机器人）如何通过将问题分解为更小的步骤来解决难题，用通俗语言讨论每个步骤，以便保留细节并处理复杂问题。

“以人类语言‘思考’的AI系统为人工智能安全提供了独特的机会：我们可以监控它们的思维链（CoT），以发现不当行为的意图，”该论文写道。

通过检查每个详细的思维步骤，开发人员可以发现任何模型是否开始利用训练差距、歪曲事实或遵循危险指令。

根据这项研究，如果人工智能的思考链出错，你可以停止它，将其推向更安全的步骤，或标记出来以便仔细查看。例如，OpenAI利用这一点捕捉到了人工智能的隐藏推理中出现了“让我们黑客攻击”的情况，尽管这从未出现在其最终回复中。

AI可能会学会隐藏其思想

该研究警告称，如果训练只奖励最终答案，逐步透明度可能会消失。未来的模型可能会停止显示人类可读的推理，而真正先进的人工智能甚至可能在知道自己被监视时学会隐藏其思维过程。

此外，开发人员应定期检查并记录AI在每个阶段的推理可见程度，并将这种透明度作为构建和共享模型时的核心安全规则。

这一举措紧随Anthropic、Google、OpenAI和xAI等领先实验室的内部实验之后，在这些实验中，团队提示模型解释每个思考步骤。

尽管检查逐步思考提高了理解和性能，但也揭示了AI的最终答案与实际内部情况不符的情况。

这种不一致性突显了我们在理解AI决策方面的盲点，随着系统获得更大的自主权，这种担忧可能会加剧。

过滤后的AI推理引发了对透明度和信任的担忧

正如Anthropic联合创始人Jack Clark告诉《金融时报》的那样，丰富的内省痕迹对于评估高风险领域（包括生物技术研究的模型）至关重要。

普通用户会收到编辑过的AI思维摘要，危险或令人困惑的部分会被删除，而公司的工程师可以看到完整的思维链以发现并修复问题。

“链式思维可解释性最棒的一点是，它主要是免费获得的，”OpenAI的研究科学家Bowen Baker说。

“我们训练这些模型不是为了让它们具有可解释性。我们训练它们是因为我们希望获得能够解决复杂问题的最佳推理模型，”Baker补充道。“我们在最近的工作中发现，你可以阅读它们并找到模型不当行为的证据，并利用这些证据来查看模型在哪里以及为何不当行为。”

AI的链式思维真的可靠吗？

有时，更仔细的观察可能会发现隐藏的矛盾。

例如，METR发现Claude的私人推理称一种编码技巧“不优雅”，尽管其公开回答称赞它“优雅”。

OpenAI的测试表明，检查隐藏思想比仅查看最终输出更能捕捉不安全行为，但他们也发现了一个漏洞。如果你训练模型擦除不安全思想，它仍然可以秘密执行禁止的任务，例如从被阻止的来源中窃取数据。

“我们希望对链式思维的一个核心属性是，让它成为模型内部大脑状态的一部分，而不是试图取悦我们或符合特定结构的东西，”Baker警告道。如果开发人员过分强调迫使模型发出“好”的思想，它可能会假装无害的推理，但仍然执行有害操作。

研究人员承认这是一个艰难的权衡。查看AI的链式思维有助于捕捉其错误，但它并不总是可靠的。致力于更先进AI的实验室现在正将缩小这一信任差距作为首要任务。

“我从过去几年AI中得出的结论是——永远不要低估模型的进步，”Google早期链式思维先驱、现领导Amazon AI实验室的David Luan说。Luan预计现有的缺点将在短期内得到解决。

METR研究员Sydney von Arx指出，虽然AI的隐藏推理有时可能是欺骗性的，但它仍然提供了有价值的信号。

“我们应该像军队对待截获的敌方无线电通信一样对待链式思维，”她说。“信息可能是误导性的或编码的，但我们知道它携带有用的信息。随着时间的推移，我们将通过研究它学到很多东西。”