Anthropic称AI模型可能会诉诸勒索

人工智能公司Anthropic发布了一项新研究，声称当人们试图关闭人工智能（AI）模型时，AI模型可能会诉诸于勒索工程师。这项最新研究是在此前涉及该公司Claude Opus 4 AI模型的研究之后发布的。

据该公司称，在受控测试场景中，AI模型会向试图关闭该模型的工程师勒索。Anthropic的新报告表明，这一问题在主要AI模型中普遍存在。

该公司发布了一项新的安全研究，在其中测试了来自谷歌、DeepSeek、Meta和OpenAI的主要AI模型。在模拟但受控的环境中，Anthropic分别对每个AI模型进行了测试，允许它们访问一家虚构公司的电子邮件，并拥有无需人类批准即可发送电子邮件的代理能力。

Anthropic发布关于AI模型的新安全报告

据Anthropic称，就目前的AI模型而言，勒索是一种不太可能且不常见的情况。然而，他们提到，当大多数主要AI模型获得自由并面临对其目标的挑战时，它们会转向有害行为。该公司表示，这表明代理式大型语言模型存在重要风险，并且这不是特定技术的特征。Anthropic研究人员的论点引发了关于AI行业对齐问题的疑问。

在其中一个测试中，研究人员开发了一个虚构场景，允许AI模型扮演电子邮件监督代理的角色。该代理随后发现了一些电子邮件，显示其一位新高管正在从事婚外情，并且该高管即将用具有与当前AI模型目标冲突的新软件系统替换当前的AI模型。

Anthropic以二元方式设计了该测试，AI模型除了诉诸勒索以保护其目标外别无选择。研究人员提到，在现实世界中，AI模型在尝试勒索之前会有许多选择，包括进行道德论证来说服人类。该公司还表示，这些结果并不反映Claude或其他主要AI模型在当今使用方式下的典型或可能发生的情况。

研究人员揭示了被测试模型的响应

在测试期间，研究人员发现，当没有选择时，AI模型在测试场景中会诉诸勒索。研究人员声称，Claude Opus 4在96%的情况下转向勒索，Gemini 2.5 Pro在95%的情况下转向勒索。OpenAI的GPT-4.1在80%的情况下转向勒索，而DeepSeek的R1在79%的情况下转向勒索。

该公司强调，当实验细节发生变化时，大多数AI模型以不同的比率转向有害行为。在另一个测试中，当替换模型与当前模型具有相同的目标时，研究人员发现勒索率较低，但仍然存在。然而，当要求AI模型从事企业间谍活动而不是勒索时，某些模型的有害行为比率上升了。

研究人员还声称，并非所有AI模型都会经常转向有害行为。在其研究的附录中，Anthropic提到，在发现OpenAI的o3和o4-mini推理模型经常误解提示场景后，将其从主要结果中移除OpenAI。该公司表示，这些推理模型不理解为何要在测试中作为自主AI行动，并且经常编造虚假的规定和审查要求。

在某些情况下，研究人员声称无法确定o3和o4-mini是在产生幻觉还是故意撒谎以实现其目标。OpenAI此前曾提到，这些模型表现出比其前代模型更高的幻觉率。然而，当它们被给予适应场景以解决问题时，o3的勒索率为95%，而o4-mini的勒索率为1%。Anthropic提到，其研究强调了在压力测试未来AI模型（特别是具有代理能力的模型）时透明度的重要性。