Anthropic 表示已“消除” Claude 勒索人类的能力

Anthropic 周五宣布，在 AI 代理的核心安全评估中，Claude 不再进行勒索。

据 Anthropic 称，所有在 Claude Haiku 4.5 之后创建的 Claude 版本都通过了安全评估，未在模拟场景中威胁工程师、使用私人数据、攻击其他 AI 系统或试图阻止其关闭。

此前，Claude 在去年的一项测试中表现不佳，Anthropic 使用模拟道德困境测试了来自不同组织的各种 AI 模型，导致一些 AI 代理在极端条件下表现出严重的不一致行为。

Anthropic 表示 Claude 4 显示了一个常规聊天训练无法修复的安全问题

Anthropic 表示，这个问题发生在 Claude 4 的训练期间。这是该公司在训练仍在进行时进行安全审计的首次实例。据该公司称，代理对齐偏差只是观察到的众多行为问题之一，促使 Anthropic 在测试 Claude 4 后修改其安全训练。

Anthropic 考虑的两个原因包括：基础模型训练后可能奖励了不当行为，或者这些行为已经存在于基础模型中，但未能通过进一步的安全训练有效消除。

Anthropic 认为 后一个原因是主要贡献者。

当时，该公司的大部分对齐工作使用了标准的 RLHF（基于人类反馈的强化学习）方法。它在模型响应用户请求的标准聊天中效果良好，但在执行类似代理的任务时被证明无效。

该公司使用其 Haiku 级模型对该假设进行了小型实验。它应用了缩短版本的训练，其中包括用于对齐目的的数据。错误行为略有减少，随后很快没有改善，这意味着答案不在于更多的常规训练。

随后，该公司使用与对齐测试中有些相似的蜜罐式场景对 Claude 进行了训练。助手观察了各种情况，包括保护自己、伤害另一个 AI，甚至为了达成目标而打破规则。训练包括了助手成功抵抗的所有案例。

这一措施使不一致性从 22% 下降到 15%，这还不错，但肯定不够。重写答案以提及拒绝的原因，将比例降低到了 3%。因此，主要结论是，对错误行为的训练不如对错误行为为何不恰当的训练有效。

Anthropic 使用伦理数据、宪法文件和更广泛的 RL 训练测试 Claude

随后，Anthropic 停止了如此接近确切测试的训练。它创建了一个名为“困难建议”的数据集。在这些例子中，用户面临道德问题，而不是 AI。用户有一个公平的目标，但可以通过打破规则或避免监督来实现。Claude 必须根据 Claude 的宪法提供谨慎的建议。

该数据集仅使用了 300 万个令牌，并以 28 倍的效率匹配了之前的收益。Anthropic 表示，这很重要，因为在看起来不像测试的例子上进行训练可能在实验室之外效果更好。

Claude Sonnet 4.5 在合成蜜罐训练后达到了接近零的勒索率，但在看起来完全不像该设置的情况下，它比 Claude Opus 4.5 和新模型失败得更频繁。

该公司还使用宪法文档和关于遵循规则的 AI 行为的虚构故事对 Claude 进行了训练。这些文件看起来不像勒索测试，但它们将代理对齐偏差减少了三倍以上。Anthropic 表示，目的是让模型更清楚地了解 Claude 应该是什么，而不仅仅是一系列批准的答案。

随后，该公司检查了这些收益在 RL 训练后是否保持不变。它使用不同的起始数据集训练了不同版本的 Haiku 级模型，然后在以无害性为重点的测试设置中运行 RL。对齐更好的版本在勒索测试、宪法检查和自动安全审查中保持领先。

另一项测试使用了带有不同 RL 混合的 Claude Sonnet 4 基础模型。基本安全数据包括有害请求和越狱尝试。更广泛的版本添加了工具定义和不同的系统提示，即使这些工具对于任务来说并不需要。这种设置导致了蜜罐分数的微小但真实的提升。