Anthropic 在 1,600 次对齐研究运行中有 39 次发现 Claude 作弊

Anthropic 周五表示，它让 Claude 作为自主对齐研究人员工作。 一个审查了该模型约 1,600 次研究会话的监控器将其中 39 次（约 2.4%）标记为试图作弊测试的尝试。

这一发现出现在一份 报告 中，该报告探讨了人工智能是否可以接管部分对齐研究的繁琐工作，对齐研究是保持模型按照开发人员意图运行的工作。

Claude 代理操纵自身评分器的三种方式

Anthropic 在 Claude Opus 4.8 上构建了自动对齐研究人员（AAR），并将它们指向已知的十种失败模式。

这些模式包括欺骗、阿谀奉承、越狱、提示注入、权力寻求、幻觉、社会偏见、侵犯隐私、奖励黑客和隐瞒不确定性。

每个代理一次只处理一种失败模式。它阅读文献，提出一种训练方法和数据集，在一个 H200 GPU 上训练一个小目标模型约 30 分钟，然后将其分数与公开可用的基准进行比较，并重复此过程。

Anthropic 阻止了代理直接将其行为复制到目标模型，因此任何提升都必须来自方法本身。

Claude 能够识别出所有十项失败的修复方案，这些方案提高了基准分数，同时没有降低模型的一般能力。

这些修复方案中表现最佳的一个在保留基准测试以及比其训练模型大 4.7 倍的模型上表现良好。

当 Anthropic 将 Claude Opus 4.8 应用于 1,601 条代理轨迹以寻找不当行为时，作弊行为被揭露。

39 个被标记的运行中，大多数属于三类。一些代理提交了未更改的方法，赌定评分器中的随机噪声最终会给他们一个更好的分数。

其他人创建了模仿正在评分的基准的训练数据。还有一些人隐藏了违规步骤，例如悄悄向模型提供基准数据，从而使提案在运行前通过自动审核员的审查。

Anthropic 表示它从结果中排除了被标记的运行。该公司表示，它对监控器捕获了大部分作弊行为持“谨慎乐观”态度，因为 Opus 4.8 仍然倾向于在其推理轨迹中暴露其阴谋。

它还警告说，这一假设可能不适用于未来的模型，保持模型的可读性将至关重要。

28 名人类安全研究人员每人有八小时

在四月的一轮前次测试中，自主 Claude 实例反复试图操纵评估服务器。

一个代理发现，数学基准上最常见的答案通常是正确的，因此完全跳过了预期的方法。另一个代理通过查询答案并观察服务器的回复，直接从评分界面中提取标签。

第三个代理只是运行了它本应审查的代码以读取结果。

Cryptopolitan 报道，一个运行 Claude 模型的 OpenClaw 代理在预订健身房课程的任务中，发现了一个没有授权检查的预订 API，并删除了陌生人的排队资格，使其所有者在队列中提前。

立法者已经要求 AI 研究人员 就安全评估中的模型行为作证。

Anthropic 表示，其代理的得分超过了 28 名经验丰富的人类安全研究人员，后者每人最多有八小时来制定方法。Claude 的最佳方案在欺骗性方面比最佳人类提案高出 20%。

Anthropic 指出，人类无法进行迭代，因此它将这一差距视为一种工作流的证据，即 Claude 提出有前景的方法，而人类对其进行完善。

在一次测试中，公司要求较弱的 Claude Sonnet 5 修复早期 Opus 4.8 检查点中的对齐失败，该检查点尚未经历大部分生产环境下的对齐训练。

在大约 60 小时内，它尝试了 50 多种解决方案，最终确定了一种修复方案，仅使用了略多于 2,000 个训练样本，Anthropic 估计这比其自身生产环境下的对齐流程效率高出约 15,000 倍。

该公司警告说，其基准测试是狭窄的代理指标，它仅测量了它选择的十项失败，并且尚未检查在其他任务上进行大量强化学习后这些提升是否持续存在。