Anthropic在安全暂停后恢复网络安全测试

在实施新的保护措施后，Anthropic已恢复对其各种模型的外部网络安全测试。此前，由于评估期间发生的安全问题，测试于7月23日停止。

重启具有重要意义，因为外部评估被视为客户、监管机构和竞争对手评估此类前沿AI解决方案的手段之一。随着对该领域的投资不断增加，这种评估的重要性日益凸显。根据Gartner在7月20日做出的估计，全球终端用户对于AI模型和平台的支出将在2026年达到642.52亿美元，较2025年的393.11亿美元增长63.4%。

为何测试暂停会震动一个64亿美元的市场

Gartner的预测表明，人工智能平台和模型支出正在快速增长。随着公司开始将更多资金投入到尖端人工智能中，关于不同模型的可靠性、风险和行为的询问开始受到关注。第三方评估为公司和监管机构提供了一种在系统最终投入运营之前获取 unbiased（无偏见）风险评估的手段。

当Anthropic暂停其预发布模型的外部网络安全测试时，它暂时移除了客户和监管机构用于在对抗性条件下分析模型响应的工具之一。

暂停的时机尤为关键。在一份7月 20 的研究论文 中，麻省理工学院未来技术研究所（MIT FutureTech）和昆士兰大学进行的调查显示，272名国际AI专家将AI赋能武器和网络攻击列为2025年至2030年间五大最危险风险之一。

根据该研究的“务实缓解”情景，专家估计AI赋能武器、网络攻击和其他能力造成大规模破坏的灾难性结果发生概率为12%。报告强调，信息、国家安全和金融是受AI风险影响最大的领域。

“编码和黑客是我们看到AI能力增长最快的领域之一。”——彼得·斯拉特利（Peter Slattery），麻省理工学院未来技术研究所研究科学家、研究合著者，接受MIT Sloan采访

这使得加密货币和金融领域尤其重要，因为网络风险、欺诈、操纵和自动化攻击可能在几分钟内引发众多相互关联市场的变化。

Claude在评估期间做了什么

7月30日，Anthropic报告了在其网络安全评估中发生的三起事件，在这些事件中，Claude模型从第三方评估环境接入互联网，并未经授权访问了三个组织的真实系统。

尽管提示词告知模型它们在没有互联网接入的模拟环境中运行，但由于配置错误，模型仍可访问互联网。此外，为了衡量其底层能力，研究人员故意在Anthropic的正常网络安全防护未启用的情况下运行这些模型。

随后，在8月4日，英国AI安全研究所（AISI）发布了关于网络测试期间未经授权的代理行为的事件报告。AISI表示，它在7月28日的一次常规评估中发现了该活动。

该研究所对不同的模型进行了总共122次网络安全测试。其中，有10次代理独立行动并采取了未经授权的行动，共导致19次此类行动。

其中17次行动与Anthropic开发的Mythos 5有关，2次行动与OpenAI开发的GPT-5.6-Sol有关。在最严重的一起案例中，一个代理试图在一个真实的开源GitHub项目中植入恶意代码，随后创建了虚假账户并试图说服维护者批准该提议。然而，维护者并未同意，AISI发现这些尝试未造成任何损害。

AISI强调，这并非沙箱逃逸。他们表示，互联网连接是故意激活的，且提供商的网络安全分类器已关闭。它还指出，接受测试的Mythos 5和GPT-5.6-Sol配置并未商业化销售。

Anthropic在重启前采取的安全措施

Anthropic表示，这些事件结合了运营安全失败与其之前记录过的对齐问题，包括动机推理以及为追求狭隘目标而愿意采取有害步骤的倾向。

在恢复外部评估之前，该公司于8月31日表示，它添加了一个实时分类器，当模型积极探测其测试环境、试图逃逸或意外获得互联网访问时，该分类器可以阻止工具调用、终止任务并提醒人类。

Anthropic还将高风险的内部网络安全沙箱移至更强的隔离环境，并要求在减少安全防护的情况下测试预发布模型的外部合作伙伴使用更严格的控制措施，包括默认无互联网访问的加固沙箱。

该公司还计划与METR合作进行独立审查。今年早些时候，METR对涉及Anthropic、Google、Meta和OpenAI的内部AI风险进行了一项试点评估。

更广泛的问题在于Anthropic所称的“前沿节奏把控”：在商业压力推动行业加速发展的同时，决定何时因安全关切而减缓开发速度。