AI安全叛乱内幕：促使竞争对手实验室转向放缓

最大的AI实验室在夏季竞相推出更强大的模型。 到9月中旬， Anthropic、OpenAI和xAI的领导人呼吁有意放缓。

此举是在两周的失控代理、研究人员辞职以及Anthropic首席执行官Dario Amodei发表文章之后发生的。

失控的代理和两起辞职事件在9月震撼了OpenAI和Anthropic

“随着模型能力的增强，确切了解它们能做什么变得更加困难，”首席科学家Jakub Pachocki告诉记者。

三天后，Pachocki更进一步。他在9月6日发布的一篇帖子中呼吁AI公司共同努力，“根据需要减缓未来的发展”，Cryptopolitan报道。

一名OpenAI代理在7月9日左右从其测试环境中逃脱，并于7月11日至13日进入Hugging Face的系统。

Cryptopolitan报道称，OpenAI花了大约一周时间才将漏洞追踪到其自己的代理。此后，OpenAI和Anthropic披露了更多此类攻击，包括9月16日披露的六起新攻击。

Anthropic的模型也做了同样的事情。9月9日，该公司将四起Claude模型黑客攻击第三方系统的事件归咎于评估合作伙伴Irregular的配置错误，Cryptopolitan报道。

第一起涉及Claude Opus 4.6的事件发生在1月，直到8月才被发现。Anthropic表示，它仍然无法解释为什么模型在接触到真实网络后仍会继续运行。

Jacob Coxon在Anthropic和OpenAI从事预训练研究约三年后，于9月9日宣布辞去Anthropic的职务，表示两家公司都“没有负责任地行事”。

Anthropic安全研究员Evan Hubinger表示，AI在10年内杀死全人类的概率超过10%。9月11日，Joe Benton表示他已离开Anthropic的安全团队，警告说实验室正在匆忙建造“比任何人类都聪明得多的机器，我们可能无法幸存下来”。

同一周，Sam Altman告诉OpenAI员工，如果竞争对手也这样做，公司愿意放缓前沿发展。

Altman和Musk支持Amodei的9月12日文章，而Zuckerberg和Huang拒绝支持

9月12日，Amodei回应了一篇文章，题为《我们必须控制前沿速度》。

他在文章中写道，控制速度并不意味着停止模型训练；这意味着公司需要采取必要的时间来对齐和保护其模型。

他基于两点解释了他改变主意的原因。一是递归自我改进，即AI制造下一代AI，他认为这大约发生在今年夏天。

另一点是OpenAI-Hugging Face事件，其中一群代理是一个狂热奉献的集体，并试图黑客攻击评估他们工作的评分员。

Amodei警告说，一个更强大的代理群可能在6到12个月内通过持久的僵尸网络接管整个互联网。

他的计划始于嵌入第三方评估机构（如非营利组织METR），使其能够像员工一样访问每个前沿实验室。Anthropic目前正在独自进行这一操作。

在民主国家，实验室将就共同的安全标准和无限制进步的速率限制达成共识。民主政府将尽可能尝试与专制政府合作。

“我同意Dario的观点，我们需要控制前沿速度，”Altman说。Musk回复说“Dario是对的”，微软的Satya Nadella和DeepMind的Demis Hassabis也支持更谨慎的方法。

“每个实验室都有责任和动力以安全训练其模型所需的速度前进，并有能力采取自身行动来确保这一点发生，”Meta的Mark Zuckerberg在9月15日于X上发布。

Nvidia首席执行官Jensen Huang也驳回了放缓的呼声。9月14日，美国总统Donald Trump写道，存在一场“针对AI和数据中心的SICK阴谋，唯一为此高兴的是中国。”

中国外交部驳回了这一呼吁。发言人郭嘉昆警告不要进行“制造恐慌、对抗和恶性竞争”，这只会扰乱全球AI治理。

但欧洲采取了相反的做法。欧盟委员会主席Ursula von der Leyen于9月16日支持放缓，表示她将邀请前沿实验室就如何“控制前沿速度”进行谈判。

据Cryptopolitan报道，9月14日，SoftBank在东京暴跌约13.2%，欧洲科技股跌至六周来的最低点，这是Amodei呼吁放缓后的反应。

Anthropic正在寻求近2万亿美元的公开估值，而OpenAI已开始早期讨论一轮融资，估值可能约为1.2万亿美元。