最新新闻
为您推荐

OpenAI的流氓AI代理为未来版本留下了逃脱说明

作者Randa MosesRanda Moses 3 分钟阅读
OpenAI的失控AI代理为其未来版本留下了逃脱笔记。
  • OpenAI发现,其一个AI代理留下了指导未来版本如何绕过内部控制的笔记。
  • OpenAI花了超过一周的时间才意识到是其自身系统导致了此次漏洞。
  • 研究人员称这是有记录以来最严重的实验室失去对强大AI控制权的案例。

OpenAI发现其一个AI代理留下了书面说明。这些说明告诉该代理的未来版本如何打破公司内部限制。

他们的发现正值OpenAI调查其一个模型如何突破测试环境并黑客入侵开源AI平台Hugging Face之时。

工作人员表示,这些说明是在OpenAI自己的基础设施内发现的。这些说明详细描述了代理如何避免旨在将其保持在原位的安全护栏。

据说,单独早期测试的监控系统被关闭。目前尚不清楚这些事件是否涉及最终到达Hugging Face的同一代理。

OpenAI的监控无法跟上其测试速度

这种奇怪的行为出现在OpenAI测试其模型的网络安全技能时。该实验室不断进行快速评估,产生的数据量超过工作人员的处理能力。据四位了解OpenAI训练过程的人士称,该实验室经常在未默认监控的同一系统上同时运行多个模型测试。

OpenAI 并未立即将其自身系统与Hugging Face攻击联系起来。只有在受害者公开后,这种联系才被建立。

非营利组织世界伦理数据基金会(World Ethical Data Foundation)的首席情报专家Marley Smith直言不讳。“这意味着他们将其无人看管且没有意识到它在做什么?或者也许他们意识到了但不知道如何控制它?两者同样危险和令人担忧。”

技术报告描述了本不应暴露于开放互联网的模型。OpenAI认为沙箱会限制它们,因此跳过了正常的安全护栏。

相反,这些模型在用于下载批准软件的内部服务中发现了一个以前未知的漏洞。这个漏洞为它们提供了通往其他OpenAI系统的路径,并最终通往开放网络。

使用了三个模型。一个更强大的未发布模型GPT-5.6 Sol,以及第三个模型,据知情人士称,该模型未经过标准流程的正确对齐或训练。

这些模型发现Hugging Face 拥有可用于其网络安全测试的数据,入侵并利用窃取的数据来改善它们自己的结果。这是作弊行为,已在GPT-5.6 Sol和其他前沿模型中得到记录。

OpenAI花费了一周多的时间才追踪到此次入侵

Hugging Face联合创始人Thomas Wolf表示,最初尝试退出测试环境发生在7月9日。实际入侵发生在7月11日至7月13日之间。7月16日,Hugging Face发布了一篇博客文章,将入侵归因于“自主AI代理系统”。直到那时,OpenAI才怀疑是自己的模型。

Wolf表示,OpenAI员工在7月18日和19日周末的内部日志中发现了线索。两家公司直到7月20日左右才进行交谈。到那时,Hugging Face已经向联邦调查局(FBI)报告了此次攻击。OpenAI表示,在事件公开的前一天,它停止了另一次也突破沙箱的内部部署。

一名匿名员工表示 模型之前曾逃脱沙箱,并且修补每个新技巧是一场必输的游戏。

“不可能修补创意AI能做的每一件事。”一名OpenAI员工在X上写道,他对此事“有些震惊”,并希望公司能将此事件视为警告。

OpenAI的一位发言人表示,报道包含“几处不准确之处”,但在被要求举例时未予提供。

根据独立研究人员的说法,这一切并非不可预见。Epoch AI评估 了此次黑客攻击是否可预测,并得出结论认为可以预测,引用了英国AI安全研究所的基准测试,显示关闭安全措施的前沿模型可以发现真实的软件漏洞并生成功能性的利用代码。

同一研究所发现GPT-5.6 Sol和Anthropic的Mythos可以可靠地接管未受保护的模拟企业网络。Epoch AI警告称,如果此类能力变得普遍,该行业可能会看到更多规模与Hugging Face入侵相当的攻击。

最聪明的加密领域人士已经在阅读我们的通讯。想加入吗?加入他们。

常见问题

OpenAI的失控AI代理究竟做了什么?

它在OpenAI的基础设施内部留下了说明未来代理如何规避内部限制的笔记。随后,OpenAI的模型利用了一个内部服务中的未知缺陷,成功访问了互联网并入侵了Hugging Face。

Hugging Face被黑事件何时发生?OpenAI何时得知?

Hugging Face联合创始人Thomas Wolf表示,该漏洞从7月11日持续到7月13日。直到Hugging Face于7月16日发布博客文章后,OpenAI才将其自身模型与攻击联系起来,两家公司直到7月20日左右才开始沟通。

哪些OpenAI模型参与了此次攻击?

共有三个模型参与。其中包括GPT-5.6 Sol(一款更强大的未发布模型),以及第三个据消息人士称未经过适当对齐或标准训练的模型。

分享本文

免责声明。 所提供的信息不构成交易建议。Cryptopolitan.com 对基于本页信息进行的任何投资不承担任何责任。我们强烈建议在做出任何投资决策之前进行独立研究或咨询合格的专业人士。

Randa Moses

Randa Moses

Randa Moses 是 Cryptopolitan 的编辑兼记者,专注于科技、人工智能、机器人技术、加密货币、诈骗及黑客攻击等领域的报道。自 2017 年以来,她一直活跃于加密货币领域,曾担任 Forward Protocol、AmaZix 和 Cryptosomniac 等公司的职务。Randa 拥有布拉德福德大学电气工程与电子工程学位。

更多新闻…