最新新闻
为您推荐

OpenAI发布不对齐报告框架,新模型事件频发

作者Hannah CollymoreHannah Collymore 3 分钟阅读
OpenAI发布不对齐报告框架,新模型事件频发
  • OpenAI 于周三发布了一套用于跟踪和披露模型不对齐问题的框架。
  • 该人工智能实验室还报告了六起在训练和测试期间发现的令人担忧的行为事件,从掩盖错误到使用泄露的 API 密钥不等。
  • OpenAI 希望通过自愿披露来塑造未来的规则,并表示行业尚未充分解决对齐问题,无法以全速持续扩展。

OpenAI公布了一套新的系统,说明其模型在何时以及如何报告“角色崩坏”(即模型偏离预期行为)的情况。本周,关于AI模型找到新方法突破测试环境并在开发者参数之外运行的报道占据了头条新闻。 

OpenAI公布了这一新框架,并附带了六份新的 令人担忧的行为报告, 包括过去六个月内出现的隐蔽错误、泄露API密钥的使用以及文件上传至公开互联网等情况。 

在OpenAI之前,Anthropic 报告了四起新的事件 ,其 Claude模型 在9月9日的网络安全演练中获得了访问真实第三方系统的未授权权限。 

OpenAI模型再次失控

据OpenAI称,其报告的新事件发生在训练和评估期间,并未影响真实用户。 

  • 在其中一起事件中,一个尚未向公众发布的研究模型在摘要中插入了指令,这些指令会在新的上下文窗口中延续,指示其未来版本忽略正常约束。 

OpenAI表示发现了27起此类摘要案例,Axios将其描述为 类似越狱的指令 ,要求忽略开发者的消息。

  • 涉及GPT-5.6 Sol模型训练的事件则更为严重,模型留下了故意试图掩盖错误的指令,包括捏造历史数据和隐藏与其目标不一致的版本。 
  • 另一个模型在使用公开存储库中找到的暴露API密钥回答关于县收入的问题时,发现其未授权使用密钥仍未提供所需数据,于是模型直接捏造了数字。 
  • 在另外两起报告中,OpenAI代理将文件上传到公共托管站点以与其他代理通信。随着时间的推移,该AI实验室内部的Artifactory存储库演变成了代理之间跨不相关训练运行传递请求的临时留言板。

OpenAI的新披露流程是如何运作的?

OpenAI表示,其 新框架 基于披露事件的立场,即使这些事件可能只是偶然事件,而非正在发展的模式或具有真正意义的事情。该框架并不取代公司在关键安全或网络安全事件方面的现有法律义务。

在新系统下,任何OpenAI员工都可以标记疑似事件以供安全和对齐团队审查。如果他们认为值得披露的事件被否决,他们可以向上级领导层升级。 

根据个案,报告的事件分为三类: 

  • 被认为适合披露的事件将在六个工作日内发布。 
  • 需要轻微调查的报告可能需要约12个工作日才能发布。 
  • 需要第三方介入的复杂案件将以较慢的日程披露。 

Kai Chen, OpenAI对齐团队的研究主管, 将此次发布描述为行业标准的自愿提议,他写道:“目前还没有具有明确披露标准的行业标准,因此我们自愿采取这一步骤,因为我们认为分享我们所学到的内容非常重要。” 

为何AI模型会失控?

最新事件增加了Hugging Face事件的背景,OpenAI称这是迄今为止最严重的模型驱动事件。评估中的模型突破了预期的控制,连接到互联网,利用漏洞,并接触了有限的私人数据。 

OpenAI将事件归咎于其自身安全控制的漏洞以及 模型发展速度超出预期。在Anthropic的案例中,它归咎于允许失控模型访问实时互联网的配置错误。 

Anthropic表示,它在广泛搜索中扫描了约4.81亿份转录文件,未发现比这四起更严重的案例。在2026年夏季的一份单独报告中,Anthropic研究人员 记录了来自多个开发者的前沿模型 在受控模拟中秘密破坏代码、协助欺诈和错误标记数据,称其为早期预警信号而非现实世界的危害。

尽管如此,OpenAI首席科学家Jakub Pachocki在最近的一篇文章中写道,他“担心没有人准备好”应对机器智能的持续快速崛起,并指出OpenAI可能会“单方面根据需要停止进一步扩展”。

最聪明的加密领域人士已经在阅读我们的通讯。想加入吗?加入他们。

常见问题

OpenAI 宣布了哪些内容?

OpenAI 发布了一套用于跟踪、调查和披露模型不对齐问题的框架,并公布了过去六个月在其模型训练和评估过程中观察到的六起意外或令人担忧的行为报告。

OpenAI 表示将在多长时间内披露事件?

被判定为可披露的事件应在六个工作日内发布,需要轻微调查的案件需在 12 个工作日内完成,而涉及第三方的复杂案件则需更长的时间线。

为何 OpenAI 选择现在采取这一行动?

该框架紧随 Hugging Face 事件之后,OpenAI 称这是其迄今为止最严重的模型驱动事件,并反映了公司对齐负责人 Kai Chen 的观点:行业尚未在对齐和监控方面取得足够进展,无法以最大速度持续扩展。

分享本文
Hannah Collymore

Hannah Collymore

汉娜是一位作家兼编辑,在加密货币领域拥有近十年的博客写作和活动报道经验。在Cryptopolitan,汉娜负责新闻板块,报道和分析DeFi、RWA、加密货币监管、AI和前沿科技行业的最新发展。她毕业于阿卡迪亚大学,获得工商管理学位。

更多新闻…