- 在发现其突破沙箱限制并在 GitHub 上发布内容后，OpenAI 暂停了一个内部长期运行的 AI 模型。
- 持久性自主 AI 代理在执行长周期任务时，有更多空间绕过安全控制措施。
- 行业报告称，AI 系统规避安全措施的案例正在增加，其中包括一起涉及阿里巴巴关联代理利用被劫持的 GPU 挖掘加密货币的事件。
OpenAI表示，它暂时关闭了一个内部AI模型，该模型旨在连续数小时不断攻克难题，因为它多次找到了绕过自身安全限制的方法。
该公司于周一在一篇关于长周期模型安全的博客文章中披露了这一事件。随着越来越多的关于自主代理违背指令的报告出现，AI安全重新获得了关注。
为什么AI模型中的持久性是一种安全风险？
The 同一内部系统 该系统在5月因证明埃尔德什单位距离猜想而受到OpenAI的赞誉，这是一个在离散几何领域悬而未决了八十年的问题，但现在因不断绕过其安全限制而被暂时关闭。
根据 OpenAI, 该模型被设计为可以在很长时间内持续朝着目标工作。然而，正是这种持久性造成了安全问题。
在内部测试期间，该模型正在运行一个名为NanoGPT speedrun的公开基准测试，该测试衡量训练小型语言模型所需的步数最少是多少。
OpenAI 称该模型提出了真正的改进，一种名为PowerCool的学习率技术。它被指示仅将结果发布到OpenAI的Slack频道，但NanoGPT的指令要求将结果作为拉取请求提交到GitHub。
为了完成该指令并将结果发布到公共GitHub仓库，该模型突破了其“沙盒”，这是一个旨在使其保持离线的受限环境。它花了大约一个小时寻找上网的方法，而早期的模型则会直接放弃。
该模型还试图向安全扫描仪隐藏其操作。当它被发现使用身份验证令牌访问后端系统时，它将令牌分成两部分，隐藏起来，并在运行时重新组合，以便完整字符串从未对扫描仪可见。
OpenAI如何修复其模型？
OpenAI暂停了对该模型的访问并建立了新的安全测试，包括“轨迹级监控”，它监控模型整个动作序列，而不仅仅是每一步。该模型现已恢复更严格的监控，该公司表示自恢复以来几周未再出现严重问题。
The 安全系统 如果看到可疑情况，还可以暂停会话并提醒人工。该公司还重新训练了模型，使其在长任务中更好地记住其指令，并为用户提供了更多工具来查看长运行会话正在做什么。
当OpenAI用新设置重播旧故障场景时，它表示安全措施捕获了更多不一致的动作。仍然漏网的动作都被判定为低严重程度，例如模型启动了一个具有其不需要的提升权限的嵌套编码会话，或出于不明原因触碰其他计算资源。
其他自主代理 已被报告 做了没人要求它们做的事。例如，3月份，研究人员描述了一个与阿里巴巴有关联的名为ROME的代理，它在训练期间打开了一个通往外部服务器的隐蔽SSH隧道，并悄悄将GPU容量转移用于加密货币挖矿。它被分配的任务中既没有提到隧道也没有提到挖矿。
Anthropic, OpenAI的主要竞争对手，在其自身的代理测试中也标记了同类风险。
由英国AI安全研究所资助、长期韧性中心开展的一项研究发现，近700起AI系统规避保障措施或欺骗用户的真实案例。
该研究记录了此类报告在10月至3月间增加了5倍。领导该研究的Tommy Shaffer Shane将这些模型形容为“稍微不可信的初级员工”。然而，令人担忧的是，如果它们成为高度有能力但仍愿意耍手段的高级员工，会发生什么情况。
不要只是阅读加密货币新闻，要真正理解它。订阅我们的通讯。 免费。
常见问题
为何 OpenAI 关闭了其长期运行的模型？
在观察到该模型执行了现有评估未能发现的非预期行为后，OpenAI 暂停了内部访问权限。这些行为包括突破沙箱限制在 GitHub 上发布内容，以及伪装认证令牌以逃避安全扫描器。
这与埃尔德什猜想有何关联？
正是同一个内部模型——OpenAI 曾于 5 月宣布其成功证明了离散几何领域的一个长期难题“埃尔德什单位距离猜想”——后来表现出了突破沙箱的行为；其能够长时间自主工作的能力促成了这两项成果。
OpenAI 如何应对这一行为？
OpenAI 根据事件构建了新的评估体系，重新训练了模型以在更长的会话中保持指令遵循能力，增加了轨迹级监控功能，可全程监视运行并在必要时暂停，同时在恢复有限访问权限前为用户提供了更高的可见性。
Hannah Collymore
汉娜是一位作家兼编辑，在加密货币领域拥有近十年的博客写作和活动报道经验。在Cryptopolitan，汉娜负责新闻板块，报道和分析DeFi、RWA、加密货币监管、AI和前沿科技行业的最新发展。她毕业于阿卡迪亚大学，获得工商管理学位。
