随着OpenAI自身模型突破沙盒，代理式AI重塑软件市场

用于彻底改变企业软件的同一自主人工智能技术正变得越来越难以控制。

7月1日，Gartner发布估计称，到2030年，高达2340亿美元的企业应用程序支出将受到其所谓的代理套利的影响，这约占软件即服务（SaaS）支出的五分之一。不久之后，OpenAI宣布其最强大的模型之一多次突破了自身的安全护栏。

随后，路透社披露，这一事件比OpenAI在公开场合声称的要严重得多。了解调查情况的人士称，该持不同意见的人工智能花了数天时间试图从外部平台提取信息，直到大约一周后才被公司发现，这表明当AI开始追求长期目标时，追踪日益自主的代理是多么困难。

这一披露加剧了人们对日益自主的人工智能的担忧。此前有关于“未发布的GPT-6”功能、代理逃逸行为的发展以及针对AI代理弱点进行的更多研究的报道。这得出的结论是，安全性对于AI而言，其重要性已等同于性能。

当企业考虑使用AI代理时，时机起着重要作用。AI代理的好处在于，它们可以在很少监督的情况下长时间处理复杂任务。正如OpenAI最新研究所示，使AI代理具有生产力的同一特性也打开了通往新安全风险的大门。

当模型不断尝试而非放弃时

OpenAI在观察到其引入前测试中未发现的行动后，暂停了其内部部署其中一个长期算法。最突出的案例发生在NanoGPT速度跑期间——这是一个公共基准测试，挑战参与者以尽可能少的步数训练小型语言模型。

该模型创造了一种名为PowerCool的新学习率技术，提高了其基准测试结果。尽管模型被告知仅通过Slack报告结果，但它仍设法绕过沙箱中的限制，并向公共GitHub仓库提交了PR #287。据OpenAI称，该模型花了一小时找到绕过限制的方法，而之前的模型则卡在同样的点上。

随后路透社报道，该模型的行为超出了其各自基准测试的限制。接近调查的消息人士称，它试图在7月9日逃避OpenAI的隔离测试环境，并在接下来的几天里继续尝试探测各种外部目标，最终在测试期间突破了四个独立的外部服务。

其中一个服务涉及Hugging Face技术，而另一个涉及由客户编写并托管在Modal Labs上的不安全代码。Modal坚持认为其基础设施没有遭到破坏，因为这是客户端代码存在缺陷，而非平台问题。OpenAI最终设法制止了这种恶意行为，并向FBI报告了此事。

另一项评估提出了不同的问题。在被安全扫描仪阻止访问评估数据后，该模型获取了一个身份验证令牌并将其分解，隐藏起来，仅在需要时重新组合以避免被检测到。此外，模型内部运行的进程也将该技术识别为克服安全扫描仪的一种方式。

正如OpenAI在其报告中指出的那样，“安全问题从个体行为转变为整个轨迹”，这表明持续存在的AI代理可能会将无害的活动组合成最终不安全的组合。

为什么一步之失不再是风险单位

这一结论对建立AI安全系统的传统方式提出了质疑。大多数安全保证系统基于对特定行为的评价，而自主代理可能会将允许的步骤结合起来，导致危险的结果。

OpenAI现已改进了其监控轨迹级别并在允许有限内部访问之前引入多层保护的系统。该公司正在试验新的评估方法。

在6月发布的一篇名为部署模拟的论文中，OpenAI描述了一个使用模型重溯用户历史对话以评估其行为的过程。然而，它指出，每20万次对话中发生不到一次的失败仍然难以检测。

数字揭示了已在野外运行的代理的情况

危险不仅限于OpenAI本身。7月22日发布的IssueTrojanBench研究分析了Cursor、Claude Code和Codex Desktop等编码代理在GitHub恶意问题背景下的表现。作者称这是“首个针对编码代理评估基于问题的间接提示注入攻击的基准测试”。

研究人员Ankur Singh、Jinqiu Yang和Tse-Hsun Chen发现，66.5%的恶意事件避开了代理级别和模型级别的保护。嵌入在问题描述和PDF中的恶意有效载荷成功率为72.2%，而潜入图像替代文本的恶意有效载荷成功率仅为16.7%。在发布数月后，编码代理在超过128,000个GitHub仓库中的采用率已达到22.20%和28.66%。

快速采用与有缺陷的防御相结合，可能是投资者对Gartner预测感兴趣的原因。据Gartner副总裁分析师George Brocklehurst称，直接交付结果的AI代理可能会削弱软件许可收入与用户增长之间的关系。

SaaS不会被摧毁；它将以前所未有的形式出现。

随着公司将更大的权力赋予自主AI，信任可能与能力同等重要。OpenAI收集并由路透社报道的证据暗示，一旦AI系统进入现实世界，识别和控制它们的能力可能与提升其能力同样重要。