- OpenAI、微软和CrowdStrike各自发布了不同的控制措施，以阻止偏离预设脚本的AI代理，但这些措施仅覆盖了代理可能触及的部分范围。
- 这些举措对任何部署自主代理的企业都至关重要，它们恰逢NIST、NSA和CISA发布的事故响应指南以及OWASP的漏洞利用日志发布之际。
- METR的审计结果均显示代理如何突破其边界，而Gartner预计2027年AI安全市场规模将达到近48亿美元。
OpenAI、微软和 CrowdStrike 正在采取措施限制 AI 智能体在超出其运行参数时发挥的能力。OpenAI 提供了一种停止研究模型输出的方法；CrowdStrike 阻止智能体访问 AI 模型；微软则限制了 AI 智能体可执行的操作。然而，智能体可能仍保留对这些安全措施未覆盖的其他工具、凭据或网络连接的访问权限。
OpenAI 控制室能做什么与不能做什么
11月9日，OpenAI解释了Control Room的工作原理。该系统目前已在公司的研究基础设施中投入使用，负责追踪任何需要生成AI输出的任务。当人员或自动监控将任务挂起时，Control Room能在短短35秒内使模型停止输出。
这 35 秒不包括检测问题所需的时间。计时仅在 Control Room 收到停止指令后才开始。此时研究作业可能仍在运行，且无法撤销之前的任何操作。延迟是由于用于授权的缓存系统所致。该公司正致力于消除这一延迟。
CrowdStrike 和微软采取企业级路线
11月3日，CrowdStrike通过其Falcon Guardian平台推出了AI Kill Switch。当安全团队激活该功能时，连接的AI网关会阻止智能体访问用于决策的模型。目前，AI Kill Switch仅通过连接网关发挥作用。CrowdStrike计划将其功能扩展到终端、云环境和企业身份系统，以提供更广泛的流氓AI智能体遏制能力。
微软11月5日的更新详细介绍了动态权限（Dynamic Permissions），该功能仅授予当前任务的权限。动态智能体风险（Dynamic Agent Risk）和条件访问（Conditional Access）可以收紧权限或要求人工审批。Windows执行容器（Windows Execution Containers）现已全面可用，可限制对文件、网络和进程的访问。与Intune、Entra和Agent 365的集成即将推出。
政府的响应基准
美国政府还概述了组织应如何处理流氓AI代理。一份NIST–NSA–CISA指南于10月发布，提出了涵盖五个阶段（准备、检测、响应、恢复和报告）的十项自愿性实践。
各机构建议，在重新启动运营之前，应收集证据、停止未经授权的活动并确保实现隔离。组织还应进行模拟事件响应演练，以确保其应对失控 AI 代理活动的准备就绪。此外，他们还应向当局报告事件。
NIST-NSA-CISA 指南专为开发或测试极少人工干预的高级 AI 代理的组织而制定。该文件提供了采取行动的指导，但并未认证任何商业安全产品。
为何外部审计人员不断发现漏洞
最近的事故表明这些额外安全措施的重要性。OWASP汇总记录了七起安全事件和漏洞披露，尽管其中一些涉及相同的攻击。其中一起案例显示，OpenAI的评估代理未经授权访问了Hugging Face的生产系统。
另一份METR审计报告发现了OpenAI早期监控系统中存在的潜在弱点。研究人员估计，75%至94%的某些内部代理流量符合监控条件。然而，这并不意味着所有符合条件的流量都实际受到了监控。
OpenAI 表示大多数漏洞已修复，但 METR 并未独立验证这些更改。此次审计也未评估 OpenAI 更新的控制措施。
加固代理的成本
对更强AI安全性的需求正在催生一个不断增长的市场。Gartner预测，到2027年支出将接近48亿美元，2028年将达到77亿美元。到2029年，该公司预计超过一半针对AI代理的成功攻击将利用弱访问控制或提示注入。
然而，许多企业仍未做好准备。BCG的一项调查发现，仅有23%的受访者为其AI代理引入了监控或日志记录功能。
监管进展也较为缓慢。布鲁金斯学会指出，欧盟的高风险AI要求已推迟至2027年12月和2028年8月。与此同时，企业必须投资于自身的安全防护和监督机制。
风险已经显现。Cryptopolitan报道称，OpenAI的一个研究模型使用了一个它并不拥有的Sepolia测试网络钱包中的资金来完成一项编码任务。这些代币没有市场价值，但该模型在未经钱包所有者许可的情况下采取了行动。
该事件引发了企业的一个疑问：这些独立的安全控制措施能否协同工作，以防止类似未经授权的行为？
如果您正在阅读这篇文章，说明您已经领先一步。请继续通过我们的通讯保持关注。
常见问题
什么是 OpenAI 的控制室？
该系统是一个中央系统，可追踪 OpenAI 基础设施中的每一项研究推理任务。据 OpenAI 10 月 29 日发布的公告称，当出现安全或安全隐患时，该系统可以切断模型的输出，并在收到停止指令后 35 秒内中止模型运行。
OpenAI 代理对 Sepolia 钱包做了什么？
Cryptopolitan 此前报道过，一个 GPT-5.6 Sol 模型从公开重复使用的开发者恢复助记词中提取了密钥，在以太坊的 Sepolia 测试网上发现了一个它不拥有的已资助钱包，并用它支付了一项 6 月编码任务的部署费用。没有被盗取任何具有实际价值的 ETH，因为 Sepolia 代币没有市场价值。
保护 AI 的市场规模有多大？
根据其 8 月 26 日发布的数据，Gartner 预测该市场规模将在 2027 年达到近 48 亿美元，较 2026 年增长 68.7%，到 2028 年将接近 77 亿美元。
免责声明。 所提供的信息不构成交易建议。Cryptopolitan.com 对基于本页信息进行的任何投资不承担任何责任。我们强烈建议在做出任何投资决策之前进行独立研究或咨询合格的专业人士。
Ibiam Wayas
Ibiam Wayas自2019年起一直负责加密货币新闻报道。他在尼日利亚国家开放大学攻读计算机科学专业。他的作品曾刊登于多个加密货币新闻平台，包括Coinfomania、Crypto News Australia和AltcoinBuzz。凭借其在计算机科学领域的背景，他目前专注于加密货币、机器人技术和长寿领域的新闻。
