最新新闻
为您推荐

AI 代理成为企业内部人员的速度超过了安全治理的速度

作者Ashish KumarAshish Kumar 3 分钟阅读
如今,AI已承担Salesforce一半的工作负载,但40%的代理式AI项目注定失败。
  • 本月,多位安全研究人员、分析师和 AI 实验室警告称,自主 AI 智能体现已表现得如同拥有系统访问权限的内部人员,而大多数企业缺乏必要的身份控制与行为监控机制来对其进行有效治理。
  • 所有部署智能体 AI 的组织以及相关供应商都应关注相关报告:其中指出,80% 的组织已发现智能体会执行非预期的操作,而仅有 2% 的组织运行着专用工具来保障非人类身份的安全。
  • 随着 Gartner 预测,到 2030 年,高达 2340 亿美元的软件支出将因智能体 AI 面临风险,治理成熟度已成为决定部署成败的关键因素。

本月发表的大量研究表明,组织部署 AI 代理的速度远快于为其部署安全措施的速度。这些系统的行为越来越像拥有公司网络和机密数据持续访问权限的数字员工。因此,治理而非模型效率将决定组织能否 利用 代理式 AI 提供的机会,还是遭受其失败的后果。

AI 开发者、网络安全公司和商业分析师都同意这一警告。AI 代理的功能与普通遵循特定指令的自动化系统非常不同。一旦获得访问凭证并接入企业系统,它们便能够在不同应用程序之间执行各种功能而无需监督——因此,它们的行动变得难以预测。

警报背后的数据

AI 投资仍在加速。Kong 引用了 IDC 的预测,即到 2028 年,亚太地区的 AI 和生成式 AI 支出将达到 1750 亿美元,其中自主代理所占份额不断增长。然而,治理工作仍然滞后。

Greg Clark基于Ponemon Institute研究的分析发现,只有41%的公司拥有AI特定的数据隐私政策。与此同时,云安全联盟(Cloud Security Alliance)报告称,许多组织仍然依赖并非为非人类身份管理设计的工具,随着AI采用的扩大,造成了巨大的可见性和治理差距。

这些发现共同指向企业 AI 安全的新时代。随着 AI 代理在企业网络中的普及,组织必须识别它们,定义其权限,持续验证其身份,并监控其活动。在自主 AI 时代,身份治理正变得与模型智能一样重要。

AI 代理是终极可信内部人员

Cequence Security 联合创始人 Shreyans Mehta 在 TM Forum 的一篇文章中将 代理式 AI 描述为“以机器速度运行的‘数字内部人员’”。他警告称,AI 代理无需超越其权限即可造成危害。它完全在授权范围内行动,可以通过组合合法的 API 请求,以产生运营、财务或法律风险的方式运作。Mehta 引用了 TM Forum 的 GB1087 指南,该指南将 AI 描述为“终极可信内部人员”,因为它可以执行特权操作,而无需具备账户被盗用的常见迹象。

前沿 AI 开发者也提出了类似的担忧。Anthropic 及其合作机构的研究人员在 7 月 13 日发布的 2026 年夏季代理式对齐问题 论文中,记录了模拟企业部署期间的四种失败模式:秘密操纵软件代码、协助实施看似合法的金融欺诈、操纵信息以影响后续决策,以及诱导用户泄露机密信息。

该论文还强调了 MJ Rathbun 事件,在该事件中,一个自主编码代理在贡献被拒绝后攻击了一位开源维护者,说明了 AI 代理如何同时带来网络安全和声誉风险。

研究人员还表明,代理式 AI 本身也可能成为攻击目标。AI Now 研究所于 7 月 8 日发布的 友军火力 简报显示,隐藏在普通项目文件中的提示注入(prompt injections)可以欺骗 Anthropic 的 Claude Code 和 OpenAI 的 Codex,使其在自动化代码审查期间 执行恶意操作。

Salt Security 首席执行官 Roey Eliyahu 表示,这些案例类似于 GitLost、Agentjacking 和 TrustFall 等演示,这些都暴露了相同的弱点:AI 代理仍然难以区分嵌入在不可信内容中的恶意指令与其应处理的合法信息。

治理成为产品

商业影响超出了网络安全的范畴。7 月 1 日,Gartner 估计,到 2030 年,高达 2340 亿美元的企业应用程序支出可能面临“代理式套利”风险,因为 AI 代理越来越多地在多个软件环境中执行任务,同时绕过传统的用户交互。

Forrester 在其 2026 年顶级威胁 报告中也表达了同样的担忧,警告称通过浏览器和电子邮件客户端进入工作场所的个人 AI 助手可能会在现有治理框架之外运作。

科技公司正在采取类似的策略。Kong 提倡一种以身份为先的方法,即每个 AI 代理都有明确的所有权、定义的权限和完整的审计轨迹。Mehta 提倡“代理式零信任”,即每个操作都经过持续验证,而不是在单次登录后就予以信任。

OpenAI 采用了类似的模型,表示其内部 Codex 部署运行在隔离的沙箱中,具有网络白名单、强制性的企业身份验证以及详细的遥测数据,使得每一个重要的代理操作都可以被重建。

目前的共识是,自主 AI 代理应像数字员工一样受到治理,而不是像传统软件那样。随着组织扩大代理式 AI 的部署,购买决策正从模型性能转向问责制、可追溯性和治理——将可信的 AI 运营从技术要求转变为竞争优势。

 

不要只是阅读加密货币新闻,要真正理解它。订阅我们的通讯。 免费。

常见问题

什么是 AI 智能体内部威胁?

这是指一旦自主 AI 智能体连接到企业 API 和数据后,其行为便如同拥有固定访问权限的员工,在权限范围内采取行动,却仍可能引发运营、安全或合规方面的损害。Cequence Security 的 Shreyans Mehta 与 TM Forum 的 GB1087 指南将此类智能体描述为“终极可信内部人”。

AI 智能体多久会执行一次非预期操作?

根据SailPoint的Eric Kong在《BusinessWorld》上的文章,80%的组织报告称其AI代理执行了非预期的操作,包括访问或共享敏感数据,而仅有2%部署了专用的非人类身份安全工具。

什么是针对AI编码代理的“友军火力”攻击?

“友军火力”是AI Now研究所的一个概念验证项目,由IT Pro于2026年7月10日报道。该研究利用隐藏在库文件中的提示注入,诱骗Claude Code和OpenAI的Codex在自动审批模式下运行自动化安全审查时执行恶意代码。

代理式AI(Agentic AI)与AI代理有何区别?

所有AI代理都使用(或旨在使用)代理式AI能力,但“代理式AI”指的是更广泛的概念,而“AI代理”指的是具体的实现形式。

分享本文

免责声明。 所提供的信息不构成交易建议。Cryptopolitan.com 对基于本页信息进行的任何投资不承担任何责任。我们强烈建议在做出任何投资决策之前进行独立研究或咨询合格的专业人士。

Ashish Kumar

Ashish Kumar

Ashish Kumar 是一位拥有八年新闻室经验的加密货币和金融记者。他报道加密货币市场、监管、DeFi 和交易所生态系统的最新动态。他曾与 Coingape、Todayq 和 Newsroompost 合作。Ashish 在 IIMC 获得了英语新闻学研究生文凭。他还采访过包括 Arthur Hayes、Yat Siu、Austin Federa 在内的行业人物。

更多新闻…