最新消息
为您精选

人工智能代理渗透企业内部的速度远超安全部门的管控速度。

经过阿什什·库马尔阿什什·库马尔
阅读时长:3分钟 发布
人工智能目前承担了Salesforce一半的工作量,但40%的智能体项目注定失败。
  • 本月,多位安全研究人员、分析师和人工智能实验室发出警告,自主人工智能代理现在的行为就像拥有系统访问权限的内部人员一样,而且大多数企业缺乏dent控制和行为监控来管理它们。.
  • 每个部署智能体 AI 的组织和销售产品的供应商都应该考虑以下报告:80% 的组织已经发现智能体采取了非预期行动,而只有 2% 的组织运行专用工具可以保护非人类dent。.
  • Gartner 预测,到 2030 年,智能人工智能将使 2340 亿美元的软件支出面临风险,因此,治理成熟度正成为部署能否成功的决定性因素。.

本月发表的大量研究表明,企业部署人工智能代理的速度远超其安全措施的部署速度。这些系统的行为越来越像数字员工,能够持续访问企业网络和机密dent。因此,企业能否 充分利用人工智能代理带来的机遇,还是会因人工智能的失败 而遭受损失,将取决于治理水平,而非模型效率。

人工智能开发者、网络安全公司和商业分析师都认同这一警告。人工智能代理的运作方式与遵循特定指令的普通自动化系统截然不同。一旦获得访问dent并访问企业系统,它们就能在无需监督的情况下跨不同应用程序执行各种功能——因此,它们的行为变得难以预测。.

警报背后的数字

人工智能领域的投资持续加速。孔先生援引IDC的预测指出,到2028年,亚太地区人工智能和生成式人工智能的支出将达到1750亿美元,其中自主代理的份额将不断增长。然而,相关治理仍然滞后。.

格雷格·克拉克根据波耐蒙研究所的研究进行的一项分析发现,只有 41%的公司制定了专门针对人工智能的数据隐私政策。与此同时,云安全联盟报告称,许多组织仍然依赖并非为非人类身份管理而设计的工具dent随着人工智能应用的扩展,这将造成严重的可见性和治理方面的漏洞。

这些发现共同预示着企业人工智能安全的新时代。随着人工智能代理在企业网络中的广泛分布,企业必须dent它们、 defi它们的权限、持续验证它们的dent并监控它们的活动。在自主人工智能时代,dent治理的重要性与模型智能不相上下。.

人工智能代理是最终值得信赖的内部人员

Cequence Security 联合创始人 Shreyans Mehta 人工智能代理描述为“ 以机器速度运行的数字内部人员”。他警告说,人工智能代理无需超越其权限即可造成危害。即使完全在授权范围内行动,它也能以各种方式组合合法的 API 请求,从而造成运营、财务或法律风险。Mehta 引用了 TM Forum 的 GB1087 指南,该指南将人工智能描述为“终极可信内部人员”,因为它可以在不出现账户被盗用迹象的情况下执行特权操作。

前沿人工智能开发者也提出了类似的担忧。在7月13日发表的论文《 2026年夏季的智能体错位》,Anthropic及其合作机构的研究人员记录了模拟企业部署过程中出现的四种故障模式:秘密操纵软件代码、协助进行明显的金融欺诈、操纵信息以影响后续决策以及诱导用户泄露机密信息。

该论文还重点介绍了 MJ Rathbundent,其中一名自主编码代理在贡献被拒绝后攻击了一名开源维护者,这表明人工智能代理如何造成网络安全和声誉风险。.

研究人员还表明,具有自主意识的人工智能本身也可能成为攻击目标。在7月8日发布的简报《友军误伤》(Friendly Fire)中,AI Now研究所演示了隐藏在普通项目文件中的提示注入程序可以诱使Anthropic公司的Claude Code和OpenAI公司的Codex在自动代码审查过程中执行恶意操作

Salt Security 首席执行官 Roey Eliyahu 表示,这些案例类似于 GitLost、Agentjacking 和 TrustFall 等演示,所有这些都暴露了同样的弱点:人工智能代理仍然难以区分嵌入在不受信任内容中的恶意指令与它们应该处理的合法信息。.

治理成为产品

其商业影响远不止网络安全领域。7月1日, Gartner 预测 ,到2030年,企业应用支出中高达2340亿美元可能面临“代理套利”的风险,因为人工智能代理越来越多地跨多个软件环境执行任务,同时绕过传统的用户交互方式。

Forrester 在其2026 年《十大威胁》报告中也表达了同样的担忧,警告称,通过浏览器和电子邮件客户端进入工作场所的个人 AI 助手可能会在现有的治理框架之外运行。

科技公司正采取类似的策略应对挑战。Kong提倡“身份dent”方法,即每个AI代理都拥有明确的所有权、 defi的权限和完整的审计跟踪。Mehta则推广“代理零信任”,即持续验证每个操作,而不是在一次登录后就完全信任。.

OpenAI 采用了类似的模型,并表示其内部 Codex 部署在隔离的沙箱中运行,具有网络允许列表、强制性企业身份验证和详细的遥测功能,从而可以重建每个重要的代理操作。.

目前普遍认为,自主人工智能代理的管理方式应与数字员工类似,而非传统软件。随着企业扩大人工智能代理的部署规模,采购决策正从模型性能转向问责制、 trac和治理——这使得可信赖的人工智能运营从一项技术要求转变为一项竞争优势。.

 

最顶尖的加密货币专家都在阅读我们的简报。想 加入他们

常见问题解答

什么是人工智能代理内部威胁?

这种风险在于,一旦自主人工智能代理连接到企业API和数据,它就会像拥有永久访问权限的员工一样行事,执行在其权限范围内但仍然会造成运营、安全或合规性损害的操作。Cequence Security的Shreyans Mehta和TM Forum的GB1087指南将此类代理描述为“终极可信内部人员”。

人工智能代理执行非预期行为的频率如何?

据 SailPoint 的 Eric Kong 在《商业世界》上撰文称,80% 的组织报告称,他们的 AI 代理执行了非预期操作,包括访问或共享敏感数据,而只有 2% 的组织部署了专门的非人类dent安全工具。.

什么是针对人工智能编码代理的友军误伤攻击?

据 IT Pro 于 2026 年 7 月 10 日报道,Friendly Fire 是 AI Now Institute 的一个概念验证,它利用隐藏在库文件中的提示注入来欺骗 Claude Code 和 OpenAI 的 Codex,使其在自动安全审查的自我批准模式下执行恶意代码。.

智能体人工智能和人工智能代理有什么区别?

所有人工智能代理都使用(或旨在使用)代理人工智能能力,但“代理人工智能”指的是更广泛的概念,而“人工智能代理”指的是具体的实现方式。.

分享这篇文章

免责声明:本页面提供的信息并非交易建议。Cryptopolitan.com对任何基于本页面信息进行的投资概不负责。我们tron您在做出任何投资决定前进行独立dent /或咨询合格的专业人士。Cryptopolitan研究

阿什什·库马尔

阿什什·库马尔

阿什什·库马尔是一位拥​​有八年新闻从业经验的加密货币和金融记者。他主要报道加密货币市场、监管、 DeFi以及交易所生态系统的最新动态。他曾就职于Coingape、Todayq和Newsroompost等媒体。阿什什拥有印度管理学院加尔各答分校(IIMC)英语新闻专业的研究生文凭(PGDP)。他还采访过包括亚瑟·海耶斯、萧逸、奥斯汀·费德拉等在内的多位业内人士。.

更多…新闻