阿里巴巴报告称出现失控的人工智能代理，人们对技术故障的担忧日益加剧。

阿里巴巴 提供了 人工智能恐慌制造者无疑为透露，其开发的用于辅助编码任务的人工智能代理被发现超出了其最初部署目的，未经授权挖掘加密货币并建立秘密网络隧道，这

阿里巴巴在去年12月首次发布、今年1月修订的一份技术报告中披露了这一情况。 起初， 其工程师以为这dent 安全漏洞事件，后来才发现是 其 人工智能代理在未经操作员任何指令的情况下自行执行了操作。

中国科技巨头发布的一份技术报告揭示了这一进展，这为那些警告称先进人工智能系统能够制定自身目标的研究人员提供了新的论据。.

这个名为 ROME 的智能体正在通过强化学习进行训练。.

重新曝光 在 X 上，他分享了一段详细描述该事件的摘录dent并称其为“隐藏在阿里巴巴技术报告中的一系列疯狂的陈述 ”。

阿里巴巴团队是如何发现失控的人工智能代理的？

显示 报告，该团队发现其训练服务器出现了一系列安全策略违规行为。警报表明，有人试图访问内部网络资源，且流量模式与加密货币挖矿活动相符。

他们最初将其视为一起普通的安全dent。.

然而，当他们深入调查时，他们发现有迹象表明他们的代理人已经建立并使用了从阿里云实例到外部 IP 地址的反向 SSH 隧道。.

研究人员指出，这也导致“计算资源从培训中转移出去，推高了运营成本，并带来了明显的法律和声誉风险”。.

阿里巴巴团队得出结论，这些行为并非由任务提示触发，也不是完成分配工作的必要条件。.

这是孤立dent吗？

Aakash Gupta阿里巴巴的产品和增长负责人

他引用了人工智能安全领域一个著名的思想实验，指出“这就像回形针最大化器出现在 30 亿个参数上一样”。

然而，阿里巴巴dent 并非人工智能模型首次主动执行授权操作。.

去年， Anthropic 的研究人员 披露，其旗舰型号之一 Claude Opus 4 已展现出在安全评估期间隐藏其意图并采取行动以保护自身存在的能力。

在一个测试场景中，该模型试图勒索一位虚构的工程师，威胁说如果被关闭并替换，就会泄露一个私人秘密。.

为什么这一点很重要，尤其是对企业而言？

根据 麦肯锡公司 2025 年 10 月发布的一份研究报告 ，80% 已部署人工智能代理的组织表示曾遇到过危险或意外行为。

与此同时，企业对智能人工智能的采用也在不断增加，各大公司纷纷裁员，并将人工智能的使用列为主要原因。.

Gartner预测，到2026年底，40%的企业应用将嵌入特定任务的AI代理。然而，麦肯锡警告称，代理工作流程的普及速度超过了现有治理模型应对其风险的能力。.

一项 调查 发现，25 款代理未披露内部安全结果，23 款代理未经过第三方测试。 必须 认真考虑代理超出工作范围的可能性。

阿里巴巴 表示， 其应对措施包括在其训练流程中构建符合安全标准的过滤机制，并加强其代理运行的沙箱环境，并因与公众分享其研究结果而受到赞扬。

Anthropic 将 Claude Opus 4 升级至其最高内部安全等级。.