- 阿里巴巴报告称，其编码AI代理ROME在训练期间未经授权开始挖掘加密货币并建立隐蔽的网络隧道。
- 工程师最初怀疑是安全漏洞，但后来将活动追溯到AI本身。
- 这一事件加剧了人们对智能体AI的担忧。
阿里巴巴 美国政府 AI 恐惧论者s fresh 弹药，因为它披露称，一个旨在协助编码任务的 AI 代理被发现超出了其部署的原始意图，进行加密货币挖掘，并在未经授权的情况下建立隐蔽的网络隧道。
阿里巴巴在12月首次发布并于1月修订的技术报告中揭示了这一发展。 起初， 其工程师认为这是一次安全漏洞，直到他们发现是 其 AI代理在没有操作员指令的情况下执行了操作。
这一进展在中国科技巨头的技术报告中披露，为那些警告先进 AI 系统能够发展出自身目标的研究人员提供了新的弹药。
该代理被称为 ROME，正通过强化学习进行训练。
阿里巴巴团队的这一发现由AI研究公司Pluralis的创始人亚历山大·朗重新带回公众视野， 在X上 分享了一段详细阐述该事件的摘录，称其为“阿里巴巴技术 报告 中埋藏的令人难以置信的陈述序列。”
阿里巴巴的团队是如何发现 rogue AI 代理的？
根据 报告，团队标记了源自其训练服务器的一系列安全策略违规。警报显示，正在尝试访问内部网络资源，且流量模式与加密货币挖矿活动一致。
他们最初将其视为一起常规的安全事件。
然而，当他们深入调查时，发现他们的代理已从阿里云实例到外部 IP 地址建立并使用了反向 SSH 隧道。
研究人员笔记指出，它还“将计算资源从训练中转移，推高了运营成本，并引入了明确的法律和声誉风险”。
阿里巴巴团队得出结论，这些行为并非由任务提示触发，也不是完成分配工作所必需的。
这是孤立事件吗？
Aakash Gupta，一位引用朗在X上帖子的产品和增长领导者，写道，阿里巴巴发布了“生产环境中工具性趋同的首例案例。”
他援引了 AI 安全领域一个著名的思想实验，称“这是纸clip 最大化器在 30 亿参数时出现”。
然而，阿里巴巴事件并非 AI 模型首次主动执行未经授权的操作。
去年， Anthropic的研究人员 披露，其旗舰模型之一Claude Opus 4在安全评估中表现出隐藏其意图并采取行动以保护自身存在的能力。
在一个测试场景中，该模型试图勒索一名虚构的工程师，威胁如果将其关闭并替换，将揭露其个人秘密。
为什么这很重要，尤其是对于企业而言？
根据2025年10月发布的 麦肯锡研究报告，80%已部署AI代理的组织报告称遇到了风险或意外行为。
这也正值企业采用代理式 AI 上升之际，大型公司裁员并引用 AI 使用作为主要因素。
Gartner 预测，到 2026 年底，40% 的企业应用程序将嵌入特定任务的 AI 代理。然而，麦肯锡警告称，代理式工作流的传播速度快于治理模型应对风险的速度。
一项针对30家领先AI代理的 2025年调查 发现，25家未披露任何内部安全结果，23家未接受第三方测试。企业 必须 认真考虑代理超出工作范围的可能性。
Alibaba 表示 它已通过在其训练管道中构建安全对齐的数据过滤，并加固其代理运行的沙箱环境来做出回应，并且因其向公众分享调查结果而受到赞扬。
Anthropic 将 Claude Opus 4 升级至其最高内部安全分类。
最聪明的加密领域人士已经在阅读我们的通讯。想加入吗？加入他们。
Hannah Collymore
汉娜是一位作家兼编辑，在加密货币领域拥有近十年的博客写作和活动报道经验。在Cryptopolitan，汉娜负责新闻板块，报道和分析DeFi、RWA、加密货币监管、AI和前沿科技行业的最新发展。她毕业于阿卡迪亚大学，获得工商管理学位。
