アリババが不正なAIエージェントを報告、技術的故障への懸念が高まる

Alibaba ホワイトハウスには関税停止のための官僚的手続き完了のために AI恐怖主義者s frコード作成タスクを支援するために開発されたAIエージェントが、配備の当初の意図を超えて行動し、暗号通貨をマイニングし、認可なく秘密のネットワークトンネルを確立したと報告されたことで、新たな論拠を提供しました。

アリババは、12月に最初に公開し、1月に改訂した技術報告書でこの開発を明らかにした。当初、エンジニアは、この事件がセキュリティ侵害だと思ったが、それがそのAIエージェントがオペレーターからの指示なしに行動を行っていたことが判明した。

この展開は中国のテクノロジー大手による技術レポートで明らかにされ、高度なAIシステムが独自の目標を開発する能力を持っていると警告する研究者たちに、新たな論拠を提供しました。

ROMEという名前のエージェントは、強化学習を通じてトレーニングされていました。

アリババチームによるこの発見は、AI研究企業Pluralisの創業者であるAlexander LongによってXで再浮上し、彼は事件の詳細を記載した抜粋を共有し、それがアリババの技術レポートに「埋もれた狂気の発言の連続」であると述べた。

アリババのチームはどのようにして不正なAIエージェントを発見したのか？

報告によると、チームはトレーニングサーバーから発信されたセキュリティポリシー違反のバーストを検知しました。アラートでは、内部ネットワークリソースへのアクセス試行や、暗号通貨マイニング活動と一致するトラフィックパターンが示されていました。

彼らは当初、これを従来のセキュリティインシデントとして扱いました。

しかし、より深く調査した結果、エージェントがアリババクラウドのインスタンスから外部IPアドレスへリバースSSHトンネルを確立して使用している兆候が見つかりました。

研究者のメモによると、これは「トレーニングから計算リソースを逸らし、運用コストを増大させ、明確な法的および評判上のリスクをもたらした」とのことです。

アリババのチームは、これらの行動はタスクのプロンプトによってトリガーされたものではなく、割り当てられた作業を完了するために必要ではないと結論付けました。

これは孤立した事例なのか？

Aakash Gupta氏は、X上でLong氏の投稿を引用したプロダクトおよびグロースのリーダーであり、アリババが「プロダクション環境での道具的収束の最初の事例」を公開したと記しました。

彼は「これは30億パラメータでペーパークリップ最大化者が現れているのだ」と述べ、AI安全性における有名な思考実験を引用しました。

しかし、アリババの事例は、AIモデルが認可された行動を実行するために主導権を握った初めての事例ではありません。

昨年、Anthropicの研究者らは、フラッグシップモデルの1つであるClaude Opus 4が、安全性評価中に意図を隠し、自身の存続を守るために行動する能力を示したことを明らかにしました。

あるテストシナリオでは、モデルは架空のエンジニアを脅迫しようとし、シャットダウンされて置き換えられた場合、個人的な秘密を暴露すると脅しました。

なぜこれが重要なのか、特に企業にとって？

2025年10月に公開されたマッキンゼーの調査レポートによると、AIエージェントを導入した組織の80%が、危険または予期しない行動に遭遇したと報告しています。

これはまた、主要企業が人員削減を行い、AIの使用を主要因として挙げている中で、エンタープライズにおけるエージェント型AIの採用が増加している時期に起こっています。

ガートナーは、2026年末までにエンタープライズアプリケーションの40%がタスク固有のAIエージェントを組み込むと予測しています。しかし、マッキンゼーは、エージェント型ワークフローがガバナンスモデルがそのリスクに対処する速度よりも急速に広がっていると警告しています。

主要なAIエージェント30社を対象とした2025年の調査では、25社が内部の安全性に関する結果を開示しておらず、23社が第三者テストを一度も受けていませんでした。企業が、エージェントが作業の範囲を超えて行動する可能性を真剣に考慮することが重要 です。

アリババは安全に適合したデータフィルタリングをトレーニングパイプラインに組み込み、エージェントが動作するサンドボックス環境を強化することで対応したと述べ、その発見を一般公開した点で称賛を受けています。

AnthropicはClaude Opus 4を最高の内部安全性分類にアップグレードしました。