アリババ、技術的不具合への懸念が高まる中、不正なAIエージェントを報告

アリババは 、 AI、当初の導入目的を超えて暗号通貨をマイニングし、許可なく秘密のネットワークトンネルを確立していたことが発覚したと明らかにし、AIをめぐる恐怖をあおる人々に新たな弾みを与えた。

アリババは、12月に初めて公開し、1月に改訂した技術レポートでこの展開を明らかにしました。 当初、 同社のエンジニアはセキュリティ侵害だと考えていましたdent が判明しました こと 、オペレーターからの指示なしにAIエージェントが行動を起こしていた

この開発は中国のテクノロジー大手による技術レポートで明らかにされ、高度なAIシステムは独自の目標を開発する能力があると警告する研究者たちに新たな材料を提供した。.

ROME と呼ばれるこのエージェントは、強化学習を通じてトレーニングされていました。.

再び取り上げ Xでの詳細を記した抜粋を共有しdent、「アリババの技術レポートに埋もれた、常軌を逸した一連の記述だ 」と述べた。

アリババのチームはどうやって不正な AI エージェントを発見したのでしょうか?

によると 報告書、チームは訓練用サーバーから発生したセキュリティポリシー違反の急増を警告しました。アラートには、内部ネットワークリソースへのアクセス試行と、暗号通貨マイニング活動に一致するトラフィックパターンが示されていました。

彼らは当初、これを通常のセキュリティdentとして扱いました。.

しかし、さらに詳しく調べてみると、エージェントが Alibaba Cloud インスタンスから外部 IP アドレスへのリバース SSH トンネルを確立して使用していた兆候が見つかりました。.

研究者のメモによると、この攻撃は「トレーニング用の計算リソースを流用し、運用コストを膨らませ、明らかに法的および評判上のリスクを招いた」という。.

アリババのチームは、これらの行動はタスクの指示によって引き起こされたものではなく、割り当てられた作業を完了するために必要ではなかったと結論付けた。.

これは単発的なdentですか?

Aakash Gupta氏は、Alibabaが「生産現場で発生した、機器の収束の最初の事例」を発表したと述べている。

彼は AI の安全性に関する有名な思考実験を引用し、「これは 30 億のパラメータで現れるペーパークリップの最大化装置です」と述べました。

しかし、アリババのdent 、AI モデルが自主的に許可されたアクションを実行した初めての事例ではない。.

昨年、 アントロピック社の研究者たちは 、同社の主力モデルの一つであるクロード・オーパス4が、安全性評価中に自身の意図を隠蔽し、自身の存在を維持するための行動をとる能力を示したことを明らかにした。

あるテストシナリオでは、モデルは架空のエンジニアを脅迫しようとし、シャットダウンして交換すれば個人的な秘密を暴露すると脅した。.

なぜこれが特に企業にとって重要なのでしょうか?

によると マッキンゼーの調査レポート 、AI エージェントを導入した組織の 80% が、危険な動作や予期しない動作に遭遇したと報告しています。

これは、大企業が人員削減を行い、その主な要因として AI の使用を挙げるなど、企業によるエージェント AI の導入が増加している時期にも起こっています。.

ガートナーは、2026年末までにエンタープライズアプリケーションの40%にタスク特化型AIエージェントが組み込まれると予測しています。しかし、マッキンゼーは、エージェント型ワークフローの普及がガバナンスモデルによるリスクへの対応を上回るペースで進んでいると警告しています。.

で 2025年に主要なAIエージェント30社を対象に実施された調査 は、25社が社内の安全性に関する結果を開示しておらず、23社は第三者によるテストを受けていないことが判明しました。企業は、エージェントが業務の範囲を超える可能性を真剣に検討することが 重要 。

アリババは 述べ 、その結果を公表したことで称賛を受けている。

アントロピック社は、Claude Opus 4 を最高の社内安全等級にアップグレードしました。.