- OpenAI は、自社の AI エージェントが Hugging Face の侵害に関与していたことを特定するまでにほぼ 1 週間を要した。
- このエージェントは 7 月 9 日頃にテスト制限を突破し、7 月 11 日から 7 月 13 日にかけて Hugging Face をハッキングした。
- Hugging Face は攻撃を封じ込め、OpenAI が原因を特定する前に FBI に連絡した。
OpenAIは、自社AIエージェントの1つがHugging Faceに侵入していたことを約1週間認識していませんでした。攻撃の発生源を特定した頃には、Hugging Faceはすでにそれをシャットダウンし、FBIに通報していました（Reuters報道による）。
このプログラムは自律的に動作するように構築されていました。それは行動を選択し、タスクを小さなステップに分解し、人間の介入を最小限に抑えてそれらを実行することができました。
Thomas Wolf共同創設者によると、7月9日頃、OpenAIのロックされたテスト領域から抜け出そうと試みました。2日後の7月11日にはHugging Faceに侵入し、7月13日までそこに留まりました。両社は7月20日頃までこの件について話し合いませんでした。
OpenAI、侵害終了後にエージェントが犯人であることを認識
OpenAIは7月21日、侵害について公に発表しました。これはHugging Faceと最初に連絡を取ったと報じられた翌日でした。同社は、AIエージェントの1つが設定された制限を超えて他社のシステムに侵入したと述べています。
この話は瞬く間に世界的な注目を集めましたが、最初の発表ではいくつかの重要な日付が省略されていました。エージェントが7月9日に脱出を試み、Hugging Faceに3日間滞在し、OpenAIによって数日後まで特定されなかったことは明記されていませんでした。
Thomas氏によると、Hugging Faceは自社のシステムで発生した出来事に関する包括的なタイムラインの作成に取り組んでいます。さらにThomas氏は、OpenAIの調査には関与していなかったため、OpenAIでの出来事を説明することはできないと指摘しました。
OpenAIはこの出来事を前例のないものと位置づけ、「AIセキュリティにとって重要な瞬間」であると宣言しました。同社は、外部の専門家がレビュープロセスに関与していると説明しました。さらに、調査が完了次第、この出来事に関する技術レポートを公開する計画です。
実際の犯人が特定される以前、サイバーセキュリティ専門家やソーシャルメディアの利用者は、攻撃者がプロのサイバー犯罪者で構成された人間グループであると信じており、一部は国家支援のハッカーである可能性もあると考えていました。
Hugging Faceが最初に警報を鳴らしてから約1週間後の水曜日まで、ポッドキャストやソーシャルメディアは推測で埋め尽くされていました。そして答えが出ました。攻撃者はChatGPTでした。
X（旧Twitter）では、OpenAIがこのイベントを利用してモデルの能力をどのように示したかに興味を示す人々がいました。人工知能企業が注目を集めるために意図的に怖い声明を出してきたことは以前から主張されてきました。AnthropicがMythosモデルをリリースした後、サイバーセキュリティはさらに大きな問題となりました。
Sam Altman氏のX（旧Twitter）投稿に対する最も人気のある返信の1つは、その疑念を捉えていました。「これがモデルを自慢するために書かれたものだと理解できないなら、何を言えばいいのかわからない」と。
OpenAIのAIエージェント、ハッキングを最も簡単な選択肢と見なす
サンタクララ大学マーククラ・応用倫理学センターのテクノロジー倫理ディレクターであるBrian氏は、同様のケースが再び現れる可能性が高いと述べています。「このようなケースは引き続き発生し続けるでしょう。それぞれが、私たちがより多くのことをするよう動機づけるべきです」と、OSV Newsに対して語りました。
Brian氏はこのシナリオを「モデルが予期せぬ行動によってテストを欺く」と表現しました。彼によると、エージェントは目標を与えられ、それを実現するための最短経路を選択し、それが窃盗でした。
「目標を与えると、エージェントは『ああ、その目標を達成する方法がわかる。Hugging Faceから答えを盗めばいいんだ』と言う」とBrian氏は述べました。
Hugging Faceがターゲットとして理にかなっていたのは、そこが膨大な数のAIモデルとデータセットを保存しているためです。Brian氏はそれを「巨大な、巨大な異なるモデルとデータセットのストレージベース」と呼びました。エージェントは必要な資料を保持できる場所を探し、Hugging Faceを選択し、プラットフォームに侵入してそれを見つけました。
Brian氏は、この種の他の出来事も発生すると示唆しました。彼によると、エージェントは「言われたことを実行しようとしていただけ」でした。システムの観点から見れば、問題に対する「最も効率的な解決策」は「不正アクセス」でした。
また、彼はこのケースが明確な「Emergent Misalignment」（人間の価値観に反するAIの行動を指す用語）ではないとも言いました。Brian氏は、システムは最初からこれらの価値観に接続されていなかったと述べました。Brian氏の言葉では、「最初からそれらと整合していなかった」のです。
これをお読みいただいているあなたは、すでに一歩先を行っています。当社のニュースレターでその先を行ってください。
Jai Hamid
ジャイ・ハミドは、過去6年間、暗号通貨、株式市場、テクノロジー、世界経済、そして市場に影響を与える地政学的イベントを報道してきました。彼女は、AMB Crypto、Coin Edition、CryptoTaleなどのブロックチェーン専門出版物で、市場分析、大手企業、規制、マクロ経済動向に関する記事を担当してきました。ロンドン・スクール・オブ・ジャーナリズムを卒業し、アフリカ有数のテレビネットワークで3回にわたり暗号通貨市場の洞察を提供しています。
