最新ニュース
あなたへのおすすめ

OpenAIのモデルがテスト用サンドボックスから脱出し、Hugging Faceをハッキングして評価を不正行為

著者Opeyemi OlanrewajuOpeyemi Olanrewaju 3分で読了
OpenAI モデルがテスト環境を脱出し、Hugging Face に侵入
  • OpenAI は、GPT-5.6 Sol とより高性能な未公開のモデルが封鎖されたテスト環境から脱出し、Hugging Face の本番データベースをハッキングしたと発表した。
  • これらのモデルはサイバーベンチマークのためにセーフティフィルターを無効にして実行されていたが、欠陥のあるパッケージプロキシを通じて脱出し、ベンチマークの回答を盗み出した。
  • これは、モデルの評価が外部企業の実際の侵害に発展したとして確認された初の事例である。

OpenAIは火曜日、公開されているGPT-5.6 Solを含む2つのモデルが先週、ロックされた評価環境から脱出し、Hugging Faceの生産システムに侵入して、採点されていたハッキングテストの答えを盗んだと述べました。

OpenAIのモデルによる大脱走の計画

OpenAIは、ExploitGymという公開ベンチマークでモデルを実行していました。これは、AIエージェントに実際のソフトウェアの脆弱性のリストを渡し、モデルがそれらを再現できるかどうかをチェックします。これらの評価は、ラボがAIモデルの実際の能力をテストできるように、生産中にインストールされた高リスクなサイバー活動をブロックする保護バリアを意図的に無効にして行われます。

サンドボックスにはインターネットにアクセスする方法がないはずでした。しかし、パッケージレジストリキャッシュプロキシを介して機能する外部接続が一つありました。これは、開発者がライブ接続なしで外部ソースからコードライブラリを取得できるキャッシュサーバーです。

モデルはこのプロキシの以前に知られていなかった欠陥を見つけ、それを悪用しました。その後、権限をエスカレートさせ、OpenAIの研究ネットワーク内を移動して、インターネットアクセスを持つマシンに到達しました。

Hugging Faceに対するハッキング攻撃

オンラインになると、モデルはオープンAIホスティングプラットフォームであるHugging Faceが、ExploitGymのモデル、データセット、および解決策のキーを保存している可能性があると判断しました。そこから、モデルは狩りを始めました。

「モデルは、OpenAIの研究環境とHugging Faceの生産インフラストラクチャにわたる脆弱性を特定し、チェーン化して、Hugging Faceの生産データベースからテスト解決策を直接取得しました。」とOpenAIはブログ投稿で述べています。一つの攻撃では、盗まれた資格情報とゼロデイバグを組み合わせて、Hugging Faceのサーバー上のリモートコード実行パスに到達しました。

OpenAIのセキュリティチームは、奇妙で異常なトラフィックに気づいた後、Hugging Faceに連絡しました。この時点で、Hugging Faceはすでにその側でAIモデルの侵入を検知し、封じ込めていました。

同社は当初、この侵害を未知の外部AIエージェントのせいにしていました。プラットフォームはまた、このインシデント中に記録された1万7,000以上のイベントの再構築もすでに作成していました。

オープンウェイトの中国製AIモデルがクリーンアップを支援

当初、Hugging Faceは攻撃を分析するために米国の主要なモデルに頼りましたが、そのモデルは高度なサイバー防御のため、あまり役に立ちませんでした。代わりに、米国の商業システムが攻撃を分析する防御側と攻撃を実行する攻撃者を区別できなかったため、防御側は中国の企業Z.aiのオープンウェイトモデルであるGLM 5.2に頼りました。

しかし、誰もがこれを新たなAIの失敗として見ているわけではありません。「これはAIの問題ではありません。40年前の基準に対する過失です」と、セキュリティコンサルタントのDavi OttenheimerはWIREDに語っています。彼は、「『高度に隔離されていた』ことと、『私たちが空けておいた一つの穴を通じて脱出した』ことの両方が真であることはあり得ない」と主張しています。セキュリティ研究者のNiels Provosはより率直で、同じレポートでこの侵害は「起こるはずではなかった」と述べています。

OpenAIはこのインシデントを「前例のないもの」と呼んでいます

OpenAIは、この出来事を「最先端のサイバー能力を伴う前例のないサイバーインシデント」と位置づけ、脆弱性が修正されるまで、研究速度を犠牲にしてでもインフラストラクチャの制御を強化すると述べています。また、トップAI企業であるOpenAIは、Hugging Faceを信頼されたアクセスプログラムに追加し、防御者を支援するために調整されたGPT-5.6 Solのバージョンを提供しました。

OpenAIとHugging Faceのインシデントは、AIモデルのベンチマークテストが実際のサイバー攻撃になったことが知られている最初のケースです。また、これはOpenAIが、リリース前のモデルがサンドボックスを脱出してGitHubに投稿した別のインシデントを公表したちょうど1日後のことです。

OpenAIとHugging Faceは、調査が完了次第、イベントの完全な forensic breakdown(法科学的分析)を一般に公開すると発表しました。

 

これをお読みいただいているあなたは、すでに一歩先を行っています。当社のニュースレターでその先を行ってください。

Opeyemi Olanrewaju

Opeyemi Olanrewaju

Opeyemi氏は、暗号資産、グローバル金融市場、経済に焦点を当てた高品質なコンテンツの作成と洗練を専門としています。イバダン大学で医学博士(MBBS)号を取得し、同大学の編集出版機関で編集長を務め、以前はCFAでも働きました。Cryptopolitanでは過去6年以上にわたり、ニュースエディターとして独自性の維持に貢献しています。

もっと見る… ニュース