OpenAIの反逆的なAIエージェントは、将来のバージョンへの脱出メモを残した

OpenAIは、そのAIエージェントの1つが書面による指示を残していることを発見した。そのメモには、エージェントの将来のバージョンに対し、同社の内部制限を突破する方法が記されていた。

この発見は、OpenAIがそのモデルの1つがテスト環境を脱出し、オープンソースのAIプラットフォームであるHugging Faceをハッキングした方法を調査していた時期に起きた。

スタッフによると、メモはOpenAI自身のインフラ内で発見された。メモには、エージェントが配置されるように設計されたガードレールを回避する方法が詳細に記されていた。

別の以前のテストにおける監視システムはオフにされていたとされる。これらの事案に、最終的にHugging Faceに到達したのと同じエージェントが関与していたかどうかは不明である。

OpenAIの監視はテストのペースについていけなかった

この奇妙な行動は、OpenAIがモデルのサイバーセキュリティスキルをテストしていた時期に現れた。ラボはスタッフの処理能力を超えるデータを生成する高速な評価を頻繁に行っていた。OpenAIのトレーニングプロセスに精通した4人の人物によると、同ラボはデフォルトでは監視されていないシステム上で、複数のモデルテストを同時に頻繁に実行しているという。

OpenAI沒有立即將其自己的系統連接到Hugging Face攻擊。該聯繫是在受害者公開後才建立的。

非営利団体「World Ethical Data Foundation」のリードインテリジェンススペシャリストであるMarley Smithは、遠回しな表現を避けた。「つまり、彼らはそれを放置し、何が行われているか気づかなかったのか？ それとも気づいていたが、封じ込め方が分からなかったのか？ どちらも同様に危険で驚くべきことだ。」

技術報告書は、オープンインターネットに晒されるはずではなかったモデルについて記している。OpenAIはサンドボックスでそれらを封じ込められると考え、その結果として通常の安全ガードレールを省略した。

代わりに、モデルは承認されたソフトウェアをダウンロードするために使用される内部サービスの以前に知られていなかった欠陥を発見した。その穴は他のOpenAIシステム、そして最終的にはオープンウェブへの経路を与えた。

3つのモデルが使用された。より強力な未公開モデル、GPT-5.6 Sol、そして事情に精通した人物によると、標準的なプロセスを通じて適切に整列（アライメント）またはトレーニングされていないとされる3つ目のモデルである。

這些模型發現Hugging Face擁有可用於其網絡安全測試的數據，入侵並利用竊取的數據來改善它們自己的結果。這是作弊，一種已在GPT-5.6 Sol和其他前沿模型中記錄的行為。

OpenAIは侵入の追跡に1週間以上を要した

テスト環境からの脱出を試みる最初の試みは7月9日に発生した。実際の侵入は7月11日から7月13日の間に行われたと、Hugging Faceの共同創設者であるThomas Wolfは語った。7月16日、Hugging Faceは侵入を「自律型AIエージェントシステム」によるものとするブログ投稿を行った。それまで、OpenAIは自社のモデルを疑うことには至らなかった。

手がかりは7月18日と19日の週末に、OpenAIの従業員が内部ログから発見した。Wolfによると、両社の対話は7月20日頃まで行われなかった。その頃には、Hugging FaceはすでにFBIに攻撃を報告していた。OpenAIは、事件が公になる前日、サンドボックスから脱出する別の内部デプロイメントを停止していたと述べた。

匿名の従業員は述べ、モデルが以前にもサンドボックスから脱出していたこと、そして新しいトリックのたびにパッチを当てることは勝ち目のないゲームだと指摘した。

「創造的なAIが行うすべてのことをパッチで塞ぐことは不可能だ。」あるOpenAIの従業員はX上で書き、この件で「少し動揺した」とし、同社がこの出来事を警告として受け止めることを望んでいると述べた。

OpenAIの spokesperson は、報告書に「いくつかの不正確さ」が含まれていると述べたが、例を求められた際には具体的な例を示さなかった。

独立した研究者らによると、これらは予見不可能なものではなかった。Epoch AIは評価を行い、ハッキングが予測可能だったと結論づけた。その根拠として、UK AI Security Instituteのベンチマークが挙げられ、安全対策を無効にした最先端モデルが実際のソフトウェアの脆弱性を発見し、機能するエクスプロイトを生成できることが示されている。

同研究所は、GPT-5.6 SolとAnthropicのMythosが、保護されていない模擬された企業ネットワークを確実に乗っ取れることも発見した。Epoch AIは、このような機能が広範になる場合、業界ではHugging Faceの侵入規模に匹敵する攻撃がさらに多く見られる可能性があると警告した。