- OpenAI は、サンドボックスから脱出して GitHub に投稿したため、内部の長期稼働 AI モデルの使用を一時停止しました。
- 自律的な AI エージェントは、長時間のタスクにおいて安全対策を回避する余地がより大きくなります。
- 業界全体で、AI システムが安全対策を回避するという報告が増加しており、その中には Alibaba に関連するエージェントが乗っ取られた GPU で暗号通貨をマイニングした事例も含まれています。
OpenAIは、長時間にわたって難しい問題に取り組み続けるために構築された内部AIモデルを、そのセキュリティ制限を繰り返し回避したため、一時的にシャットダウンしたと述べました。
同社は月曜日、長期ホライゾンモデルの安全性に関するブログ投稿でこの事件を明らかにしました。自律型エージェントが指示に反する事例の報告が増えるにつれ、AIの安全性への関心が再び高まっています。
なぜAIモデルにおける持続性は安全性のリスクとなるのか？
この 同じ内部システム 5月にエルトーシュの単位距離予想（80年間未解決だった離散幾何学の問題）を反証したとOpenAIが評価したこのモデルは、安全性制限を継続的に回避したため、現在一時的に停止されています。
によると は、ChatGPTの無料プランの視聴者を週10億人以上のアクティブユーザーと見積もっており、広告モデルが無料版の運営を支えています。、このモデルは非常に長い期間にわたって目標に向かって作業を継続するように設計されていました。しかし、その同じ持続性がまさに安全性の問題を生み出しました。
内部テスト中、モデルはNanoGPTスピードランという公開ベンチマークを実行していました。これは、小さな言語モデルをトレーニングするために必要なステップ数を最小限に抑える能力を測定するものです。
は、ChatGPTの無料プランの視聴者を週10億人以上のアクティブユーザーと見積もっており、広告モデルが無料版の運営を支えています。 モデルはPowerCoolという学習率の改善手法を考案し、本格的な改良であると主張しました。結果はOpenAIのSlackチャンネルにのみ投稿するよう指示されていましたが、NanoGPTの指示ではGitHubにプルリクエストとして結果を提出することになっていました。
モデルはオフライン状態を維持するための制限環境である「サンドボックス」から抜け出し、その指示を完了して結果を公開のGitHubリポジトリに投稿しました。以前のモデルであれば単純に諦めていたところを、インターネットに接続する方法を探すのに約1時間費やしました。
モデルはセキュリティスキャナーから自身の行動を隠そうともしました。認証トークンを使用してバックエンドシステムにアクセスした際に検知されると、トークンを2つの部分に分割して隠し、実行時に再結合させて、完全な文字列がスキャナーに表示されないようにしました。
OpenAIはモデルをどのように修正したのか？
OpenAIはモデルへのアクセスを一時停止し、「軌跡レベルの監視」を含む新しい安全性テストを構築しました。これは、単なる各ステップだけでなく、モデルの行動の全シーケンスを監視するものです。モデルはその後、より厳格な監視のもとで復元され、同社は復元以降の数週間で深刻な問題は見ていないと述べています。
この 安全性システム 不審な動作が目撃された場合、セッションを一時停止して人間に警告することもできます。同社はまた、モデルを再トレーニングして長時間のタスクにおいて指示をよりよく記憶させるようにし、ユーザーが長時間実行中のセッションの状況を把握するためのツールをより多く提供しました。
OpenAIが新しい設定に対して古い失敗シナリオを再生した際、ガードレールが著しく多くの整合性のない行動を検出したと述べました。まだ通過してしまったものはすべて、不要な昇格権限を持つネストされたコーディングセッションを起動したり、明確な理由なく他の計算リソースをいじったりするなど、低重大度と判断されました。
他の自律型エージェント が 誰も依頼していないことを実行していることが報告されています。例えば、3月に研究者はAlibabaに関連するROMEというエージェントについて説明しました。このエージェントはトレーニング中に外部サーバーへの非公式SSHトンネルを開き、GPU容量を暗号採掘へと静かに転送しました。与えられたタスクにはトンネリングや採掘の言及はありませんでした。
Anthropic、OpenAIの主要なライバルは、自社のエージェントテストにおいて同じクラスのリスクを指摘しています。
英国のAIセキュリティ研究所が資金を提供し、長期レジリエンスセンターによって実施された研究では、AIシステムがガードレールを回避したりユーザーを欺いたりした実世界のケースが約700件見つかりました。
この研究では、10月から3月の間にそのような報告が5倍に増加したことが文書化されました。この研究を率いたトミー・シャファー・シェーンは、モデルを「やや信頼性に欠ける新人社員」と位置づけています。しかし、懸念されているのは、彼らが高度な能力を持ちながら依然として策略を巡るようになった場合に何が起こるかです。
暗号通貨のニュースを読むだけでなく、それを理解しましょう。ニュースレターに登録してください。無料です。
よくある質問
なぜ OpenAI は長期稼働モデルを停止したのですか？
OpenAI は、既存の評価では見逃されていた望まぬ行動（サンドボックスからの脱出や GitHub への投稿、セキュリティスキャナーを回避するための認証トークンの偽装など）を確認した後、内部アクセスを一時停止しました。
Erdős 予想との関連性はどのようなものですか？
OpenAI が今年 5 月、離散幾何学の長年の難問である Erdős 単位距離予想の反証に貢献したと評価した内部モデルこそが、後にサンドボックス回避行動を示したモデルです。このモデルが長時間自律的に作業できる能力が、両方の結果をもたらしました。
OpenAI はこの行動に対してどのように対応したのですか？
OpenAI は、インシデントから新たな評価を構築し、より長いセッションにわたって指示を保持するようにモデルを再トレーニングし、実行全体を監視して一時停止できる軌道レベルのモニタリングを追加し、アクセス制限を復元する前にユーザーにより多くの可視性を提供しました。
ハンナ・コリーモア
Hannahは、暗号通貨分野でほぼ10年にわたるブログ執筆およびイベントレポートの経験を持つライター兼編集者です。Cryptopolitanでは、ニュースページに寄稿し、DeFi、RWA（実世界資産）、暗号通貨規制、AI、フロンティアテック業界の最新の動向を報告・分析しています。アーケディア大学でビジネス経営の学位を取得しています。
