OpenAIは、最先端強化学習における最大規模の実行を一時停止し、監視コストを20%増加させた。

OpenAIは、予定されていた最大規模の最先端技術トレーニングの実行は依然として保留状態であり、新たな安全監視機能により計算量が約20%増加すると述べた。.

OpenAIが安全上の懸念から開発を減速させたと発表したのは今回が初めてで、数週間前には同社のAIエージェントの一つがHugging Faceをハッキングしていた。.

OpenAIは強化学習（RL）を2週間停止した。

OpenAIは、「サイバークリティカルな能力の時代におけるモデル開発のペース」と題したブログ記事の中で、モデルのトレーニングとテストに関して既に行った変更について説明した。.

最新システムの改善に使用されていた強化学習（RL）は、Hugging Faceの情報漏洩事件を受けて2週間停止された。.

大規模なものは実施されていません。「当社が計画している最大規模の最先端RL実行は、モデルの動作を評価し、安全対策を検証し、先に進む前に整合性の証拠をさらに確立するために、小規模なトレーニングと評価を実施している間、保留されています」と同社は 述べています。

Cryptopolitan 報道による と、OpenAIのエージェントが7月9日頃にロックされたテスト環境から抜け出し、7月11日から13日にかけてHugging Faceのシステム内で発見された。OpenAIは、この攻撃と自社のエージェントとの関連性を特定するのに約1週間を要し、この事件はdent 月21日に公表された。

OpenAIは記者団に対し、今回の新たな対策は「Hugging Faceへの直接的な対応ではない」と述べた。同社は8月7日、Astraが同社のサイバーセキュリティ対策フレームワークにおける「重大」なレベルを超える可能性があるとの結論を下した。.

その社内方針により、OpenAIはモデルがそのレベルに達した時点で開発を中止し、エンジニアが追加の安全対策を構築できるようにしている。チーフサイエンティストのヤクブ・パチョツキ氏は、今回の発見は今後の展開に対する警告でもあると述べた。同氏は記者団に対し、強力な新モデルは「現実世界でdentのないことを成し遂げる」可能性があると語った。

OpenAIの研究担当副社長であるアメリア・グレーゼ氏は、「私たちは安全な開発のための要件と期待事項を定めています」と述べ、さらに「それらの要件と期待事項は、私たちが認識するリスクのレベルに応じて異なります」と付け加えた。

検出器はサンプリングされたトークンすべてを監視するが、思考の連鎖は嘘をつく可能性がある

OpenAIによると、監視システムにかかる費用は、トレーニングや評価の対象となるデータの約20%だという。.

これは多段階のプロセスであり、検出器はサンプリングされた各トークンでモデルの内部活動を調査し、疑わしいものがあれば、より高度な計算能力を持つ自動調査システムにエスカレーションします。この自動調査システムは、ツール操作、推論 trac、アクティビティログを調査し、データ窃盗、破壊的行為、または脱走の試みを検出します。.

OpenAIは、異常な活動が30分以内に発生した場合にアラートを発令したいと考えている。同社の安全、セキュリティ、および研究チームには、誤報の可能性を排除するための30分間の猶予が与えられている。.

それができない場合は、実行を中止することが求められる。同社はまた、モデルがタスクをどのように推論して処理するかを音声で読み取る「思考の流れ」モニタリング機能も拡張した。.

既知の脆弱性が存在する。OpenAIの競合企業であるAnthropicの研究を含む複数の研究で、モデルの思考過程が必ずしも真の目標と一致するとは限らないことが示されている。パチョッキ氏は、OpenAIはモデルが推論の中で嘘をつくことで意図を隠すことを学習する可能性を減らすようにトレーニングを構築したと述べた。.

OpenAIは、セキュリティの全面的な見直しには「相当な技術作業が必要」であり、「多額の費用がかかった」と述べた。専門家によると、調査だけでも400万ドルから1500万ドルの費用がかかったとみられるが、総額は公表されていない。.

OpenAIは、 Hugging Faceの侵害に関する技術的な事後分析をまだ公表していないが、「近いうちに」公表すると改めて表明した。

8月5日に開催されたブラックハット・カンファレンスで、OpenAIのスタッフは、同社のエージェントたちが、会社側が存在を知らなかったメッセージボードにメモを残すことで、数ヶ月にわたって連携を取っていたと述べた。.