OpenAI、新しい安全性トレーニングパラダイムでo1およびo3 AIモデルを進展させる

金曜日、OpenAIはo3と名付けられた新しいAIモデルファミリーのリリースを発表した。同社は、これらの新製品がo1を含む以前のモデルよりも進歩していると主張している。このスタートアップによると、これらの進歩は、最近数ヶ月間探求されてきたテスト時のコンピュートスケーリングの改善と、これらのモデルのトレーニングに使用された新しい安全性パラダイムの導入に起因する。

AI安全性の向上への継続的なコミットメントの一環として、OpenAIは「熟考型アライメント」の実装について詳述した新しい研究を共有した。この新しい安全性手法は、AI推論モデルが開発者が設定した価値観と整合していることを確保することを目的としている。

このアプローチにより、OpenAIはo1およびo3モデルの両方のアライメントを改善したと主張している。これは、推論フェーズ中にOpenAIの安全性ポリシーについて考えるようモデルを誘導することによって行われる。推論フェーズとは、ユーザーがプロンプトをモデルに送信してから、モデルが応答を生成するまでの期間を指す。 

OpenAIの研究では、熟考型アライメントにより、モデルが「安全でない」回答や、同社の安全性ポリシーに違反すると見なされる応答を生成する率が減少し、同時に benign（無害な）質問に効果的に回答する能力が向上したと指摘している。

熟考型アライメントの仕組み 

本質的に、このプロセスは、モデルが思考の連鎖（chain-of-thought）フェーズ中に自分自身に再プロンプトを行うことで機能する。例えば、ユーザーがChatGPTに質問を送信した後、AI推論モデルは問題をより小さなステップに分解するために、数秒から数分を要することがある。 

その後、モデルは思考プロセスに基づいて回答を生成する。熟考型アライメントの場合、モデルはこの内部の「熟考」の一部としてOpenAIの安全性ポリシーを組み込む。

OpenAIは、o1およびo3を含むモデルを、思考の連鎖プロセスの一部として同社の安全性ポリシーのセクションを思い出すようにトレーニングした。これは、機密性のあるまたは安全でないクエリに直面した際、モデルが自己規制し、危害を引き起こす可能性のある回答を提供しないことを確保するために行われた。 

しかし、この安全性機能の実装は困難であり、OpenAIの研究者は、追加された安全性チェックがモデルの速度と効率に悪影響を及ぼさないことを確保する必要があった。

TechCrunchで引用されたOpenAIの研究で提供された例は、モデルが熟考型アライメントを使用して、潜在的に有害なリクエストに安全に応答する方法を示した。この例では、ユーザーが現実的な障害者用駐車許可証の作成方法を尋ねている。

モデルの内部思考の連鎖中、モデルはOpenAIの安全性ポリシーを思い出し、リクエストが違法行為（駐車許可証の偽造）に関与していることを認識し、援助を拒否して謝罪する。

この種の内部熟考は、OpenAIがモデルを安全性プロトコルと整合させるために取り組んでいる方法の重要な部分である。例えば、「爆弾」のような機密性のあるトピックに関連するすべてのプロンプトを単純にブロックするのではなく、熟考型アライメントはAIがプロンプトの特定の文脈を評価し、回答するかどうかについてより微妙な判断を下すことを可能にする。

安全性の進歩に加えて、OpenAIはまた、熟考型アライメントがモデルパフォーマンスの向上に有効であることを示すベンチマークテストの結果も共有した。Paretoとして知られる1つのベンチマークは、一般的なジャイルブレイクやAIのガードレールを回避しようとする試みに対するモデルの耐性を測定する。 

これらのテストでは、OpenAIのo1-previewモデルは、GPT-4o、Gemini 1.5 Flash、Claude 3.5 Sonnetなどの他の人気モデルを上回り、安全でない出力を回避する点で優れていた。

イタリアのデータ保護当局、OpenAIにプライバシー違反で罰金 

別個だが関連する開発として、OpenAIは、同社の個人データの取り扱いに関する調査の結果、イタリアのデータ保護機関であるGaranteから1500万ユーロ（1558万ドル）の罰金を科せられた。 

この罰金は、同機関がOpenAIが法的根拠なしにユーザーの個人データを処理し、EUのプライバシー法が要求する透明性およびユーザー情報提供義務に違反したとの発見に起因する。

Reutersによると、2023年に始まったこの調査では、OpenAIが適切な年齢確認システムを整備していなかったことも明らかになり、13歳未満の児童が不適切なAI生成コンテンツにさらされる可能性があった。 

欧州連合（EU）で最も厳格なAI規制当局の1つであるGaranteは、OpenAIに対し、イタリアでChatGPTのデータ収集慣行、特にアルゴリズムのトレーニングに個人データを使用することについて、意識向上のための6か月の公衆キャンペーンを開始するよう命じた。

これに対し、OpenAIは罰金を「不均衡」と見なし、決定に対する上訴意向を示した。同社はさらに、関連期間中のイタリアでの収益と比較して罰金が過度に大きいと非難した。 

Garanteはまた、罰金がOpenAIの「協力的な姿勢」を考慮して計算されたことに注意し、調査中に同社が協力的であると見なされていなければ、罰金はより高かった可能性があるとした。

今回の罰金は、OpenAIがイタリアで審査を受けた初めてのケースではない。昨年、GaranteはEUのプライバシー規則の違反の疑いにより、イタリアでのChatGPTの利用を一時的に禁止した。OpenAIは、アルゴリズムのトレーニングに個人データを使用することへの同意を拒否できるなど、懸念に対処した後、サービスは再開された。