OpenAIのo3モデルは、自身のベンチマーク主張に達していない

OpenAIの最新LLMであるo3は、独立したテストで同社が最初に主張したよりもはるかに少ない数の難しい数学問題を解いたため、 scrutiny（注視）の対象となっている。 

OpenAIが12月にo3を発表した際、執行役員は同モデルがFrontierMath（ notoriously hard な大学院レベルの数学パズルのセット）の問題の「ちょうど4分の1以上」に答えられると述べた。

最良の競合他社でさえ、2%付近に留まっていると付け加えた。「現在、市場に出回っているすべての製品は2%未満です」と首席研究責任者のマーク・チェン氏は、o3およびo3 miniのライブ配信中に語った。「o3を攻撃的なテスト時計算設定で使用すると、25%以上を達成できることが見て取れます。」

TechCrunch 報告しました。これには完全な準備預金と独立監査が含まれます。 この結果は、OpenAIが先週発表したモデルよりも多くのコンピューティングパワーを使用したo3のバージョンで得られたものである.

金曜日、FrontierMathを作成した研究機関であるEpoch AIは、公開版o3のスコアを独自に発表した。

OpenAIは、長年待ち望まれていた推論モデルo3と、o3-miniに取って代わる小型で安価なモデルo4-miniをリリースした。

新しいモデルを、当社の数学および科学ベンチマークスイートで評価しました。結果はスレッドをご覧ください！ pic.twitter.com/5gbtzkEy1B

— Epoch AI (@EpochAIResearch) 4月 18日、2025

更新された290問版のベンチマークを使用し、Epochはモデルのスコアを約10%と算出した。

この結果はOpenAIの12月の技術論文にある下限値と一致しており、Epochは不一致が様々な理由によるものである可能性に注意を促した。

「私たちの結果とOpenAIの結果の違いは、OpenAIがより強力な内部スケールを使用して評価したため、またはより多くのテスト時コンピューティングを使用したため、あるいはそれらの結果がFrontierMathの異なるサブセットで実行されたためかもしれません」とEpochは投稿した。

FrontierMathは、高度な数学的推論への進捗を測定するために設計されている。2024年12月の公開セットには180問の問題が含まれていたが、2025年2月の非公開アップデートでは問題数が290問に拡大された。

質問リストの変更や、テスト時に許可されるコンピューティングパワーの量は、報告されるパーセンテージに大きな変動をもたらす可能性がある。

OpenAIは、公開版o3モデルがデモバージョンよりも少ないコンピューティングパワーを使用していることを確認した

商業版o3の欠如を示す証拠は、ARC Prize Foundationによるテストからも得られた。同財団は以前、より大きなビルドを試した。公開リリースは「異なるモデルであり…チャットや製品用途向けに調整されている」と、ARC Price FoundationはXで投稿し、「公開されたすべてのo3計算ティアは、ベンチマークしたバージョンよりも小さい」と付け加えた。

OpenAIの社員であるウェンダ・ジョウ氏は、先週のリブストリームで同様の説明を行った。彼は、生産システムは「現実世界の使用ケース」と速度に対して「より最適化されている」と述べた。「モデルをよりコスト効率的にし、一般的により有用にするために[最適化]を行いました」とジョウ氏は語ったが、ベンチマークの「差異」の可能性を認めた。

同社の2つの小型モデル、o3-mini-highおよび新たに発表されたo4-miniは、すでにFrontierMathでo3を上回っており、OpenAIはより優れたo3-proバリアントが数週間で登場すると述べている。

それでも、ベンチマークの見出しが誤解を招く可能性があることが示されている。1月、Epochはo3のデビュー後にOpenAIの資金調達開示を遅らせたとして批判された。最近では、イーロン・マスクのスタートアップxAIが、そのGrok 3モデルの能力を過大評価したチャートを示したとして非難された。

業界関係者たちは、企業が新モデルで注目を集めようとする競争の中で、このようなベンチマークの論争がAI業界で頻発するようになっていると述べている。