OpenAIs o3-Modell hält seine eigenen Benchmark-Ansprüchen nicht stand

OpenAIs neuestes LLM, o3, steht nach unabhängigen Tests in der Kritik, da es weit weniger schwierige Mathematikprobleme löste, als das Unternehmen ursprünglich behauptete. 

Als OpenAI o3 im Dezember vorstellten, sagten Führungskräfte, das Modell könne „knapp über ein Viertel“ der Probleme in FrontierMath beantworten, einem berüchtigt schwierigen Satz von Mathematikrätseln auf Graduiertenniveau.

Der beste Konkurrent stecke nahe bei 2 %. „Heute haben alle Angebote dort weniger als 2 %“, sagte Chief Research Officer Mark Chen während des Livestreams von o3 und o3 mini. „Wir sehen, dass wir mit o3 in aggressiven Test-Time-Compute-Einstellungen über 25 % erreichen können.“

TechCrunch berichtete dass das Ergebnis von OpenAI an einer Version von o3 erzielt wurde, die mehr Rechenleistung nutzte als das Modell, das das Unternehmen letzte Woche veröffentlichte.

Am Freitag veröffentlichte das Forschungsinstitut Epoch AI, das FrontierMath erstellt hat, seine eigene Punktzahl für das öffentliche o3.

OpenAI hat o3, sein hocherwartetes Reasoning-Modell, zusammen mit o4-mini, einem kleineren und günstigeren Modell, das o3-mini ablöst, veröffentlicht.

Wir haben die neuen Modelle in unserer Suite aus Mathematik- und Wissenschaftsbenchmarks bewertet. Ergebnisse im Thread! pic.twitter.com/5gbtzkEy1B

— Epoch AI (@EpochAIResearch) April 18, 2025

Mit einer aktualisierten 290-Fragen-Version des Benchmarks setzte Epoch das Modell bei etwa 10 % an.

Das Ergebnis stimmt mit einer unteren Schranke in OpenAIs technischem Papier vom Dezember überein, und Epoch warnte, dass die Diskrepanz auf verschiedene Gründe zurückzuführen sein könnte.

„Der Unterschied zwischen unseren Ergebnissen und denen von OpenAI könnte darauf zurückzuführen sein, dass OpenAI mit einem leistungsfähigeren internen Gerüst bewertet, mehr Test-Time-Computing verwendet oder dass diese Ergebnisse auf einer anderen Teilmenge von FrontierMath ausgeführt wurden“, schrieb Epoch .

FrontierMath ist darauf ausgelegt, Fortschritte in der fortgeschrittenen mathematischen Argumentation zu messen. Die öffentliche Version vom Dezember 2024 enthielt 180 Probleme, während das private Update vom Februar 2025 den Pool auf 290 erweiterte.

Änderungen in der Fragenliste und der zur Verfügung stehenden Rechenleistung zur Testzeit können zu großen Schwankungen bei den gemeldeten Prozentsätzen führen.

OpenAI bestätigt, dass das öffentliche o3-Modell weniger Rechenleistung nutzt als die Demo-Version

Beweise dafür, dass das kommerzielle o3 Mängel aufweist, kamen auch von Tests der ARC Prize Foundation, die eine frühere, größere Version testete. Die öffentliche Veröffentlichung „ist ein anderes Modell… abgestimmt auf Chat-/Produktgebrauch“, postete die ARC Price Foundation auf X und fügte hinzu, dass „alle veröffentlichten o3-Compute-Tiers kleiner sind als die Version, die wir benchmarkt haben.“

OpenAI-Mitarbeiter Wenda Zhou bot während eines Livestreams letzte Woche eine ähnliche Erklärung an. Das Produktionssystem sei „stärker für reale Anwendungsfälle“ und Geschwindigkeit optimiert. „Wir haben [Optimierungen] durchgeführt, um das Modell kosteneffizienter [und] im Allgemeinen nützlicher zu machen“, sagte Zhou und erkannte mögliche Benchmark-„Unterschiede“ an.

Zwei kleinere Modelle des Unternehmens, o3-mini-high und das neu angekündigte o4-mini, haben o3 auf FrontierMath bereits übertroffen, und OpenAI sagt, eine bessere o3-pro-Variante werde in den kommenden Wochen erscheinen.

Dennoch zeigt es, wie Benchmark-Headlines irreführend sein können. Im Januar wurde Epoch dafür kritisiert, die Offenlegung der OpenAI-Finanzierung bis nach dem Debüt von o3 zu verzögern. Kürzlich wurde El Musks Startup xAI beschuldigt, Diagramme präsentiert zu haben, die die Fähigkeiten seines Grok-3-Modells übertrieben darstellten.

Beobachter der Branche sagen, dass solche Benchmark-Kontroversen in der KI-Branche häufiger werden, da Unternehmen um Schlagzeilen mit neuen Modellen wetteifern.