Le modèle o3 d'OpenAI ne respecte pas ses propres affirmations de benchmark
- OpenAI affirmait que son modèle o3 pouvait résoudre plus de 25 % des problèmes de FrontierMath, mais de nouveaux tests réalisés par Epoch AI révèlent que la version publique ne résout qu'environ 10 %.
- Le ARC Prize et un ingénieur d'OpenAI confirment que le modèle publié est une version allégée et plus rapide, optimisée pour l'utilisation en chat.
- Les entreprises rivales, dont xAI et Meta, font également face à des critiques concernant leurs résultats de benchmarks gonflés.
Le tout dernier LLM d'OpenAI, o3, fait l'objet d'un examen attentif après que des tests indépendants ont révélé qu'il résolvait beaucoup moins de problèmes mathématiques difficiles que ce que l'entreprise avait initialement affirmé.
Lorsqu'OpenAI a dévoilé o3 en décembre, les dirigeants ont déclaré que le modèle pouvait répondre à « un peu plus d'un quart » des problèmes de FrontierMath, un ensemble notoirement difficile de puzzles mathématiques de niveau master.
Le meilleur concurrent, ont-ils ajouté, était bloqué autour de 2 %. « Aujourd'hui, toutes les offres disponibles ont moins de 2 % », a déclaré le directeur de la recherche principale, Mark Chen, lors de la diffusion en direct de o3 et o3 mini. « Nous constatons qu'avec o3 dans des paramètres de calcul au moment du test agressifs, nous sommes capables d'obtenir plus de 25 %. »
TechCrunch a rapporté que le résultat a été obtenu par OpenAI sur une version de o3 qui utilisait plus de puissance de calcul que le modèle que l'entreprise a publié la semaine dernière.
Vendredi, l'institut de recherche Epoch AI, qui a créé FrontierMath, a publié son propre score pour le o3 public.
OpenAI a publié o3, son modèle de raisonnement très attendu, ainsi que o4-mini, un modèle plus petit et moins cher qui succède à o3-mini.
Nous avons évalué les nouveaux modèles sur notre suite de benchmarks de mathématiques et de sciences. Résultats dans le thread ! pic.twitter.com/5gbtzkEy1B
— Epoch AI (@EpochAIResearch) avril 18, 2025
En utilisant une édition mise à jour de 290 questions du benchmark, Epoch a placé le modèle à environ 10 %.
Le résultat correspond à une figure inférieure dans le document technique de décembre d'OpenAI, et Epoch a mis en garde contre le fait que l'écart pourrait être dû à diverses raisons.
« La différence entre nos résultats et ceux d'OpenAI pourrait être due au fait qu'OpenAI évalue avec un échafaudage interne plus puissant, en utilisant plus de calcul au moment du test, ou parce que ces résultats ont été exécutés sur un sous-ensemble différent de FrontierMath », a écrit Epoch .
FrontierMath est conçu pour mesurer les progrès vers le raisonnement mathématique avancé. L'ensemble public de décembre 2024 contenait 180 problèmes, tandis que la mise à jour privée de février 2025 a élargi le pool à 290.
Les changements dans la liste des questions et la quantité de puissance de calcul autorisée au moment du test peuvent provoquer de grandes variations dans les pourcentages rapportés.
OpenAI a confirmé que le modèle o3 public utilise moins de calcul que la version de démonstration
Des preuves que la version commerciale d’o3 est insuffisante sont également venues des tests réalisés par la fondation ARC Prize, qui a essayé une version antérieure, plus grande. La version publique « est un modèle différent… optimisé pour l’usage chat/produit », a indiqué la fondation ARC Price sur X, ajoutant que « tous les niveaux de calcul d’o3 publiés sont plus petits que la version que nous avons évaluée ».
L'employé d'OpenAI, Wenda Zhou, a offert une explication similaire lors d'une diffusion en direct la semaine dernière. Le système de production, a-t-il dit, était « plus optimisé pour les cas d'utilisation du monde réel » et la vitesse. « Nous avons fait [des optimisations] pour rendre le modèle plus efficace en termes de coûts [et] plus utile en général », a déclaré Zhou, tout en reconnaissant d'éventuelles « disparités » de benchmark.
Deux modèles plus petits de l'entreprise, o3-mini-high et le nouvellement annoncé o4-mini, ont déjà battu o3 sur FrontierMath, et OpenAI déclare qu'une meilleure variante o3-pro arrivera dans les prochaines semaines.
Néanmoins, cela montre comment les titres de benchmark peuvent être trompeurs. En janvier, Epoch a été critiqué pour avoir retardé la divulgation du financement d'OpenAI jusqu'après la présentation de o3. Plus récemment, le startup d'Elon Musk, xAI, a été accusée de présenter des graphiques qui surestimaient les capacités de son modèle Grok 3.
Les observateurs de l'industrie disent que ces controverses sur les benchmarks deviennent courantes dans l'industrie de l'IA alors que les entreprises s'affrontent pour capter les titres avec de nouveaux modèles.
Ne vous contentez pas de lire les actualités crypto. Comprenez-les. Abonnez-vous à notre newsletter. C'est gratuit.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Noor Bazmi
Noor Bazmi contribue à l'équipe d'actualités de Cryptopolitan, dotée d'un diplôme en études médiatiques. Noor couvre les actualités liées à la blockchain, aux cryptomonnaies, à l'intelligence artificielle, aux grandes entreprises technologiques, aux marchés des véhicules électriques, à l'économie mondiale et aux changements de politique gouvernementale. Elle poursuit actuellement des études en marketing pour mieux connecter avec les audiences mondiales.
