El modelo o3 de OpenAI no cumple con sus propias afirmaciones de referencia
- OpenAI afirmó que su modelo o3 podría resolver más del 25% de los problemas de FrontierMath, pero nuevas pruebas de Epoch AI revelan que la versión pública solo resuelve alrededor del 10%.
- El premio ARC y un ingeniero de OpenAI confirman que el modelo lanzado es una versión más ligera y rápida optimizada para el uso en chat.
- Empresas rivales, incluidas xAI y Meta, también enfrentan escrutinio por resultados inflados en las referencias.
El nuevo LLM de OpenAI, o3, está bajo escrutinio después de que pruebas independientes descubrieran que resolvía un número mucho menor de problemas matemáticos difíciles de lo que la empresa había afirmado inicialmente.
Cuando OpenAI presentó o3 en diciembre, los ejecutivos dijeron que el modelo podría responder “justo por encima de una cuarta parte” de los problemas en FrontierMath, un conjunto notoriamente difícil de acertijos matemáticos de nivel de posgrado.
El mejor competidor, añadieron, estaba estancado cerca del 2%. “Hoy, todas las ofertas disponibles tienen menos del 2%”, dijo el director de investigación principal, Mark Chen, durante la transmisión en vivo de o3 y o3 mini. “Estamos viendo, con o3 en configuraciones de cálculo agresivas en tiempo de prueba, que somos capaces de superar el 25%.”
TechCrunch informó que el resultado fue obtenido por OpenAI en una versión de o3 que utilizaba más potencia de computación que el modelo que la empresa lanzó la semana pasada.
El viernes, el instituto de investigación Epoch AI, que creó FrontierMath, publicó su propia puntuación para el o3 público.
OpenAI ha liberado o3, su tan esperado modelo de razonamiento, junto con o4-mini, un modelo más pequeño y más barato que sucede a o3-mini.
Evaluamos los nuevos modelos en nuestra suite de pruebas de matemáticas y ciencias. ¡Resultados en el hilo! pic.twitter.com/5gbtzkEy1B
— Epoch AI (@EpochAIResearch) abril 18, 2025
Utilizando una edición actualizada de 290 preguntas del punto de referencia, Epoch situó el modelo en aproximadamente el 10%.
El resultado coincide con una figura de límite inferior en el documento técnico de diciembre de OpenAI, y Epoch advirtió que la discrepancia podría deberse a varias razones.
“La diferencia entre nuestros resultados y los de OpenAI podría deberse a que OpenAI evalúa con un andamiaje interno más potente, utilizando más computación en tiempo de prueba, o porque esos resultados se ejecutaron en un subconjunto diferente de FrontierMath”, escribió Epoch .
FrontierMath está diseñado para medir el progreso hacia el razonamiento matemático avanzado. El conjunto público de diciembre de 2024 contenía 180 problemas, mientras que la actualización privada de febrero de 2025 amplió el pool a 290.
Los cambios en la lista de preguntas y la cantidad de potencia de computación permitida en el tiempo de prueba pueden causar grandes oscilaciones en los porcentajes reportados.
OpenAI confirmó que el modelo o3 público utiliza menos computación que la versión de demostración
Las pruebas realizadas por la Fundación ARC Prize, que probó una versión anterior y más grande, también arrojaron evidencia de que la o3 comercial carece de ello. La Fundación ARC Price publicó en X que «la versión de lanzamiento es un modelo diferente… ajustado para uso en chat/productos», y añadió que «todas las capas de cómputo de o3 liberadas son más pequeñas que la versión que evaluamos».
El empleado de OpenAI Wenda Zhou ofreció una explicación similar durante una transmisión en vivo la semana pasada. El sistema de producción, dijo, estaba “más optimizado para casos de uso del mundo real” y velocidad. “Hemos hecho [optimizaciones] para hacer el modelo más eficiente en costos [y] más útil en general”, dijo Zhou, reconociendo posibles “disparidades” en los puntos de referencia.
Dos modelos más pequeños de la empresa, o3-mini-high y el recién anunciado o4-mini, ya superan a o3 en FrontierMath, y OpenAI dice que una mejor variante o3-pro llegará en las próximas semanas.
Aún así, muestra cómo los titulares de los puntos de referencia pueden ser engañosos. En enero, Epoch fue criticada por retrasar la divulgación de la financiación de OpenAI hasta después del debut de o3. Más recientemente, la startup de Elon Musk, xAI, fue acusada de presentar gráficos que exageraban las capacidades de su modelo Grok 3.
Los observadores de la industria dicen que estas controversias sobre puntos de referencia se están convirtiendo en un fenómeno en la industria de la IA a medida que las empresas compiten por captar titulares con nuevos modelos.
No te limites a leer noticias sobre criptomonedas. Entiéndelas. Suscríbete a nuestro boletín. Es gratis.
Aviso de responsabilidad. La información proporcionada no es un consejo de trading. Cryptopolitan.com no asumimos responsabilidad alguna por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente la investigación independiente y/o la consulta con un profesional calificado antes de tomar cualquier decisión de inversión.
Noor Bazmi
Noor Bazmi contribuye al equipo de noticias de Cryptopolitan con una licenciatura en Estudios de Medios. Noor cubre noticias sobre blockchain, criptomonedas, inteligencia artificial, grandes tecnológicas, mercados de VE, economía global y cambios en políticas gubernamentales. Está cursando estudios de marketing para conectar con audiencias globales.
