- OpenAI заявляла, что её модель o3 способна решить более 25% задач FrontierMath, однако новые тесты от Epoch AI показывают, что публичная версия решает лишь около 10%.
- ARC Prize и инженер OpenAI подтверждают, что выпущенная модель — это облегчённая и более быстрая версия, оптимизированная для чат-использования.
- Конкурирующие компании, включая xAI и Meta, также подвергаются критике за завышенные результаты бенчмарков.
Новейшая языковая модель OpenAI o3 подвергается критике после того, как независимые тесты показали, что она решает значительно меньше сложных математических задач, чем первоначально заявляла компания.
Когда OpenAI представила o3 в декабре, руководители компании заявили, что модель может ответить «чуть более чем на четверть» задач в FrontierMath — наборе notoriously сложных математических головоломок для студентов старших курсов.
Лучший конкурент, добавили они, застрял около отметки 2%. «Сегодня все существующие предложения имеют показатель менее 2%», — сказал главный исследовательский директор Марк Чен во время прямой трансляции o3 и o3 mini. «Мы видим, что при агрессивных настройках вычислений во время тестирования o3 мы способны преодолеть отметку в 25%».
TechCrunch сообщал что этот результат был получен OpenAI на версии o3, которая использовала больше вычислительных мощностей, чем модель, выпущенная компанией на прошлой неделе.
В пятницу исследовательский институт Epoch AI, создавший FrontierMath, опубликовал свои собственные оценки для публичной версии o3.
OpenAI выпустила o3, свою долгожданную модель рассуждений, а также o4-mini, более маленькую и дешевую модель, пришедшую на смену o3-mini.
Мы оценили новые модели в нашем наборе математических и научных бенчмарков. Результаты в потоке! pic.twitter.com/5gbtzkEy1B
— Epoch AI (@EpochAIResearch) апреля 18, 2025
Используя обновленное издание бенчмарка из 290 вопросов, Epoch оценил результат модели примерно в 10%.
Этот результат совпадает с нижней границей, указанной в техническом документе OpenAI от декабря, и Epoch предупредила, что расхождение может быть вызвано различными причинами.
«Разница между нашими результатами и результатами OpenAI может быть связана с тем, что OpenAI использовала более мощный внутренний каркас для оценки, применяла больше вычислений во время тестирования или потому, что эти результаты были получены на другом подмножестве FrontierMath», — написала Epoch в своем отчете.
FrontierMath предназначен для измерения прогресса в области продвинутого математического мышления. Публичный набор от декабря 2024 года содержал 180 задач, тогда как частное обновление от февраля 2025 года расширило пул до 290 задач.
Изменения в списке вопросов и количестве вычислительных мощностей, разрешенных во время тестирования, могут вызывать значительные колебания в сообщаемых процентах.
OpenAI подтвердила, что публичная модель o3 использует меньше вычислительных мощностей, чем демонстрационная версия
Доказательства того, что коммерческая версия o3 не соответствует ожиданиям, также были получены в ходе тестов, проведенных Фондом ARC Prize, который протестировал более раннюю, более крупную версию. В публичном релизе «представлена другая модель… адаптированная для чатов и использования в продуктах», — написал Фонд ARC Prize в X, добавив, что «все выпущенные уровни вычислительных мощностей o3 меньше версии, которую мы тестировали».
Сотрудник OpenAI Вэньда Чжоу предложил аналогичное объяснение во время прямой трансляции на прошлой неделе. По его словам, производственная система «более оптимизирована для реальных сценариев использования» и скорости. «Мы провели [оптимизацию], чтобы сделать модель более экономичной [и] более полезной в целом», — сказал Чжоу, признав возможные «расхождения» в бенчмарках.
Две более маленькие модели компании, o3-mini-high и недавно анонсированная o4-mini, уже превзошли o3 в FrontierMath, и OpenAI заявляет, что улучшенная версия o3-pro появится в ближайшие недели.
Тем не менее, это показывает, как заголовки о бенчмарках могут вводить в заблуждение. В январе Epoch подверглась критике за задержку раскрытия информации о финансировании OpenAI до после дебюта o3. Недавно стартап Илона Маска xAI обвинили в представлении графиков, преувеличивающих возможности его модели Grok 3.
Наблюдатели отрасли говорят, что такие споры о бенчмарках становятся обычным явлением в индустрии ИИ, поскольку компании соревнуются за заголовки новостей с новыми моделями.
Если вы читаете это, вы уже впереди. Оставайтесь с нами, подписавшись на нашу рассылку.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com Мы не несем ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимое исследование и/или проконсультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Нур Базми
Нуор Базми работает в новостной команде Cryptopolitan, имея степень по медиаисследованиям. Нуор освещает новости о блокчейне, криптовалютах, искусственном интеллекте, крупных технологических компаниях, рынке электромобилей, глобальной экономике и изменениях в государственной политике. Она изучает маркетинг, чтобы лучше взаимодействовать с международной аудиторией.
