Новые модели ChatGPT от OpenAI чаще «галлюцинируют»

Новейшие модели рассуждения OpenAI, o3 и o4-mini, чаще выдают вымышленные ответы, чем более ранние модели компании, как показывают внутренние и внешние тесты. 

Рост так называемых «галлюцинаций» нарушает давнюю тенденцию, при которой каждый новый релиз обычно придумывал меньше информации, чем предыдущая модель.

Собственные данные OpenAI ставят проблему в резких терминах. На тесте PersonQA, корпоративном бенчмарке, проверяющем, насколько хорошо модель запоминает факты о людях, o3 придумывала информацию в 33 % ответов, что примерно вдвое превышает показатели o1 и o3-mini, которые набрали 16 % и 14,8 % соответственно. O4-mini показала еще худший результат, «галлюцинируя» в 48 % случаев.

В техническом отчете подробно описываются эти выводы. Инженеры пишут, что новые модели превосходят предыдущие версии в задачах по программированию и математике, однако, поскольку они «делают больше утверждений в целом», они также делают «больше точных, а также неточных / вымышленных утверждений». В документе добавляется, что «требуется больше исследований», чтобы объяснить снижение надежности.

OpenAI классифицирует системы серии o как модели рассуждения, направление, которое компания и большая часть отрасли поддерживали в прошлом году. Традиционные нерассуждающие модели, такие как GPT-4o с поиском в интернете, превосходят новейшую пару по достоверности: GPT-4o с поиском достигает точности 90 % на SimpleQA, еще одном внутреннем бенчмарке.

Модель o3 от OpenAI придумывает шаги

Транслус, лаборатория ИИ без цели получения прибыли, сообщила о том, что модель o3 придумывает шаги. В одном из запусков модель заявила, что выполнила код на MacBook Pro 2021 года «вне ChatGPT», а затем скопировала числа обратно. Модель просто не способна на такое.

«Наша гипотеза заключается в том, что вид обучения с подкреплением, используемый для моделей серии o, может усиливать проблемы, которые обычно смягчаются (но не полностью устраняются) стандартными постобучающими конвейерами», — сказал Нил Чоудхури, исследователь Transluce и бывший сотрудник OpenAI, в электронном письме.

Соучредитель Transluce Сара Шветтманн сказала, что более высокий уровень ошибок может сделать o3 менее полезной, чем предполагают ее сырые навыки.

Кьян Катанфорош, адъюнкт-профессор Стэнфорда, сказал TechCrunch, что его команда уже тестирует o3 для задач программирования и считает ее «на ступень выше конкурентов». Однако он отметил еще один недостаток: модель часто возвращает веб-ссылки, которые не работают при нажатии.

Галлюцинации могут стимулировать творчество, но они делают системы сложными для внедрения в бизнес, требующий точности. Например, юридическая фирма, составляющая контракты, вряд ли будет терпеть частые фактические ошибки.

Поиск в реальном времени может снизить количество галлюцинаций в моделях ИИ

Одним из возможных решений является поиск в реальном времени. Версия GPT-4o от OpenAI, которая обращается к веб-поиску, уже показывает лучшие результаты на SimpleQA. В отчете предлагается, что та же тактика может сократить количество галлюцинаций в моделях рассуждения, по крайней мере, когда пользователи готовы отправлять запросы стороннему поисковому движку.

«Устранение галлюцинаций во всех наших моделях является постоянной областью исследований, и мы постоянно работаем над повышением их точности и надежности», — сказал в электронном письме представитель OpenAI Нико Феликс.

Остается неясным, решит ли проблема только поиск в реальном времени. В отчете предупреждается, что если масштабирование моделей рассуждения продолжит ухудшать галлюцинации, поиск исправлений станет более срочным. Исследователи давно называют галлюцинации одной из самых сложных проблем в ИИ, а последние выводы подчеркивают, насколько еще далеко до решения этой проблемы.

Для OpenAI репутация важна, поскольку ChatGPT используется на рабочих местах, в классах и творческих студиях. Инженеры говорят, что будут продолжать настраивать обучение с подкреплением, отбор данных и использование инструментов, чтобы снизить эти показатели. До тех пор пользователям придется балансировать между более острыми навыками и повышенным риском быть введенными в заблуждение.