Последняя «рассуждающая» модель OpenAI в базовых ошибках

OpenAI недавно выпустила «рассуждающую» модель ИИ – o1, но она уже поражена базовыми ошибками, согласно новой рекламе компании.

Создатель ChatGPT выпустил то, что он назвал своей самой продвинутой моделью на сегодняшний день для платных подписчиков, начав свое «12 дней OpenAI» событие, которое представляет собой серию релизов для празднования праздничного сезона.

Демо-видео OpenAI предполагает, что модель склонна к ошибкам

Согласно видео, выпущенному OpenAI для демонстрации сильных сторон модели, пользователь загружает изображение деревянного птичьего домика, а затем просит модель дать совет о том, как построить аналогичный. «Рассуждающая» модель, кажется, «думает» в течение момента, прежде чем выдать то, что кажется набором инструкций.

При более близком рассмотрении инструкции оказываются пустой тратой времени. Модель измеряет необходимый материал для задачи, такой как краска, клей и герметик, но она предоставляет размеры только для передней панели птичьего домика.

Модель предлагает вырезать кусок наждачной бумаги до других размеров, которые не являются необходимыми. Кроме того, модель утверждает, что дает «точные размеры», но не приводит никаких точных размеров, что противоречит ее предыдущим заявлениям.

Джеймс Филус, директор Института плотников, британской торговой организации, также раскрыл ошибки модели, такие как инструменты, которые необходимы, но отсутствуют в списке o1, например, молоток.

"Вы бы знали столько же о строительстве птичьего домика по изображению, сколько и по тексту, что полностью лишает смысла саму цель использования ИИ-инструмента."

Филус.

Кроме того, Филус также сообщил, что стоимость строительства того же самого птичьего домика будет «далеко не» в пределах 20–50 долларов, как оценила модель.

Модель OpenAI делает противоположное тому, для чего предназначена

Случай с o1 добавляется к другим примерам демонстраций продуктов моделей ИИ, где они делают противоположное предполагаемой цели. В 2023 году реклама Google для инструмента поиска с помощью ИИ ошибочно указала, что телескоп Джеймса Уэбба сделал открытие, которого не было. Эта ошибка привела к падению цены акций компании.

Это было не все от гиганта поисковой системы, так как недавно обновленная версия аналогичного инструмента Google сказала пользователям, что безопасно есть камни. Он также утверждал, что пользователи могут использовать клей, чтобы приклеить сыр к своей пицце.

Несмотря на ошибки, модель o1, согласно публичным бенчмаркам, остается самой мощной моделью OpenAI на сегодняшний день. Она также использует другой подход к ответам на вопросы по сравнению с ChatGPT.

Согласно Time, o1 по-прежнему является очень продвинутым предиктором следующего слова, так как она обучалась с использованием машинного обучения на миллиардах слов текста из интернета и других источников.

Модель использует технику, известную как «цепочка рассуждений» (chain of thought), чтобы «подумать» над ответом в фоновом режиме и выдает его только после этого. Это отличается от простого выдачи слов в ответ на запрос.

Это помогает модели давать более точные ответы, в отличие от случаев, когда она просто выдает слова в ответ на запросы пользователей.