Новейшая модель «рассуждений» OpenAI в области базовых ошибок

Компания OpenAI недавно выпустила модель искусственного интеллекта, способную к «рассуждениям» – o1, но, согласно новой рекламе компании, она уже изобилует элементарными ошибками.

Компания ChatGPT выпустила, как она сама назвала, свою самую продвинутую на сегодняшний день модель для платных подписчиков в рамках мероприятия «12 дней OpenAI», представляющего собой серию релизов, приуроченных к праздничному сезону.

Демонстрационное видео OpenAI свидетельствует о том, что модель подвержена ошибкам

Согласно видеоролику, выпущенному компанией OpenAI для демонстрации сильных сторон модели, пользователь загружает изображение деревянного скворечника, а затем просит модель дать совет, как построить похожий. «Рассуждающая» модель, похоже, «думает» некоторое время, прежде чем выдать, по-видимому, набор инструкций.

При ближайшем рассмотренииинструкция кажется пустой тратой времени. Модель показывает необходимые для работы материалы, такие как краска, клей и герметик, но размеры указаны только для передней панели скворечника.

Модель предлагает вырезать кусок наждачной бумаги по другим, ненужным размерам. Кроме того, в модели утверждается, что она предоставляет «точные размеры», но точные размеры не указаны, вопреки предыдущим заявлениям.

Джеймс Филус, директор Института плотников, британской профессиональной организации, также выявил ошибки в модели, например, отсутствие в списке необходимых инструментов, таких как молоток.

«По изображению вы будете знать о строительстве скворечника столько же, сколько и по тексту, что, по сути, сводит на нет всю цель использования инструмента искусственного интеллекта»

Филус.

Кроме того, Филус также сообщил, что стоимость постройки такого же скворечника будет «далеко не приближаться» к 20-50 долларам, которые были оценены моделью.

Модель OpenAI делает прямо противоположное тому, для чего она предназначена

Случай с o1 пополняет ряды других примеров демонстрации продуктов с использованием моделей ИИ, где они делают прямо противоположное тому, для чего были предназначены. В 2023 году в рекламе инструмента поиска с поддержкой ИИ ошибочно указывалось, что телескоп Джеймса Уэбба сделал открытие, которого на самом деле не было. Эта ошибка привела к падению цены акций компании.

Это еще не все от поискового гиганта: недавно обновленная версия аналогичного инструмента Google сообщила пользователям, что камни можно есть безопасно. В ней также утверждалось, что пользователи могут использовать клей, чтобы приклеить сыр к пицце.

Несмотря на ошибки, модель o1, согласно общедоступным тестам, остается самой совершенной моделью OpenAI на сегодняшний день. Она также использует иной подход к ответам на вопросы по сравнению с ChatGPT.

По данным журнала Time, o1 по-прежнему является очень продвинутым инструментом прогнозирования следующего слова, поскольку он был обучен с использованием машинного обучения на миллиардах слов текста из интернета и других источников.

Модель использует метод, известный как «цепочка рассуждений», чтобы «обдумать» ответ в течение короткого времени, не выходя из-за кулис, и дать ответ только после этого. Это отличается от простого произнесения слов в ответ на подсказку.

Это помогает модели давать более точные ответы, в отличие от ситуации, когда она просто выдает слова в ответ на запросы пользователя.