Исследование выявило проблемы ChatGPT с освоением элементарной математики

В стремительно развивающемся мире технологий чат-боты на основе искусственного интеллекта (ИИ) стали значительным прорывом. Среди них ChatGPT от OpenAI выделяется и привлекает внимание с момента своего публичного запуска в прошлом году. Его способность вести непринужденные беседы принесла ему признание и вызвала ожесточенную глобальную гонку за разработку еще более совершенных моделей ИИ. Однако, на фоне как аплодисментов, так и опасений по поводу потенциального доминирования ИИ, недавние исследования выявили неожиданное явление: снижение эффективности ChatGPT в решении базовых математических задач.

Понимание феномена «дрейфа» ИИ

Термин «дрейф» в контексте ИИ — это не просто модное словечко. Это реальное, наблюдаемое явление, привлекшее внимание академического сообщества. Совместные исследования Стэнфордского университета и Калифорнийского университета в Беркли пролили свет на этот интригующий аспект поведения ИИ.

Суть «дрейфа» заключается в непредвиденных последствиях оптимизации модели. По мере того, как исследователи и разработчики стремятся улучшить определенные функции этих сложных моделей ИИ, другие области могут непреднамеренно пострадать. Именно это и происходит с ChatGPT.

Джеймс Зу, известный профессор Стэнфордского университета и ключевой участник исследований, пояснил: «Когда вы корректируете модель, чтобы улучшить ее в одном конкретном направлении, существует реальный риск регресса в других областях». Эта внутренняя проблема подчеркивает сложность достижения стабильного прогресса в моделях искусственного интеллекта.

Погружение в суть упадка

Исследование не ограничивалось поверхностным изучением возможностей ChatGPT. Это был тщательный анализ, проведенный Линцзяо Ченом, прилежным аспирантом-dent из Стэнфорда, и Матеем Захарией, видным деятелем из Беркли. Их цель была ясна: оценить, как две разные версии ChatGPT показали себя в течение определенного периода времени.

Их выводы оказались поразительными. Можно было бы предположить, чтоdentпростых чисел, относительно простая задача для компьютеров, будет пустяком для такого продвинутого ИИ. Однако результаты показали совсем другое.

В ходе тестирования, проведенного в марте, GPT-4, премиальная версия ChatGPT, получила 1000 различных чисел. Она смогла правильно определить простоту 84% из них. Однако к июню точность резко упала до 51%. Это был не единичныйdent. Из восьми различных задач производительность GPT-4 ухудшилась в шести. Хотя GPT-3.5 улучшила свои показатели в шести областях, она в основном отставала от своего преемника.

Последствия быстрого дрейфа

Хотя «дрейф» — это общепризнанное понятие среди энтузиастов ИИ, скорость, с которой он проявился в ChatGPT, оказалась неожиданной. Наблюдения исследовательской группы вышли за рамкиmaticзадач. Они отметили заметное снижение скорости ответа GPT-4 на запросы, ориентированные на мнение пользователей. С впечатляющих 98% отклика в марте он снизился до 23% к июню.

Эта регрессия может быть связана с набирающей популярность тенденцией «инженерного проектирования подсказок». Это подразумевает создание пользователями конкретных подсказок дляtracопределенных, а иногда и спорных, ответов от ИИ. Снижениеmaticвозможностей ChatGPT может быть непреднамеренным следствием мер, принятых для противодействия таким манипулятивным подсказкам.

Как ориентироваться в будущем искусственного интеллекта

Несмотря на препятствия, общее мнение, особенно среди исследовательского сообщества, заключается не в том, чтобы отказываться от этой технологии. Вместо этого акцент делается на бдительности. Цзоу страстно выступает за более строгий подход к мониторингу. Разделяя его точку зрения, объединенная команда из Стэнфорда и Беркли готовится подвергнуть модели ИИ, включая ChatGPT, серии тестов. Их цель? Эмпирически оценить их эволюцию во времени.

Развитие искусственного интеллекта не является линейным процессом. Это динамичное путешествие, отмеченное шагами вперед, occasional спотыканиями и неожиданными отклонениями. По мере того, как мировое сообщество продолжает ориентироваться в сложном лабиринте ИИ, становитсяdentодно: путь понимания и совершенствования этих систем еще далек от завершения.