Исследование выявило трудности ChatGPT с базовой математикой

фото 2023 08 06 23 22 19
- Дрейф в ИИ-моделях создает проблемы, приводя к непредвиденным последствиям, поскольку некоторые функции улучшаются за счет других.
- Снижение способности ChatGPT решать задачи по базовой математике и другим направлениям подчеркивает сложность обеспечения последовательного прогресса в развитии ИИ-моделей.
- Бдительность и тщательный мониторинг имеют решающее значение для понимания и совершенствования ИИ-систем по мере их развития.
В быстро развивающемся мире технологий чат-боты на базе искусственного интеллекта (ИИ) стали значительным прорывом. Среди них ChatGPT от OpenAI выделяется, захватывая аудиторию с момента своего публичного запуска в прошлом году. Его способность вести плавные разговоры принесла ему признание и разожгла жестокую глобальную гонку за разработку еще более продвинутых моделей ИИ. Однако на фоне аплодисментов и опасений по поводу потенциального доминирования ИИ недавние открытия выявили неожиданное развитие: снижение квалификации ChatGPT в базовой математике.
Понимание явления «дрейфа» ИИ
Термин «дрейф» в ИИ — это не просто модное словечко. Это реальный наблюдаемый феномен, который привлек внимание академического сообщества. Совместные исследовательские усилия Стэнфордского университета и Калифорнийского университета в Беркли пролили свет на этот интригующий аспект поведения ИИ.
Суть «дрейфа» заключается в непреднамеренных последствиях оптимизации моделей. По мере того как исследователи и разработчики стремятся улучшить определенные функции этих сложных моделей ИИ, другие области могут непреднамеренно пострадать. Именно это и происходит с ChatGPT.
Джеймс Зоу, известный профессор Стэнфорда и ключевой участник исследования, пояснил: «Когда вы настраиваете модель для улучшения в одном конкретном направлении, существует реальная риск регрессии в других областях». Эта внутренняя проблема подчеркивает сложность достижения последовательного прогресса в моделях ИИ.
Погружение в спад
Исследование не было поверхностным взглядом на возможности ChatGPT. Это был тщательный анализ, возглавляемый Линцзяо Чен, усердным аспирантом по компьютерным наукам из Стэнфорда, и Матеем Захарией, видной фигурой из Беркли. Их цель была ясна: оценить, как две различные версии ChatGPT справлялись с задачами в течение определенного периода.
Их результаты были поразительными. Можно было бы предположить, что определение простых чисел, относительно простой задачи для компьютеров, было бы легкой задачей для такого продвинутого ИИ. Однако результаты рассказали другую историю.
В тесте, проведенном в марте, GPT-4, премиальная версия ChatGPT, была представлена с 1000 различными числами. Ей удалось правильно определить простоту 84% из них. Быстро переместимся к июню, и ее точность упала до жалких 51%. Это не было изолированным инцидентом. Из восьми разнообразных задач производительность GPT-4 ухудшилась в шести. Хотя GPT-3.5 улучшилась в шести областях, она в основном отставала от своего преемника.
Последствия быстрого дрейфа
Хотя «дрейф» является признанным понятием среди поклонников ИИ, скорость, с которой он проявился в ChatGPT, была неожиданной. Наблюдения исследовательской команды выходили за рамки математических задач. Они отметили заметное снижение отзывчивости GPT-4 на запросы, основанные на мнениях. С commendable 98% уровня ответов в марте он упал до 23% к июню.
Эта регрессия может быть связана с растущим трендом «инженерии промптов». Это включает в себя создание пользователями конкретных промптов для извлечения определенных, а иногда и противоречивых, ответов ИИ. Деградация математических способностей ChatGPT может быть непреднамеренным следствием мер, принятых для противодействия таким манипулятивным промптам.
Навигация в будущем ИИ
Несмотря на препятствия, консенсус, особенно среди исследовательского сообщества, заключается не в отказе от технологии. Вместо этого акцент делается на бдительности. Зоу страстно выступает за более строгий подход к мониторингу. Эхо его чувств, совместная команда из Стэнфорда и Берkeley готовится подвергнуть модели ИИ, включая ChatGPT, серии тестов. Их цель? Эмпирически оценить их эволюцию с течением времени.
Путь прогресса ИИ нелинеен. Это динамичное путешествие, отмеченное шагами вперед, случайными спотыканиями и неожиданными отклонениями. По мере того как мировое сообщество продолжает ориентироваться в сложном лабиринте ИИ, очевидно одно: путь понимания и совершенствования этих систем еще далек от завершения.
Если вы читаете это, вы уже впереди. Оставайтесь с нами, подписавшись на нашу рассылку.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com не несет ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем провести независимое исследование и/или проконсультироваться с квалифицированным специалистом перед принятием любого инвестиционного решения.

Джон Палмер
Джон Мурангири пришел в Cryptopolitan, обладая навыками анализа рынка. Джон (также известный как JP) окончил Найробийский университет по специальности «Массовая коммуникация и медиаисследования». Ранее он публиковал аналитические материалы о криптовалютном рынке на InsideBitcoins.com и Metacoingraph.















