Революционный подход к обучению позволяет ИИ обобщать, как человеческий разум

В прорывном развитии для области искусственного интеллекта (ИИ) исследователи представили новый протокол обучения, который может значительно улучшить способность модели ИИ к обобщению и пониманию информации, приближая ее к тому, как люди учатся и рассуждают. Этот инновационный подход бросает вызов общепринятому мнению о том, что больше данных — ключ к улучшению машинного обучения, предлагая новые идеи о секретах как ИИ, так и человеческого познания.

Люди преуспевают в понимании и объединении различных компонентов для осмысления мира, когнитивный навык, известный как «композициональность» или «систематическое обобщение». Это позволяет нам декодировать незнакомые предложения, создавать оригинальные ответы и понимать скрытые значения слов и правил грамматики. Достижение композициональности долгое время было вызовом для разработчиков ИИ, так как традиционные нейронные сети struggle имитировать этот фундаментальный аспект человеческого познания.

Хотя текущие модели генеративного ИИ, такие как GPT-3 и GPT-4 от OpenAI, могут в некоторой степени имитировать композициональность, они часто не справляются с определенными тестами, не понимая истинного смысла и намерения за генерируемыми предложениями. Однако недавнее исследование, опубликованное в Nature, предполагает, что уникальный протокол обучения, сосредоточенный на том, как учатся нейронные сети, может быть ключом к решению этой проблемы.

Изменение процесса обучения

Авторы исследования подошли к обучению ИИ с другой стороны, избегая необходимости создавать совершенно новые архитектуры ИИ. Вместо этого они начали со стандартной модели трансформера, той же базовой архитектуры, которая используется в ChatGPT и Google Bard, но без предварительного обучения на тексте. Ключевой инновацией был сам процесс обучения.

Исследователи разработали набор задач, включающих вымышленный язык, состоящий из бессмысленных слов, таких как «dax», «lug», «kiki», «fep» и «blicket». Эти слова были связаны с наборами цветных точек, причем некоторые слова напрямую представляли определенные цвета точек, а другие обозначали функции, которые изменяли выходные данные точек. Например, «dax» представлял красную точку, а «fep» была функцией, которая при сочетании с «dax» или другими символическими словами умножала соответствующий выход точки на три. Ключевым моментом было то, что ИИ не получал никакой информации об этих ассоциациях; исследователи просто предоставили примеры бессмысленных предложений вместе с соответствующими конфигурациями точек.

ИИ достигает уровня человеческого понимания

По мере прохождения модели ИИ процесса обучения она постепенно научилась давать связные ответы, соблюдая подразумеваемые правила бессмысленного языка. Даже при столкновении с новыми комбинациями слов ИИ демонстрировал способность «понимать» придуманные правила языка и применять их к ранее не встречавшимся фразам. Это поразительное достижение намекает на потенциал ИИ к обобщению — критическому шагу на пути к человеческому мышлению.

Для оценки работы ИИ исследователи сравнили её с результатами людей. В некоторых случаях обученный ИИ показывал 100-процентную точность, превосходя людей, чья точность составила около 81 процента. Даже когда ИИ ошибался, эти ошибки повторяли типичные человеческие ошибки, что подчеркивает его способность к человеческому мышлению.

Особенно примечательно то, что такие впечатляющие результаты были достигнуты с относительно небольшой трансформерной моделью, а не с массивным ИИ, обученным на огромных наборах данных. Этот вывод предполагает, что вместо того чтобы перегружать модели машинного обучения бесконечными данными, более сфокусированный подход, подобный специализированному курсу лингвистики или алгебры, может привести к существенному улучшению возможностей ИИ.

Последствия и будущие направления

Хотя этот новый протокол обучения обещает хорошие результаты, важно признать его ограничения. Модель ИИ отлично справлялась с конкретными задачами, связанными с распознаванием паттернов в вымышленном языке, но испытывала трудности при столкновении с совершенно новыми вызовами или непривычными формами обобщения. Следовательно, важно понимать, что достижение ограниченного обобщения в ИИ является значительным шагом, но всё ещё не достигает конечной цели — искусственного общего интеллекта.

Армандо Солар-Лезама, компьютерный ученый из Массачусетского технологического института, отмечает, что это исследование может открыть новые пути для улучшения ИИ. Сосредоточившись на обучении моделей эффективному мышлению даже в синтетических задачах, мы можем найти способы расширить возможности ИИ за пределы текущих ограничений. Однако масштабирование этого нового протокола обучения может столкнуться с проблемами, которые необходимо решить.

Помимо практических последствий для ИИ, это исследование может также пролить свет на внутреннее устройство нейронных сетей и их эмерджентные способности. Понимание этих процессов может способствовать минимизации ошибок в системах ИИ и улучшению нашего понимания человеческой когнитивной деятельности.