Промпт «Цепочка рассуждений» (Chain of Thought) помогает ИИ решать словарные головоломки

Обладает ли ИИ таким же набором навыков, как и люди, и могут ли они находить тонкие подсказки в словарных словах? Исследователи из Школы инженерии Tandon при Нью-Йоркском университете не удивлены тем, что самой популярной деятельностью, выполняемой людьми (участие в ежедневной головоломке Connections), является та, о которой говорится в статье, опубликованной The New York Times.

Оценка языковых моделей ИИ

Исследование выявило спорный вопрос для предстоящей конференции IEEE 2024 в Милане по исследованиям игр и обмену доступными и общими знаниями: возможно ли, чтобы современные методы обработки естественного языка (NLP) решали языковые головоломки? 

В соавторстве с Джулианом Тогелиусом, доцентом кафедры компьютерных наук и инженерии и директором Лаборатории инноваций в играх при NYU Tandon, команда сосредоточилась на двух методах ИИ — машинном обучении и обучении высокоуровневым представлениям. Первый использовал GPT-3.5 и последнюю версию GPT-4, выдающиеся языковые модели с открытой областью и человеческим языковым чувством от OpenAI, является еще одним примером.

Следующий механизм опирается на модели встраивания предложений, особенно BERT, RoBERTa, MPNet и MiniLM. Эти модели представляют семантические данные в виде векторных представлений, но им не хватает полного понимания языка и навыков генерации, присущих LLM.

Однако был сделан вывод, что, хотя все ИИ-машины могли выполнять некоторые задачи, связанные с Connections, задача оставалась почти непреодолимой. Они склонны быть лучше других в более ранней категории, включая заметные достижения, такие как методы встраивания и GPT-3.

Одним из ключевых выводов здесь является то, что модели демонстрируют очень тесную связь со способностью людей быстро классифицировать сложность головоломок от «простой» до «сложной». LLM используются все чаще, и тщательный анализ контекстов, в которых они терпят неудачу при решении проблемы Connections, может выявить общее ограничение в семантической обработке естественного языка, добавил Грэм Тодд, аспирант Лаборатории инноваций в играх и главный автор исследования.

Расширяя границы с GPT-4

Исследователи наблюдали, что просьба к GPT-4 решать головоломки поэтапным подходом значительно улучшила способность решать их, особенно с точностью чуть более 39% головоломок.

Еще одно доказательство того, для чего хороши «промты цепочки рассуждений», как показали предыдущие исследования, теперь подтверждено в нашем исследовании: это приводит к структурированному мышлению в словарном запасе, как заявил Тимоти Меррино, Ph.D., студент бакалавриата Лаборатории инноваций в играх и один из авторов этого абстракта. Вопрос о том, лучше ли языковые модели выполняют работу и завершают задачи, хорошо решается тем, что заставляют их думать о соответствующей работе, которую они выполняют. Исследователи использовали онлайн-архив пазлов с 250 головоломками, представляющими ежедневные головоломки с 12 июня 2023 года по 16 февраля 2024 года.