Метод «цепочки мыслей» помогает ИИ решать словарные головоломки

ли ИИ тем же набором навыков, что и люди, и может ли он находить тонкие подсказки в словарном запасе? Исследователи из Инженерной школы Тандон при Нью-Йоркском университете не удивлены, увидев, что самым популярным занятием среди людей является участие в ежедневной головоломке Connections от The New York Times, как указано в статье. 

Оценка моделей искусственного интеллекта для обработки языка

В ходе исследования был выявлен спорный вопрос, который будет обсуждаться на предстоящей конференции IEEE 2024 в Милане, посвященной изучению игр и обмену имеющимися и общедоступными знаниями: могут ли современные методы обработки естественного языка (NLP) решать головоломки, основанные на языке? 

Вместе с Джулианом Тогелиусом, доцентом кафедры компьютерных наук и инженерии и директором Лаборатории игровых инноваций в NYU Tandon, команда сосредоточилась на двух методах искусственного интеллекта — машинном обучении и обучении высокоуровневым представлениям. Первый метод использовал GPT-3.5, а второй — последнюю версию GPT-4, выдающиеся языковые модели с открытым исходным кодом и возможностью воспроизведения от OpenAI.

Следующий механизм основан на моделях векторного представления предложений, в частности, на BERT, RoBERTa, MPNet и MiniLM. Эти модели представляют семантические данные в виде векторного представления, но им не хватает полного понимания языка и навыков генерации предложений, присущих моделям LLM.

Однако был сделан вывод, что, хотя все машины с искусственным интеллектом могут выполнять некоторые задачи, связанные с Connections, эта задача остается практически непреодолимой. Она, как правило, превосходит другие машины в предыдущей категории, включая такие выдающиеся достижения, как методы встраивания и GPT-3.

Один из ключевых выводов исследования заключается в том, что модели демонстрируют очень тесную связь с человеческой способностью быстро классифицировать сложность головоломок от «простых» до «сложных». Модели LLM используются все чаще, и анализ того, в каких контекстах они терпят неудачу в решении проблемы «Связей», может выявить общее ограничение в семантической обработке естественного языка, добавил Грэм Тодд, аспирантdent игровых инноваций и ведущий автор исследования.

Расширяем границы возможного с помощью GPT-4

Исследователи заметили, что, попросив GPT-4 решать головоломки по частям, они значительно улучшили способность к их решению, особенно с точностью чуть более 39%.

Ещё одно доказательство пользы «цепочки мыслей», как показали предыдущие исследования, и как подтвердило наше исследование, заключается в том, что она приводит к структурированному мышлению в отношении лексики, как утверждает Тимоти Мерино, доктор философии, студент-dent Лаборатории игровых инноваций и один из авторов этогоtrac. Вопрос о том, насколько лучше языковые модели выполняют работу и завершают задачи, хорошо решается за счёт того, что они заставляют себя думать о той работе, которую выполняют. Исследователи использовали онлайн-архив головоломок, содержащий 250 головоломок, представляющих ежедневные задания с 12 июня 2023 года по 16 февраля 2024 года.