Il Prompting "Chain of Thought" Aiuta l'AI a Risolvere i Puzzle di Vocabolario

L'AI ha lo stesso set di competenze degli esseri umani e possono trovare indizi sottili nelle parole del vocabolario? I ricercatori della NYU Tandon School of Engineering non sono sorpresi di vedere l'attività numero uno svolta dalle persone (partecipazione al puzzle quotidiano Connections) del New York Times, come menzionato nel documento.

Valutazione dei modelli linguistici AI

L'indagine ha rivelato una domanda controversa per la prossima conferenza IEEE 2024 di Milano sugli studi sui giochi e la condivisione di conoscenze disponibili e comuni: è possibile che le moderne tecniche di elaborazione del linguaggio naturale (NLP) risolvano i puzzle basati sul linguaggio? 

Con Julian Togelius, Professore Assistente di CSE e Direttore del Game Innovation Lab alla NYU Tandon, come co-autore, il team si è concentrato su due metodi AI – machine learning e apprendimento di rappresentazione di alto livello. Il primo ha sfruttato GPT-3.5 e l'ultimo rilascio GPT-4, i modelli linguistici eccezionali con dominio aperto e linguaggi simili agli umani sense di OpenAI, è un altro.

Il prossimo meccanismo si basa su modelli di embedding di frasi, in particolare BERT, RoBERTa, MPNet e MiniLM. Questi modelli rappresentano i dati semantici come rappresentazione vettoriale ma mancano delle competenze complete di comprensione e generazione del linguaggio dei LLM.

Tuttavia, è stata tratta la conclusione che, sebbene tutte le macchine AI potessero eseguire alcune delle attività coinvolte in Connections, la sfida è rimasta quasi insormontabile. Tendeva a essere migliore di altre nella categoria precedente, inclusi risultati notevoli come i metodi di embedding e GPT-3.

Una delle scoperte chiave qui è che i modelli mostrano una connessione molto vicina alla capacità umana di categorizzare rapidamente le difficoltà dei puzzle da "semplici" a "sfidanti". LLMs sono usati più frequentemente, e scrutinare in quali contesti falliscono riguardo al problema Connections può rivelare una restrizione generale nell'elaborazione semantica del linguaggio naturale, ha aggiunto Graham Todd, studente di dottorato nel Game Innovation Lab, autore principale dello studio.

Spingere i confini con GPT-4

I ricercatori hanno osservato che chiedere a GPT-4 di risolvere i puzzle attraverso un approccio frammentario ha notevolmente migliorato la capacità di risolvere i puzzle, specialmente con una precisione di poco superiore al 39% dei puzzle.

Un'altra prova di ciò per cui i 'prompt di catena di pensiero' sono buoni, come hanno mostrato ricerche precedenti, ora confermato nella nostra indagine, è che porta a un pensiero strutturato nel vocabolario, come dichiarato da Timothy Merino, Ph.D. Studente universitario di primo anno al Game Innovation Lab e uno degli autori di questo abstract. La questione dei modelli linguistici che fanno il lavoro e concludono i compiti meglio è risolta bene facendoli pensare al rispettivo lavoro che stanno facendo. I ricercatori hanno utilizzato un archivio online di puzzle con 250 puzzle che rappresentano i puzzle quotidiani dal 12 giugno 2023 al 16 febbraio 2024.