L'incitation « Chaîne de Pensée » aide l'IA à résoudre les puzzles de vocabulaire

L'IA possède-t-elle le même ensemble de compétences que les humains, et peut-elle trouver des indices subtils dans les mots du vocabulaire ? Les chercheurs de l'École d'ingénierie Tandon de l'Université de New York (NYU) ne sont pas surpris de voir l'activité numéro un réalisée par les gens (participation au puzzle quotidien Connections) du New York Times, comme mentionné dans l'article.

Évaluation des modèles de langage IA

L'enquête a révélé une question controversée pour la conférence IEEE 2024 Milan sur les études de jeu et le partage des connaissances disponibles et communes : est-il possible pour les techniques modernes de traitement du langage naturel (NLP) de résoudre des puzzles basés sur le langage ? 

Avec Julian Togelius, professeur adjoint de CSE et directeur du Game Innovation Lab à NYU Tandon, comme co-auteur, l'équipe s'est concentrée sur deux méthodes d'IA – l'apprentissage automatique et l'apprentissage de représentation de haut niveau. Le premier a exploité GPT-3.5 et le dernier GPT-4, les modèles de langage exceptionnels avec un domaine ouvert et des langues de type humain d'OpenAI, en est un autre.

Le prochain mécanisme repose sur des modèles d'incorporation de phrases, en particulier BERT, RoBERTa, MPNet et MiniLM. Ces modèles représentent les données sémantiques sous forme de représentation vectorielle mais manquent des compétences complètes de compréhension et de génération du langage des LLM.

Cependant, la conclusion a été tirée que bien que toutes les machines IA puissent effectuer certaines des tâches impliquées dans Connections, le défi est resté presque insurmontable. Elles ont tendance à être meilleures que les autres dans la catégorie précédente, y compris des réalisations remarquables telles que les méthodes d'incorporation et GPT-3.

L'une des conclusions clés ici est que les modèles montrent une connexion très proche avec la capacité humaine à catégoriser rapidement la difficulté des puzzles, de « simple » à « difficile ». Les LLM sont de plus en plus utilisés, et l'examen des contextes dans lesquels ils échouent concernant le problème Connections peut révéler une restriction générale dans le traitement sémantique du langage naturel, a ajouté Graham Todd, étudiant au doctorat au Game Innovation Lab et auteur principal de l'étude.

Repousser les limites avec GPT-4

Les chercheurs ont observé que demander à GPT-4 de résoudre les puzzles par une approche morcelée améliorait considérablement la capacité à résoudre les puzzles, avec une précision de juste un peu plus de 39 % des puzzles.

Une autre preuve de ce pour quoi les « incitations de chaîne de pensée » sont bonnes, comme l'ont montré des recherches antérieures, est maintenant confirmée dans notre enquête : cela conduit à une pensée structurée dans le vocabulaire, comme l'a déclaré Timothy Merino, étudiant de premier cycle au Game Innovation Lab et l'un des auteurs de cet abstract. La question des modèles de langage effectuant le travail et concluant les tâches mieux est bien résolue en les faisant réfléchir au travail respectif qu'ils effectuent. Les chercheurs ont utilisé une archive de puzzles en ligne avec 250 puzzles représentant les puzzles quotidiens du 12 juin 2023 au 16 février 2024.