L’outil « Chaîne de pensée » aide l’IA à résoudre des problèmes de vocabulaire

-t L'IA -elle les mêmes compétences que les humains et peut-elle déceler des indices subtils dans le vocabulaire ? Les chercheurs de l'école d'ingénierie Tandon de l'université de New York ne sont pas surpris de constater que l'activité la plus pratiquée par les humains (la participation au jeu de mots quotidien Connections) est mentionnée dans l'article du New York Times. 

Évaluation des modèles de langage IA

L'enquête a révélé une question controversée pour la prochaine conférence IEEE 2024 de Milan sur les études du jeu et le partage des connaissances disponibles et communes : les techniques modernes de traitement automatique du langage naturel (TALN) sont-elles capables de résoudre des énigmes basées sur le langage ? 

En collaboration avec Julian Togelius, professeur adjoint d'informatique et directeur du Game Innovation Lab de NYU Tandon, l'équipe s'est concentrée sur deux méthodes d'IA : l'apprentissage automatique et l'apprentissage de représentations de haut niveau. La première s'appuyait sur GPT-3.5 et la seconde sur GPT-4, la dernière version en date, deux modèles de langage exceptionnels d'OpenAI offrant un domaine ouvert et une compréhension .

Le mécanisme suivant repose sur des modèles d'intégration de phrases, notamment BERT, RoBERTa, MPNet et MiniLM. Ces modèles représentent les données sémantiques sous forme vectorielle, mais ne possèdent pas les capacités complètes de compréhension et de génération du langage des modèles de langage.

Toutefois, la conclusion a été tirée que, même si toutes les machines d'IA pouvaient accomplir certaines des tâches liées à Connections, le défi restait quasi insurmontable. Elle tend à surpasser d'autres méthodes de la catégorie précédente, notamment des avancées remarquables telles que les méthodes d'intégration et GPT-3.

L'une des principales conclusions de cette étude est que les modèles présentent un lien très étroit avec la capacité humaine à catégoriser rapidement la difficulté des énigmes, de « simple » à « difficile ». (MLN) sont de plus en plus utilisés, et l'analyse des contextes dans lesquels ils échouent face au problème des connexions peut révéler une restriction générale dans le traitement sémantique du langage naturel, a ajouté Graham Todd, doctorantdent Game Innovation Lab et auteur principal de l'étude.

Repousser les limites avec GPT-4

Les chercheurs ont observé que demander à GPT-4 de résoudre les énigmes par une approche progressive améliorait considérablement sa capacité à résoudre les énigmes, avec une précision d'un peu plus de 39 %.

Une preuve supplémentaire de l'utilité des « incitations à la réflexion », comme l'ont démontré des recherches antérieures et comme le confirme notre étude, réside dans leur capacité à structurer la pensée lexicale, comme l'affirme Timothy Merino,dent au Game Innovation Lab et co-auteur de cetrac. Le fait d'amener les modèles de langage à réfléchir sur le travail qu'ils accomplissent permet de mieux résoudre la question de leur capacité à réaliser des tâches plus efficacement. Les chercheurs ont utilisé une base de données en ligne de puzzles contenant 250 puzzles, représentant les puzzles quotidiens du 12 juin 2023 au 16 février 2024.