Une approche de formation révolutionnaire permet à l'IA de généraliser comme l'esprit humain.

Une avancée majeure dans le domaine de l'intelligence artificielle (IA) a été réalisée grâce à un protocole d'entraînement inédit qui améliore considérablement la capacité d'un modèle d'IA à généraliser et à comprendre l'information, le rapprochant ainsi du fonctionnement humain de l'apprentissage et du raisonnement. Cette approche novatrice remet en question l'idée reçue selon laquelle l'augmentation des données est essentielle à l'amélioration de l'apprentissage automatique, et offre un éclairage nouveau sur les mécanismes de l'IA et de la cognition humaine.

Les humains excellent dans la compréhension et la combinaison de divers éléments pour donner un sens au monde, une compétence cognitive appelée « compositionnalité » ou « généralisationmatic ». Elle nous permet de décoder des phrases inconnues, de formuler des réponses originales et de saisir le sens sous-jacent des mots et des règles grammaticales. Reproduire la compositionnalité représente depuis longtemps un défi pour les développeurs d'IA, car les réseaux neuronaux traditionnels peinent à imiter cet aspect fondamental de la cognition humaine.

Bien que les modèles d'IA générative actuels, tels que GPT-3 et GPT-4 d'OpenAI, puissent imiter la compositionnalité dans une certaine mesure, ils présentent souvent des lacunes dans certains domaines, peinant à saisir pleinement le sens et l'intention des phrases qu'ils génèrent. Cependant, une étude récente publiée dans Nature suggère qu'un protocole d'entraînement unique, axé sur le fonctionnement des réseaux neuronaux, pourrait être la clé pour relever ce défi.

Repenser le processus d'apprentissage

Les auteurs de l'étude ont adopté une approche différente pour l'entraînement de l'IA, évitant ainsi la création d'architectures d'IA entièrement nouvelles. Ils sont partis d'un modèle de transformateur standard, la même architecture de base que celle utilisée dans ChatGPT et Bard de Google, mais sans aucun entraînement préalable sur du texte. L'innovation majeure résidait dans le protocole d'entraînement lui-même.

Les chercheurs ont conçu une série de tâches utilisant un langage fictif composé de mots absurdes tels que « dax », « lug », « kiki », « fep » et « blicket ». Ces mots étaient associés à des ensembles de points colorés ; certains mots représentaient directement des couleurs de points spécifiques, tandis que d’autres désignaient des fonctions modifiant l’apparence des points. Par exemple, « dax » représentait un point rouge, tandis que « fep » était une fonction qui, combinée à « dax » ou à d’autres mots symboliques, multipliait par trois l’apparence du point correspondant. Point crucial, l’IA n’a reçu aucune information sur ces associations ; les chercheurs ont simplement fourni des exemples de phrases absurdes accompagnées des configurations de points correspondantes.

L'IA atteint une compréhension quasi humaine

Au cours de son entraînement, le modèle d'IA a progressivement appris à répondre de manière cohérente, en respectant les règles implicites de ce langage absurde. Même confrontée à des combinaisons de mots inédites, l'IA a démontré sa capacité à « comprendre » les règles inventées de ce langage et à les appliquer à des phrases jamais vues auparavant. Cette performance remarquable laissait entrevoir le potentiel de généralisation de l'IA, une étape cruciale vers un raisonnement comparable à celui de l'humain.

Pour évaluer les performances de l'IA, les chercheurs l'ont comparée à celles de participants humains. Dans certains cas, l'IA entraînée a répondu avec une précision de 100 %, surpassant les humains, dont le taux de précision avoisinait les 81 %. Même lorsque l'IA commettait des erreurs, celles-ci étaient similaires à celles commises couramment par les humains, ce qui souligne sa capacité de raisonnement comparable à celui de l'humain.

Ce qui est particulièrement remarquable, c'est que cette performance impressionnante a été obtenue avec un modèle de transformateur relativement petit, et non avec une IA massive entraînée sur d'immenses ensembles de données. Ce résultat suggère qu'au lieu de noyer les modèles d'apprentissage automatique sous un flot infini de données, une approche plus ciblée, comparable à un cours spécialisé de linguistique ou d'algèbre, pourrait permettre d'améliorer considérablement les capacités de l'IA.

Implications et perspectives d'avenir

Bien que ce nouveau protocole d'entraînement offre des résultats prometteurs, il est essentiel d'en reconnaître les limites. Le modèle d'IA a excellé dans des tâches spécifiques liées à la reconnaissance de formes au sein d'un langage artificiel, mais a rencontré des difficultés face à des défis entièrement nouveaux ou à des formes de généralisation non maîtrisées. Par conséquent, il est crucial de reconnaître que l'obtention d'une généralisation limitée en IA constitue une avancée significative, mais reste insuffisante pour atteindre l'objectif ultime de l'intelligence artificielle générale.

Armando Solar-Lezama, informaticien au Massachusetts Institute of Technology, souligne que ces recherches pourraient ouvrir de nouvelles perspectives pour l'amélioration de l'IA. En apprenant aux modèles à raisonner efficacement, même dans des tâches synthétiques, nous pourrions trouver des moyens d'accroître les capacités de l'IA au-delà des limites actuelles. Toutefois, le passage à l'échelle supérieure de ce nouveau protocole d'entraînement pourrait poser des problèmes qu'il convient de résoudre.

Outre ses implications pratiques pour l'IA, cette recherche pourrait également éclairer le fonctionnement interne des réseaux neuronaux et leurs capacités émergentes. La compréhension de ces processus pourrait contribuer à minimiser les erreurs dans les systèmes d'IA et à améliorer notre compréhension de la cognition humaine.