Une approche de formation révolutionnaire permet à l’IA de généraliser comme les esprits humains

Dans un développement révolutionnaire pour le domaine de l’intelligence artificielle (IA), les chercheurs ont dévoilé un protocole de formation novateur qui peut améliorer considérablement la capacité d’un modèle d’IA à généraliser et à comprendre l’information, le rapprochant de la façon dont les humains apprennent et raisonnent. Cette approche innovante remet en question la croyance conventionnelle selon laquelle plus de données est la clé pour améliorer l’apprentissage automatique, offrant de nouvelles perspectives sur les secrets de la cognition à la fois de l’IA et des humains.

Les humains excellent à comprendre et à combiner divers composants pour donner un sens au monde, une compétence cognitive connue sous le nom de « compositionnalité » ou « généralisation systématique ». Cela nous permet de décoder des phrases inconnues, de créer des réponses originales et de comprendre les significations sous-jacentes des mots et des règles grammaticales. Atteindre la compositionnalité a longtemps été un défi pour les développeurs d’IA, car les réseaux neuronaux traditionnels peinent à émuler cet aspect fondamental de la cognition humaine.

Bien que les modèles d’IA générative actuels comme GPT-3 et GPT-4 d’OpenAI puissent imiter la compositionnalité dans une certaine mesure, ils manquent souvent dans certains benchmarks, ne saisissant pas vraiment le sens et l’intention derrière les phrases qu’ils génèrent. Cependant, une étude récente publiée dans Nature suggère qu’un protocole de formation unique axé sur la façon dont les réseaux neuronaux apprennent pourrait être la clé pour relever ce défi.

Remanier le processus d’apprentissage

Les auteurs de l’étude ont adopté une approche différente pour former l’IA, évitant ainsi la nécessité de créer de nouvelles architectures d’IA entièrement nouvelles. Au lieu de cela, ils ont commencé avec un modèle de transformateur standard, la même architecture fondamentale utilisée dans ChatGPT et Bard de Google, mais sans formation préalable sur du texte. L’innovation critique résidait dans le régime de formation lui-même.

Les chercheurs ont conçu un ensemble de tâches impliquant une langue fictive composée de mots non sensés comme « dax », « lug », « kiki », « fep » et « blicket ». Ces mots étaient associés à des ensembles de points colorés, certains mots représentant directement des couleurs de points spécifiques et d’autres signifiant des fonctions qui modifiaient les sorties de points. Par exemple, « dax » représentait un point rouge, tandis que « fep » était une fonction qui, lorsqu’elle était combinée avec « dax » ou d’autres mots symboliques, multipliait la sortie de point correspondante par trois. Crucialement, l’IA n’a reçu aucune information sur ces associations ; les chercheurs ont simplement fourni des exemples de phrases non sensées accompagnées des configurations de points correspondantes.

L’IA atteignant une compréhension semblable à celle des humains

À mesure que le modèle d’IA subissait une formation, il a progressivement appris à répondre de manière cohérente, en respectant les règles implicites de la langue non sensée. Même lorsqu’il a été présenté avec de nouvelles combinaisons de mots, l’IA a démontré sa capacité à « comprendre » les règles inventées de la langue et à les appliquer à des phrases jamais vues auparavant. Cette prouesse remarquable a suggéré le potentiel de l’IA à généraliser, une étape critique vers un raisonnement semblable à celui des humains.

Pour évaluer les performances de l’IA, les chercheurs l’ont comparée à des participants humains. Dans certains cas, l’IA formée a répondu avec une précision de 100 %, surpassant les humains, qui ont atteint un taux de précision d’environ 81 %. Même lorsque l’IA commettait des erreurs, celles-ci reflétaient les erreurs couramment commises par les humains, mettant en évidence sa capacité de raisonnement semblable à celui des humains.

Ce qui est particulièrement remarquable, c’est que ces performances impressionnantes ont été obtenues avec un modèle de transformateur relativement petit, et non une IA massive formée sur d’immenses ensembles de données. Cette découverte suggère que plutôt que d’inonder les modèles d’apprentissage automatique avec des données sans fin, une approche plus ciblée, semblable à un cours spécialisé en linguistique ou en algèbre, pourrait produire des améliorations substantielles des capacités de l’IA.

Implications et orientations futures

Bien que ce nouveau protocole de formation offre des résultats prometteurs, il est essentiel de reconnaître ses limites. Le modèle d’IA excellait dans des tâches spécifiques liées à la reconnaissance de motifs au sein d’une langue fabriquée, mais a eu du mal lorsqu’il a été confronté à des défis entièrement nouveaux ou à des formes de généralisation non pratiquées. Par conséquent, il est crucial de reconnaître que la réalisation d’une généralisation limitée dans l’IA est une étape significative, mais reste en deçà de l’objectif ultime de l’intelligence artificielle générale.

Armando Solar-Lezama, informaticien au Massachusetts Institute of Technology, note que cette recherche pourrait ouvrir de nouvelles voies pour améliorer l’IA. En se concentrant sur l’enseignement aux modèles de raisonner efficacement, même dans des tâches synthétiques, nous pourrions trouver des moyens d’améliorer les capacités de l’IA au-delà des limites actuelles. Cependant, la mise à l’échelle de ce nouveau protocole de formation pourrait présenter des défis qui doivent être adressés.

En plus de ses implications pratiques pour l’IA, cette recherche pourrait également éclairer le fonctionnement interne des réseaux neuronaux et leurs capacités émergentes. Comprendre ces processus pourrait contribuer à minimiser les erreurs dans les systèmes d’IA et à améliorer notre compréhension de la cognition humaine.