Les modèles d'IA maîtrisent les capacités bien avant de les exhiber, montrent les recherches

De nouvelles recherches ont montré que les modèles d'intelligence artificielle (IA) possèdent certaines capacités bien avant de les manifester pendant leur entraînement. Selon les recherches menées par Harvard et l'Université du Michigan, les modèles ne mettent pas en évidence ces capacités tant qu'ils n'en ont pas besoin, d'une manière ou d'une autre.

Cette recherche est l'une des nombreuses entreprises pour comprendre comment les modèles d'IA construisent leurs capacités avant de les exhiber.

L'étude a analysé la manière dont les modèles d'IA apprennent des concepts de base tels que la taille et la couleur, révélant qu'ils maîtrisent ces compétences plus tôt que la plupart des tests ne le suggèrent. L'étude a également fourni des éclairages sur la complexité de la mesure des capacités d'une IA. « Un modèle peut sembler incompétent lorsqu'il reçoit des invites standard, alors qu'il possède en réalité des capacités sophistiquées qui ne se manifestent que dans des conditions spécifiques », indique le document.

La recherche montre que les modèles d'IA internalisent les concepts

Harvard et l'Université du Michigan ne sont pas les premiers à tenter de comprendre les capacités des modèles d'IA, les chercheurs d'Anthropic ayant dévoilé un article intitulé « dictionary learning » (apprentissage de dictionnaire). L'article discutait de la cartographie des connexions dans leur langage Claude vers des concepts spécifiques qu'il comprend. Bien que la plupart de ces recherches aient pris des angles différents, l'objectif principal reste de comprendre les modèles d'IA.

Anthropic a révélé avoir trouvé des fonctionnalités qui pourraient être liées à différents concepts interprétables. « Nous avons trouvé des millions de fonctionnalités qui semblent correspondre à des concepts interprétables, allant des objets concrets comme les personnes, les pays et les bâtiments célèbres aux idées abstraites comme les émotions, les styles d'écriture et les étapes de raisonnement », a révélé la recherche.

Pendant leurs recherches, les chercheurs ont mené plusieurs expériences en utilisant le modèle de diffusion, l'une des architectures les plus populaires pour l'IA. Lors de l'expérience, ils ont constaté que les modèles avaient des façons distinctes de manipuler les concepts de base. Les motifs étaient cohérents, les modèles d'IA montrant de nouvelles capacités à différentes phases et un point de transition net signalant l'acquisition d'une nouvelle capacité.

Pendant l'entraînement, les modèles ont montré qu'ils maîtrisaient les concepts environ 2 000 étapes plus tôt qu'un test standard ne le détecterait. Les concepts forts sont apparus autour de 6 000 étapes et les plus faibles étaient visibles autour de 20 000 étapes. Après avoir ajusté les signaux de concept, ils ont découvert une corrélation directe avec la vitesse d'apprentissage.

Les chercheurs révèlent des méthodes pour accéder aux capacités cachées

Les chercheurs ont utilisé des méthodes d'invocation alternatives pour révéler des capacités cachées avant qu'elles ne soient exhibées dans les tests standard. La nature répandue de l'émergence cachée a des effets sur l'évaluation et la sécurité de l'IA. Par exemple, les benchmarks traditionnels peuvent manquer certaines capacités des modèles d'IA, passant ainsi à la fois les avantages et les aspects préoccupants.

Pendant la recherche, l'équipe a identifié certaines méthodes pour accéder aux capacités cachées des modèles d'IA. La recherche a qualifié ces méthodes d'intervention latente linéaire et de sur-invocation (over-prompting), car les chercheurs ont amené les modèles à exhiber des comportements complexes avant qu'ils ne se manifestent dans les tests standard. Les chercheurs ont également découvert que les modèles d'IA manipulaient certaines fonctionnalités complexes avant de pouvoir les montrer via des invites standard.

Par exemple, les modèles pouvaient être invités à générer avec succès des « femmes souriantes » ou des « hommes portant des chapeaux » avant d'être demandés de les combiner. Cependant, la recherche a montré qu'ils avaient appris à les combiner plus tôt, mais ne pouvaient pas les exhiber via des invites conventionnelles. Le fait que les modèles exhibent des capacités peut être qualifié de « grokking », une situation où les modèles affichent des performances de test parfaites après un entraînement prolongé. Cependant, les chercheurs ont souligné qu'il existe des différences clés entre les deux.

Alors que le grokking se produit après plusieurs sessions d'entraînement et implique l'affinement de plusieurs distributions des mêmes ensembles de données, la recherche montre que ces capacités émergent pendant l'apprentissage actif. Les chercheurs ont noté que les modèles ont trouvé de nouvelles façons de manipuler les concepts par le biais de changements de phases plutôt que par des améliorations progressives de la représentation dans le grokking.

Selon la recherche, cela montre que les modèles d'IA connaissent ces concepts, ils sont simplement incapables de les exhiber. C'est similaire aux personnes qui regardent et comprennent un film étranger mais ne peuvent pas parler la langue. Cela montre que la plupart des modèles ont plus de capacités qu'ils ne le montrent, et cela illustre également la difficulté à comprendre et à contrôler leurs capacités.