Les chercheurs de Microsoft dévoilent une technique innovante pour effacer des connaissances spécifiques des grands modèles de langage

Dans une avancée notable au sein de l'intelligence artificielle, une équipe de chercheurs de Microsoft a dévoilé une approche pionnière pour modifier sélectivement des connaissances spécifiques dans les grands modèles de langage (LLM). Cette méthodologie révolutionnaire, détaillée dans un article récent sur la plateforme bien connue arXiv.org, aborde un problème pertinent lié à l'utilisation de matériaux protégés par le droit d'auteur lors de l'entraînement des LLM. De plus, elle offre une solution prometteuse à la question de savoir si ces modèles peuvent s'adapter sans un réentraînement extensif.

Un bond significatif dans l'adaptabilité

Les grands modèles de langage, y compris ChatGPT d'OpenAI, Llama 2 de Meta et Claude 2 d'Anthropic, ont attiré une attention et un examen considérables en raison de leur capacité exceptionnelle à générer du contenu textuel basé sur les vastes ensembles de données sur lesquels ils sont entraînés, qui peuvent inclure des matériaux protégés par le droit d'auteur. Le défi de la personnalisation de ces modèles pour oublier ou désapprendre des informations spécifiques a longtemps été une préoccupation.

Effacement efficace en une heure de GPU

Les chercheurs de Microsoft, à savoir Ronen Eldan et Mark Russinovich, ont proposé une solution élégante à ce défi. Leur article introduit une technique en trois volets conçue pour approximer le processus d'oubli d'informations spécifiques dans les LLM. L'aspect le plus remarquable de leur approche est son efficacité. Notamment, ils démontrent la capacité d'effacer toutes les connaissances relatives aux livres Harry Potter, englobant les personnages et les détails de l'intrigue, avec seulement une heure de GPU pour le réglage fin. Ce niveau d'efficacité élevé promet beaucoup pour le développement de modèles de langage plus adaptables et réactifs.

Déconstruction de la technique en trois parties

La technique d'Eldan et Russinovich marque un départ notable de l'approche traditionnelle de l'apprentissage automatique, qui se concentre principalement sur l'accumulation de connaissances sans fournir de mécanismes simples pour le désapprentissage. Leur approche innovante comprend trois étapes fondamentales :

1. Identification des jetons pertinents : Dans la phase initiale, le modèle est entraîné en utilisant les données cibles – dans ce cas, les livres Harry Potter. Le modèle identifie les jetons les plus étroitement associés aux données cibles en comparant ses prédictions à celles générées par un modèle de base. Cette étape initiale est la base pour identifier les connaissances à effacer.

2. Substitution d'expressions uniques : La deuxième étape consiste à remplacer les expressions uniques spécifiques à la série Harry Potter par des contreparties génériques. En faisant cela, les chercheurs génèrent des prédictions alternatives qui reflètent efficacement la sortie d'un modèle dépourvu des données d'entraînement spécifiques. Cette substitution est un élément pivot dans le processus d'effacement des connaissances.

3. Affinage et effacement : L'étape finale consiste à affiner le modèle de base en utilisant les prédictions alternatives. Ce processus d'affinage efface le texte original de la mémoire du modèle lorsque le contexte concerne la série Harry Potter. Cette étape cruciale permet au modèle d'« oublier » les récits complexes des livres Harry Potter.

Évaluation du succès

Eldan et Russinovich ont mené une série complète de tests pour évaluer l'efficacité de leur méthodologie. Ils ont examiné la capacité du modèle à générer ou à discuter de contenu lié à la série Harry Potter à l'aide de 300 invites générées automatiquement et ont analysé avec minutie les probabilités des tokens. Fait d'une importance capitale, leurs résultats indiquent qu'après seulement une heure d'affinage, le modèle pouvait essentiellement « oublier » les récits détaillés de la série Harry Potter. Fait remarquable, cet effacement a eu des répercussions minimes sur les performances du modèle dans les évaluations de référence standard telles que ARC, BoolQ et Winogrande.

Implications et recherches futures

Bien que cette technique révolutionnaire montre un potentiel significatif, il est impératif de souligner que des recherches supplémentaires sont indispensables pour affiner et étendre la méthodologie, en particulier en ce qui concerne les tâches d'oubli plus larges au sein des grands modèles de langage. Il convient de noter que cette approche peut être particulièrement efficace pour les textes de fiction, comme la série Harry Potter, en raison de la présence de références uniques.

Alors que les systèmes d'intelligence artificielle continuent de jouer un rôle de plus en plus central dans divers domaines, la capacité d'oublier ou de désapprendre sélectivement des informations spécifiques devient primordiale. Cette méthodologie représente une étape fondamentale vers le développement de LLMs (Large Language Models) plus responsables, adaptables et conformes aux exigences légales. Elle a le potentiel de répondre aux directives éthiques, aux valeurs sociétales et aux besoins spécifiques des utilisateurs à mesure que le domaine de l'IA continue d'évoluer.