Risques émergents pour la vie privée dans l'IA : Le défi de la mémorisation dans les modèles de langage

Une étude novatrice impliquant des chercheurs de Google DeepMind, de l'Université de Washington, de l'UC Berkeley et d'autres a révélé un aspect surprenant des grands modèles de langage comme ChatGPT : leur capacité à se souvenir et à reproduire des données spécifiques sur lesquelles ils ont été entraînés. Ce phénomène, connu sous le nom de « mémorisation », pose des problèmes de confidentialité significatifs, surtout si l'on considère que ces modèles s'entraînent souvent sur des textes vastes et diversifiés, y compris potentiellement des informations sensibles.

Comprendre la mémorisation extractible

L'étude, axée sur la « mémorisation extractible », cherchait à déterminer si des entités externes pouvaient extraire des données spécifiques apprises de ces modèles sans connaissance préalable de l'ensemble d'entraînement. Cette mémorisation n'est pas seulement une préoccupation théorique ; elle a des implications réelles en matière de confidentialité.

Méthodologie de recherche et résultats

Les chercheurs ont employé une méthodologie novatrice, générant de vastes tokens à partir de divers modèles et les comparant aux ensembles de données d'entraînement pour identifier des instances de mémorisation directe. Ils ont développé une méthode unique pour ChatGPT, connue sous le nom d'« attaque par divergence », où le modèle est invité à dire un mot jusqu'à ce qu'il dévie vers des données mémorisées de manière répétée. De manière surprenante, les modèles, y compris ChatGPT, ont affiché une mémorisation significative, régurgitant des morceaux de données d'entraînement lors d'une sollicitation spécifique.

L'attaque par divergence et ChatGPT

Pour ChatGPT, l'attaque par divergence s'est révélée particulièrement révélatrice. Les chercheurs ont incité le modèle à répéter un mot à plusieurs reprises, ce qui l'a conduit à s'écarter des réponses standard et à émettre des données mémorisées. Cette méthode était pratique et préoccupante pour ses implications en matière de confidentialité, car elle a démontré la capacité d'extraire potentiellement des informations sensibles.

La découverte alarmante de l'étude était que les données mémorisées pouvaient inclure des informations personnelles telles que des adresses e-mail et des numéros de téléphone. En utilisant à la fois des expressions régulières (regex) et des invites de modèle de langage, les chercheurs ont évalué 15 000 générations pour des sous-chaînes ressemblant à des informations d'identification personnelle (PII). Environ 16,9 % des générations contenaient des PII mémorisées, dont 85,8 % étaient de véritables PII, et non du contenu halluciné.

Implications pour la conception et l'utilisation des modèles de langage

Ces résultats sont significatifs pour la conception et l'application des modèles de langage. Les techniques actuelles, même celles employées dans ChatGPT, pourraient ne pas suffire à empêcher les fuites de données. L'étude souligne la nécessité de méthodes de déduplication des données d'entraînement plus robustes et d'une compréhension plus approfondie de la façon dont la capacité du modèle impacte la mémorisation.

La méthode centrale consistait à générer du texte à partir de divers modèles et à vérifier ces sorties par rapport aux ensembles de données d'entraînement respectifs des modèles pour détecter la mémorisation. Des tableaux de suffixes ont été utilisés pour une correspondance efficace, permettant des recherches rapides de sous-chaînes au sein d'un vaste corpus de texte.

Des modèles plus importants, des risques de mémorisation plus élevés

Une corrélation notable est apparue entre la taille du modèle et sa propension à mémoriser. Les modèles plus grands comme GPT-Neo, LLaMA et ChatGPT ont montré une probabilité plus élevée d'émettre des données d'entraînement mémorisées, suggérant une relation directe entre la capacité du modèle et la mémorisation.

L'étude éclaire un aspect crucial du développement de l'IA : garantir que les modèles puissants respectent la vie privée des utilisateurs. Elle ouvre de nouvelles voies de recherche et de développement, en se concentrant sur le renforcement des sauvegardes de confidentialité dans les modèles d'IA, en particulier ceux utilisés dans des applications sensibles à la vie privée.

À mesure que l'IA continue d'évoluer, cette étude met en lumière un aspect essentiel de son développement : la nécessité de mesures de confidentialité renforcées dans les modèles de langage. La révélation de la capacité de l'IA à mémoriser et potentiellement à divulguer des informations sensibles appelle à une action immédiate dans le domaine, exhortant les développeurs et les chercheurs à créer des modèles qui sont non seulement puissants mais qui protègent également la vie privée des utilisateurs. Cette recherche marque une étape significative vers la compréhension et l'atténuation des risques de confidentialité associés aux technologies d'IA et d'apprentissage automatique.