L'apprentissage par oubli ouvre la voie à un déploiement responsable et éthique de l'IA

Dans un moment charnière pour le domaine de l'intelligence artificielle (IA), les chercheurs s'attaquent à un problème pressant lié à cette technologie : apprendre aux systèmes d'IA à oublier. Le Sommet de l'IA a placé cette question au premier plan, soulignant l'importance de l'« apprentissage par oubli » comme outil critique pour atténuer les risques posés par l'IA. 

Alors que l'IA continue de s'intégrer dans divers aspects de la société, ses avantages sont indéniables, tout comme les dangers potentiels. Ce domaine de recherche émergent cherche à répondre à ces préoccupations en supprimant efficacement et à moindre coût les données problématiques des modèles d'IA, en particulier les réseaux de neurones profonds (DNN), qui jouent un rôle central dans les applications modernes de l'IA.

L'entraînement des DNN modernes, y compris des modèles bien connus comme ChatGPT et Bard, est un processus intensif qui nécessite des ressources informatiques et du temps considérables. Ces modèles, connus sous le nom de grands modèles de langage (LLM), nécessitent d'énormes quantités de données et d'énergie pour être entraînés, ce qui équivaut à des dizaines de gigawattheures, une consommation d'énergie capable d'alimenter des milliers de foyers pendant un an. Le cœur du problème réside dans le fait que le réentraînement des systèmes d'IA pour leur faire oublier des données spécifiques est une tâche laborieuse et gourmande en ressources.

Pour relever ce défi, un nouveau domaine de recherche appelé « apprentissage par oubli » (machine unlearning) a émergé. Les chercheurs travaillent au développement de techniques permettant aux modèles d'IA d'oublier efficacement les données présentant des risques pour la société, tout en maintenant une grande précision. À l'avant-garde de cette recherche se trouve la collaboration entre des experts en informatique de l'Université de Warwick et Google DeepMind.

Le professeur Peter Triantafillou, du département d'informatique de l'Université de Warwick, a récemment co-écrit une publication intitulée « Towards Unbounded Machine Unlearning », disponible sur le serveur de prépublications arXiv. Il souligne la complexité des réseaux de neurones profonds (DNN), qui peuvent contenir des billions de paramètres, rendant difficile la compréhension de la manière dont ces modèles atteignent leurs objectifs. Cette complexité, combinée aux vastes ensembles de données sur lesquels ils sont entraînés, soulève des inquiétudes quant aux dommages potentiels que les DNN peuvent causer à la société.

Répondre aux préoccupations liées aux biais et à la vie privée

L'un des risques les plus importants associés aux DNN est la présence de données biaisées. Ces modèles peuvent perpétuer des stéréotypes négatifs en apprenant à partir d'ensembles de données truffés de biais. Par exemple, les systèmes d'IA peuvent associer incorrectement les médecins au sexe masculin et les infirmières au sexe féminin, ou même renforcer les préjugés raciaux. De plus, les DNN peuvent intégrer des données avec des « annotations erronées », telles que l'étiquetage incorrect d'objets, ce qui peut avoir de graves implications, en particulier dans des applications comme la reconnaissance d'images.

Par ailleurs, la violation de la vie privée des individus est une préoccupation majeure. Le droit à l'oubli, tel qu'inscrit dans des réglementations comme le RGPD, accorde aux individus le droit de demander la suppression de leurs données de tout ensemble de données et programme d'IA. Cela pose un défi majeur pour les géants de la technologie et souligne la nécessité de techniques efficaces d'apprentissage par oubli.

La promesse de l'apprentissage par oubli

Les recherches récentes menées par le professeur Triantafillou et son équipe ont abouti à un algorithme révolutionnaire d'« apprentissage par oubli ». Cet algorithme permet aux DNN d'oublier sélectivement les données problématiques sans nécessiter un réentraînement complet du modèle à partir de zéro. Il distingue notamment trois types différents de données qui doivent être oubliées : les biais, les annotations erronées et les problèmes liés à la vie privée. Cette innovation offre une solution pratique et efficace pour atténuer les risques associés à l'IA.

L'apprentissage par oubli (machine unlearning) est désormais considéré comme un outil vital pour garantir le déploiement responsable des technologies d'IA. En permettant aux systèmes d'IA d'oublier les données qui perpétuent des biais, contiennent des erreurs ou violent la vie privée, la société peut tirer parti des avantages de l'IA sans compromettre les valeurs éthiques et sociétales.