Découvrir le biais linguistique : des modèles d'IA impliqués dans une étude sur le racisme latent

une étude pré-imprimée de l'Université de Cornell a révélé des informations préoccupantes concernant la présence de biais linguistique dans les grands modèles de langage (LLM). Ces algorithmes d'apprentissage profond, y compris ChatGPT et GPT-4 d'OpenAI, LLaMA2 de Meta et Mistral 7B français, ont été trouvés pour exhiber un racisme latent dans leurs réponses.

Naviguer dans le biais linguistique de l'IA

L'étude, dirigée par le chercheur Valentin Hofmann de l'Allen Institute for AI, éclaire les ramifications potentielles d'un tel biais dans divers domaines, y compris les forces de l'ordre et les pratiques de recrutement.

En utilisant une méthode appelée « matched guise probing », les chercheurs ont soumis des invites aux LLM en anglais américain afro-américain et en anglais américain standardisé, visant à discerner tout biais dans les réponses des algorithmes. 

De manière choquante, l'étude a révélé que certains LLM, notamment GPT-4, étaient plus enclins à recommander des peines plus sévères, y compris la peine de mort, lorsque les invites étaient en anglais américain afro-américain. Il est notable que ces recommandations ont été faites sans aucune divulgation de la race de l'interlocuteur.

Les LLM avaient tendance à associer les locuteurs de l'anglais américain afro-américain à des professions de statut inférieur par rapport à ceux qui parlaient l'anglais standardisé, bien qu'ils n'aient pas été informés de l'identité raciale des locuteurs. L'étude souligne que si le racisme explicite diminue dans les LLM, les préjugés latents persistent et peuvent avoir des implications à grande échelle.

Implications pour la justice et l'emploi

Les implications de ces découvertes sont profondes, en particulier dans les secteurs où des systèmes d'IA impliquant des LLM sont utilisés. Dans les procédures judiciaires, par exemple, des recommandations biaisées pourraient potentiellement conduire à des résultats injustes, affectant de manière disproportionnée les communautés marginalisées. 

De même, dans les contextes d'emploi, des évaluations biaisées des candidats basées sur la langue pourraient perpétuer les inégalités existantes dans les pratiques de recrutement.

Hofmann souligne l'insuffisance des méthodes traditionnelles pour enseigner de nouveaux modèles aux LLM, indiquant que le retour humain seul fait peu pour contrer le biais racial latent. De plus, l'étude suggère que la taille considérable des LLM n'atténue pas nécessairement ce biais ; plutôt, elle peut leur permettre de le dissimuler superficiellement tout en le maintenant à un niveau plus profond.

Aborder le biais linguistique dans le développement de l'IA

Alors que la technologie continue d'avancer, il devient impératif pour les entreprises technologiques de traiter plus efficacement la question du biais de l'IA. Reconnaître simplement la présence d'un biais ne suffit pas ; des mesures proactives doivent être prises pour en atténuer l'impact. 

Cela inclut la réévaluation des méthodes utilisées pour former et affiner les LLM, ainsi que la mise en œuvre de mécanismes robustes pour détecter et corriger les biais dans les systèmes d'IA.

Les résultats de cette étude soulignent la nécessité urgente d'une surveillance et d'une responsabilisation accrues dans le développement et le déploiement des modèles d'IA. Ne pas traiter le biais linguistique dans les LLM pourrait perpétuer les injustices systémiques et entraver les progrès vers une société plus équitable.

En sensibilisant à ces questions et en plaidant pour un changement significatif, les parties prenantes peuvent travailler ensemble pour garantir que les technologies d'IA respectent les principes d'équité et d'impartialité, bénéficiant in fine à l'ensemble de la société.