Une étude préliminaire de l'Université Cornell a révélé des informations préoccupantes concernant la présence de linguistiques dans les grands modèles de langage (LLM). Ces algorithmes d'apprentissage profond, notamment ChatGPT et GPT-4 d'OpenAI, LLaMA2 de Meta et le français Mistral 7B, présentent des comportements racistes latents.
L'étude, menée par le chercheur Valentin Hofmann de l'Allen Institute for AI, met en lumière les conséquences potentielles de tels biais dans divers domaines, notamment l'application de la loi et les pratiques d'embauche.
En utilisant une méthode appelée sondage par correspondance de l'apparence, les chercheurs ont interrogé des LLM avec des invites en anglais afro-américain et en anglais américain standard, dans le but de discerner tout biais dans les réponses des algorithmes.
De façon surprenante, l'étude a révélé que certains modèles de langage, notamment GPT-4, étaient plus enclins à recommander des peines sévères, y compris la peine de mort, lorsque les consignes étaient rédigées en anglais afro-américain. Il est à noter que ces recommandations ont été formulées sans que l'origine ethnique de la personne interrogée ne soit précisée.
Les étudiants en langues étrangères avaient tendance à associer les locuteurs de l'anglais afro-américain à des professions moins prestigieuses que ceux qui parlaient l'anglais standard, sans même connaître l'dentethnique de ces locuteurs. L'étude souligne que si le racisme manifeste est en recul chez les étudiants en langues étrangères, les préjugés latents persistent et peuvent avoir des conséquences importantes.
Conséquences pour la justice et l'emploi
Les implications de ces résultats sont considérables, notamment dans les secteurs où sont utilisés des systèmes d'IA intégrant des compétences juridiques. Dans le cadre de procédures judiciaires, par exemple, des recommandations biaisées pourraient aboutir à des décisions injustes, affectant de manière disproportionnée les communautés marginalisées.
De même, dans le contexte de l'emploi, des évaluations biaisées des candidats fondées sur la langue pourraient perpétuer les inégalités existantes dans les pratiques d'embauche.
Hofmann souligne l'inadéquation des méthodes traditionnelles d'enseignement de nouveaux schémas comportementaux aux étudiants en master, indiquant que le simple retour d'information humain ne suffit pas à contrer les préjugés raciaux latents. De plus, l'étude suggère que la taille même des étudiants en master n'atténue pas nécessairement ces préjugés ; au contraire, elle peut leur permettre de les dissimuler superficiellement tout en les maintenant plus profondément ancrés.
Lutter contre les biais linguistiques dans le développement de l'IA
Face aux progrès technologiques constants, il devient impératif pour les entreprises du secteur de s'attaquer plus efficacement au problème des biais de l'IA. La simple reconnaissance de ces biais ne suffit pas ; des mesures proactives doivent être prises pour en atténuer l'impact.
Cela comprend la réévaluation des méthodes utilisées pour entraîner et affiner les modèles linéaires à longue portée (LLM), ainsi que la mise en œuvre de mécanismes robustes pour détecter et corriger les biais dans les systèmes d'IA.
Les résultats de cette étude soulignent l'urgence d'un contrôle et d'une responsabilisation accrus dans le développement et le déploiement des modèles d'IA. Ne pas prendre en compte les biais linguistiques dans les modèles d'apprentissage automatique pourrait perpétuer les injustices systémiques et entraver les progrès vers une société plus équitable.
En sensibilisant le public à ces questions et en plaidant pour un changement significatif, les parties prenantes peuvent collaborer pour garantir que les technologies d'IA respectent les principes d'équité et d'impartialité, ce qui profitera en fin de compte à la société dans son ensemble.
