Rite Aid abandonne la reconnaissance faciale par IA suite à un accord avec la FTC.

 Rite Aid, la célèbre chaîne de pharmacies, a décidé de ne plus utiliser la technologie de reconnaissance faciale basée sur l'intelligence artificielle dans le cadre de ses mesures de prévention du vol à l'étalage. Cette décision fait suite à un accord à l'amiable conclu avec la Federal Trade Commission (FTC) et intervient dans un contexte d'allégations de profilage racial. Le système d'IA, utilisé depuis 2012, aurait fait preuve de biais, ciblant de manière disproportionnée les clients noirs, hispaniques et asiatiques au détriment des clients blancs.

Les allégations de profilage racial donnent lieu à des mesures concrètes

L'utilisation par Rite Aid de la technologie de reconnaissance faciale basée sur l'intelligence artificielle a fait l'objet d'un examen minutieux en raison d'allégations de profilage racial. Plus précisément, le système était utilisé pourdentles clients susceptibles de commettre des vols, déclenchant des alertes pour les employés du magasin dès leur entrée. De manière inquiétante, les éléments de preuve présentés dans les documents juridiques suggèrent que les personnes de couleur étaient plus fréquemment soumises à une surveillance injustifiée, à du harcèlement et à des humiliations publiques.

Le phénomène dit de « discrimination raciale dans les achats », une préoccupation de longue date, se caractérise par une suspicion injustifiée, une surveillance constante et des accusations de vol injustifiées portées contre les clients noirs dès leur entrée dans un magasin. Ce problème se traduit également par des pratiques discriminatoires telles que le fait de ranger les produits de beauté et de soins capillaires destinés aux personnes noires derrière des vitrines, tandis que des articles similaires pour les clients blancs sont laissés à leur disposition sur des étagères ouvertes.

L’utilisation abusive de la technologie de reconnaissance faciale par Rite Aid met en lumière une étude de cas inquiétante de ce que certains experts appellent le « racisme dans le commerce de détail », soulignant le rôlematic que l’IA peut jouer dans le renforcement et l’exacerbation des inégalités raciales.

Les biais dans l'IA

Rashawn Ray, professeur de sociologie à l'Université du Maryland et chercheur principal à la Brookings Institution, souligne que les technologies d'IA reflètent souvent les inégalités existantes, car elles sont conçues et développées dans des environnements où la diversité et l'inclusion font défaut. Lorsque les mêmes stéréotypes qui imprègnent les interactions quotidiennes sont intégrés aux algorithmes, il en résulte une technologie de reconnaissance faciale qui perpétue les stéréotypes raciaux, à l'instar des préjugés humains.

Les biais implicites, ancrés dans des raccourcis mentaux qui associent inconsciemment certains groupes à des caractéristiques ou comportements particuliers, constituent un facteur important dans ce problème. Dans le commerce de détail, ces biais se manifestent souvent par des employés qui associent à tort les clients de couleur à des tendances au vol, sans que cela soit étayé par des données. Malgré des statistiques indiquant que la plupart des voleurs à l'étalage aux États-Unis sont blancs, le mauvais usage de l'intelligence artificielle continue de propager ce récit erroné.

Bien que le vol de marchandises représente un risque financier considérable pour les entreprises, le recours de Rite Aid à l'intelligence artificielle pour la surveillance a engendré des conséquences imprévues. Les clients issus des minorités, injustement ciblés, ont subi des humiliations, entraînant des pertes de revenus pour les magasins. Certaines communautés, notamment celles qui manquent d'alternatives pour faire leurs achats, n'ont eu d'autre choix que detrondes établissements où elles étaient victimes de discrimination et de mauvais traitements.

Le rôle de l'IA au-delà du commerce de détail

Les conséquences d'une IA biaisée dépassent le cadre du commerce de détail et soulèvent des inquiétudes quant à son impact sur les forces de l'ordre et la sécurité publique. Des affaires très médiatisées, comme l'arrestation injustifiée d'une femme noire enceinte à Détroit suite à des erreurs de reconnaissance faciale, remettent en question la fiabilité des systèmes de surveillance basés sur l'IA.

Les données du Pew Research Center révèlent que lesdentnoires interrogées font le moins confiance à la technologie de reconnaissance faciale utilisée par les forces de l'ordre. Près de la moitié des personnes noires interrogées craignent que les policiers n'utilisent à mauvais escient les technologies basées sur l'IA pour surveiller plus fréquemment les quartiers majoritairement noirs et hispaniques que les zonesdentracialement diversifiées.

Appels à la prudence et aux tests

Plus tôt cette année, cinq sénateurs américains se sont opposés à l'utilisation par l'Administration de la sécurité des transports (TSA) de la technologie de reconnaissance faciale dans les aéroports américains. Ils ont cité une étude révélant que les personnes noires et asiatiques étaient nettement plus susceptibles d'être identifiéesdentpar cette technologie que les hommes blancs. Dans le cadre de son accord avec la Commission fédérale du commerce (FTC), Rite Aid s'est engagée à suspendre l'utilisation de ses systèmes de surveillance basés sur l'intelligence artificielle pour les cinq prochaines années. Les experts suggèrent aux autres détaillants de suivre cet exemple, en menant des tests rigoureux et répétés afin d'éliminer les biais de ces technologies.