Rite Aid met fin à la reconnaissance faciale par IA suite au règlement avec la FTC

Rite Aid, la chaîne de pharmacies de détail bien connue, a convenu de cesser d’utiliser la technologie de reconnaissance faciale alimentée par l’IA dans le cadre de ses mesures de prévention du vol à l’étalage. Cette décision fait suite à un règlement juridique avec la Federal Trade Commission (FTC) et au milieu d’allégations de profilage racial. Le système d’IA, utilisé depuis 2012, présentait prétendument un biais, ciblant de manière disproportionnée les clients noirs, latinos et asiatiques par rapport à leurs homologues blancs.

Les allégations de profilage racial conduisent à l’action

L’utilisation par Rite Aid de la technologie de reconnaissance faciale alimentée par l’IA a été sous le feu des projecteurs en raison de son prétendu profilage de certains groupes raciaux. Plus précisément, le système était utilisé pour identifier les clients susceptibles de se livrer à du vol, déclenchant des alertes de correspondance pour les employés du magasin lorsque ces individus entraient sur les lieux. De manière inquiétante, les preuves présentées dans les documents juridiques suggèrent que les personnes de couleur étaient plus fréquemment soumises à une surveillance injustifiée, au harcèlement et à l’humiliation publique.

Le phénomène dit « shopping while black » (faire ses courses en tant que personne noire), une préoccupation de longue date, implique la suspicion injustifiée, la surveillance constante et les accusations injustes de vol dirigées contre les clients noirs dès leur entrée dans les magasins. Ce problème s’étend aux pratiques discriminatoires telles que le verrouillage des produits de soins capillaires et de beauté noirs derrière des vitrines en verre, tandis que des articles similaires pour les clients blancs sont laissés facilement accessibles sur des étagères ouvertes.

L’abus de la technologie de reconnaissance faciale par Rite Aid met en lumière un cas d’étude troublant de ce que certains experts appellent le « racisme au détail », soulignant le rôle problématique que l’IA peut jouer dans le renforcement et l’exacerbation des inégalités raciales.

Le biais dans l’IA

Rashawn Ray, professeur de sociologie à l’Université du Maryland et chercheur principal à The Brookings Institution, fait remarquer que les technologies de l’IA reflètent souvent les inégalités existantes, car elles sont conçues et développées dans des environnements manquant de diversité et d’inclusion. Lorsque les mêmes stéréotypes qui imprègnent les rencontres quotidiennes sont encodés dans les algorithmes, le résultat est une technologie de reconnaissance faciale qui perpétue les stéréotypes raciaux, similaire au biais humain.

Les biais implicites, enracinés dans des raccourcis mentaux qui associent inconsciemment certains groupes à des caractéristiques ou comportements particuliers, constituent un facteur majeur de ce problème. Dans les environnements commerciaux, ces biais se manifestent souvent par l'association erronée, par les employés, des clients de couleur avec des tendances au vol à l'étalage non étayées par les données. Malgré les statistiques indiquant que la majorité des voleurs à l'étalage aux États-Unis sont blancs, l'utilisation abusive de la technologie IA continue de propager le faux récit selon lequel la majorité des voleurs appartiendraient à d'autres groupes.

Bien que le vol de marchandises représente un risque financier substantiel pour les entreprises, la dépendance de Rite Aid à l'IA pour la surveillance a eu des conséquences involontaires. Les clients de couleur, injustement ciblés, ont subi l'humiliation, ce qui a entraîné une perte de revenus pour les magasins. Certaines communautés, en particulier celles dépourvues d'options de shopping alternatives, n'avaient d'autre choix que de fréquenter des établissements où elles faisaient face à la discrimination et aux abus.

Le rôle de l'IA au-delà du commerce de détail

Les implications de l'IA biaisée s'étendent au-delà du secteur du commerce de détail, avec des préoccupations concernant son impact sur la police et la sécurité publique. Des affaires très médiatisées, telles que l'arrestation erronée d'une femme noire enceinte à Detroit en raison d'erreurs de la technologie de reconnaissance faciale, suscitent des doutes quant à la fiabilité des systèmes de surveillance alimentés par l'IA.

Les données du Pew Research Center révèlent que les répondants noirs font preuve de la méfiance la plus forte à l'égard de la technologie de reconnaissance faciale dans le cadre policier. Près de la moitié des personnes noires interrogées ont exprimé des craintes que les agents utilisent de manière abusive les technologies alimentées par l'IA pour surveiller plus fréquemment les quartiers majoritairement noirs et latinos que les zones résidentielles racialement diversifiées.

Appels à la prudence et aux tests

Plus tôt cette année, cinq sénateurs américains se sont opposés à l'utilisation de la technologie de reconnaissance faciale par l'Administration de la sécurité des transports (TSA) dans les aéroports américains. Ils ont invoqué une étude révélant que les personnes noires et asiatiques étaient significativement plus susceptibles d'être mal identifiées par cette technologie par rapport aux hommes blancs. Dans le cadre de son accord avec la Federal Trade Commission (FTC), Rite Aid s'est engagé à suspendre l'utilisation de ses systèmes de surveillance alimentés par l'IA pendant les cinq prochaines années. Les experts suggèrent que d'autres détaillants emboîtent le pas, en effectuant des tests rigoureux et répétés pour éliminer les biais dans ces technologies.