Rite Aid interrompe il riconoscimento facciale IA dopo l'accordo con la FTC

Rite Aid, la prominente catena di farmacie al dettaglio, ha accettato di interrompere l'uso della tecnologia di riconoscimento facciale basata sull'IA come parte delle sue misure di prevenzione del furto. Questa decisione arriva in risposta a un accordo transattivo con la Federal Trade Commission (FTC) e nel mezzo di accuse di profilazione razziale. Il sistema IA, utilizzato dal 2012, avrebbe mostrato un pregiudizio, colpendo in modo sproporzionato i negoziatori neri, latini e asiatici rispetto ai loro coetanei bianchi.

Le accuse di profilazione razziale portano all'azione

L'utilizzo da parte di Rite Aid della tecnologia di riconoscimento facciale basata sull'IA è stato sotto scrutinio a causa della sua presunta profilazione di determinati gruppi razziali. Nello specifico, il sistema era impiegato per identificare i clienti ritenuti propensi a commettere furti, attivando avvisi di corrispondenza per i dipendenti del negozio quando questi individui entravano nella struttura. Sconvolgentemente, le prove presentate nei documenti legali suggeriscono che le persone di colore erano più frequentemente soggette a sorveglianza ingiustificata, molestie e imbarazzo pubblico.

Il fenomeno cosiddetto "fare la spesa mentre si è neri", una preoccupazione di lunga data, comporta la sospettosità ingiustificata, il monitoraggio costante e le accuse ingiuste di furto rivolte ai negoziatori neri dal momento in cui entrano nei negozi. Questo problema si estende a pratiche discriminatorie come la chiusura dei prodotti per capelli e bellezza neri dietro vetrine di vetro, lasciando articoli simili per i clienti bianchi facilmente accessibili sugli scaffali aperti.

L'abuso da parte di Rite Aid della tecnologia di riconoscimento facciale sottolinea un caso di studio inquietante di ciò che alcuni esperti definiscono "razzismo al dettaglio", evidenziando il ruolo problematico che l'IA può svolgere nel rafforzare ed esacerbare le disuguaglianze razziali.

Il pregiudizio nell'IA

Rashawn Ray, professore di sociologia all'Università del Maryland e membro senior presso The Brookings Institution, sottolinea che le tecnologie IA spesso riflettono le disuguaglianze esistenti, poiché sono progettate e sviluppate in ambienti privi di diversità e inclusione. Quando gli stessi stereotipi che permeano gli incontri quotidiani vengono codificati negli algoritmi, il risultato è una tecnologia di riconoscimento facciale che perpetua gli stereotipi razziali, simile al pregiudizio umano.

I pregiudizi impliciti, radicati in scorciatoie mentali che associano inconsciamente determinati gruppi a caratteristiche o comportamenti specifici, sono un fattore significativo in questo problema. Negli ambienti al dettaglio, questi pregiudizi si manifestano spesso come dipendenti che associano erroneamente i negoziatori di colore alle tendenze di furto non supportate dai dati. Nonostante le statistiche indicano che la maggior parte dei ladri negli Stati Uniti sono bianchi, l'abuso della tecnologia IA continua a propagare la falsa narrazione sulla maggior parte dei ladri.

Mentre il furto di beni rappresenta un rischio finanziario sostanziale per le imprese, la dipendenza di Rite Aid dall'IA per la sorveglianza ha portato a conseguenze impreviste. I negoziatori di colore, che sono stati erroneamente presi di mira, hanno subito umiliazioni, risultando in perdite di reddito per i negozi. Alcune comunità, in particolare quelle prive di opzioni di acquisto alternative, non hanno avuto altra scelta che frequentare stabilimenti in cui hanno affrontato discriminazione e abusi.

Il ruolo dell'IA oltre il dettaglio

Le implicazioni dell'IA pregiudizievole si estendono oltre il settore al dettaglio, con preoccupazioni sul suo impatto sulla polizia e sulla sicurezza pubblica. Casi di alto profilo, come l'arresto ingiusto di una donna nera incinta a Detroit a causa di errori nella tecnologia di riconoscimento facciale, sollevano dubbi sull'affidabilità dei sistemi di sorveglianza basati sull'IA.

I dati del Pew Research Center rivelano che i rispondenti neri mostrano la minore fiducia nella tecnologia di riconoscimento facciale nella polizia. Quasi la metà degli individui neri intervistati ha espresso preoccupazioni che gli ufficiali potrebbero abusare delle tecnologie basate sull'IA per sorvegliare i quartieri prevalentemente neri e latini più frequentemente rispetto alle aree residenziali razzialmente diverse.

Appelli alla cautela e ai test

All'inizio di quest'anno, cinque senatori degli Stati Uniti si sono opposti all'uso della tecnologia di riconoscimento facciale da parte dell'Amministrazione per la Sicurezza dei Trasporti (TSA) negli aeroporti degli Stati Uniti. Hanno citato uno studio che rivelava che gli individui neri e asiatici avevano significativamente più probabilità di essere identificati erroneamente da tale tecnologia rispetto agli uomini bianchi. Come parte del suo accordo con la FTC, Rite Aid si è impegnata a sospendere l'uso dei suoi sistemi di sorveglianza basati sull'IA per i prossimi cinque anni. Gli esperti suggeriscono che altri dettaglianti seguano l'esempio, conducendo test rigorosi e ripetuti per eliminare i pregiudizi in queste tecnologie.