Rite Aid suspende el reconocimiento facial con inteligencia artificial tras un acuerdo con la FTC

 Rite Aid, la importante cadena de farmacias, ha acordado dejar de utilizar tecnología de reconocimiento facial basada en IA como parte de sus medidas de prevención de hurtos. Esta decisión surge tras un acuerdo legal con la Comisión Federal de Comercio (FTC) y en medio de acusaciones de discriminación racial. El sistema de IA, empleado desde 2012, supuestamente presentaba un sesgo, dirigiéndose de forma desproporcionada a los compradores negros, latinos y asiáticos en lugar de a los blancos.

Las acusaciones de discriminación racial dan lugar a medidas

El uso de tecnología de reconocimiento facial con inteligencia artificial por parte de Rite Aid ha sido objeto de escrutinio debido a la presunta elaboración de perfiles de ciertos grupos raciales. En concreto, el sistema se empleó paradenta clientes considerados susceptibles de robo, activando alertas de coincidencia para los empleados de la tienda cuando estos individuos entraban en las instalaciones. Resulta inquietante que la evidencia presentada en documentos legales sugiera que las personas de color fueron sometidas con mayor frecuencia a vigilancia injustificada, acoso y humillación pública.

El fenómeno conocido como "comprar siendo negro", una preocupación de larga data, implica la sospecha injustificada, la vigilancia constante y las acusaciones injustas de robo que se lanzan contra los compradores negros desde el momento en que entran en las tiendas. Este problema se extiende a prácticas discriminatorias como encerrar productos de cuidado capilar y belleza para personas negras tras vitrinas, mientras que se dejan artículos similares para clientes blancos fácilmente accesibles en estantes abiertos.

El mal uso de la tecnología de reconocimiento facial por parte de Rite Aid pone de relieve un caso de estudio inquietante de lo que algunos expertos denominan “racismo minorista”, destacando el papelmatic que puede desempeñar la IA al reforzar y exacerbar las desigualdades raciales.

El sesgo en la IA

Rashawn Ray, profesor de sociología de la Universidad de Maryland e investigador principal de la Brookings Institution, señala que las tecnologías de IA a menudo reflejan las desigualdades existentes, ya que se diseñan y desarrollan en entornos carentes de diversidad e inclusión. Cuando los mismos estereotipos que permean las relaciones cotidianas se codifican en algoritmos, el resultado es una tecnología de reconocimiento facial que perpetúa los estereotipos raciales, de forma similar a los prejuicios humanos.

Los sesgos implícitos, arraigados en esquemas mentales que asocian inconscientemente a ciertos grupos con características o comportamientos particulares, son un factor importante en este problema. En el comercio minorista, estos sesgos suelen manifestarse cuando los empleados asocian erróneamente a los compradores de color con tendencias de robo sin que los datos lo respalden. A pesar de que las estadísticas indican que la mayoría de los ladrones en tiendas en EE. UU. son blancos, el uso indebido de la tecnología de IA continúa propagando la falsa narrativa sobre la mayoría de los ladrones.

Si bien el robo de mercancías representa un riesgo financiero sustancial para las empresas, la dependencia de Rite Aid de la IA para la vigilancia tuvo consecuencias imprevistas. Los compradores de color, que fueron objeto de discriminación injustificada, sufrieron humillaciones, lo que resultó en pérdidas de ingresos para las tiendas. Algunas comunidades, en particular las que carecían de alternativas de compra, no tuvieron más remedio quetronestablecimientos donde sufrieron discriminación y abusos.

El papel de la IA más allá del comercio minorista

Las implicaciones de la IA sesgada se extienden más allá del sector minorista, y preocupa su impacto en la policía y la seguridad pública. Casos de gran repercusión, como el arresto injustificado de una mujer negra embarazada en Detroit debido a errores en la tecnología de reconocimiento facial, plantean dudas sobre la fiabilidad de los sistemas de vigilancia basados ​​en IA.

Los datos del Pew Research Center revelan quedentnegros son los que menos confían en la tecnología de reconocimiento facial en la policía. Casi la mitad de los encuestados negros expresaron su preocupación por el uso indebido de las tecnologías basadas en IA por parte de los agentes para vigilar barrios predominantemente negros y latinos con mayor frecuencia que zonasdentcon diversidad racial.

Llamamientos a la cautela y a realizar pruebas

A principios de este año, cinco senadores estadounidenses se opusieron al uso de tecnología de reconocimiento facial por parte de la Administración de Seguridad en el Transporte (TSA) en los aeropuertos estadounidenses. Citaron un estudio que revelaba que las personas negras y asiáticas tenían una probabilidad significativamente mayor de serdentpor dicha tecnología en comparación con los hombres blancos. Como parte de su acuerdo con la FTC, Rite Aid se ha comprometido a suspender el uso de sistemas de vigilancia basados ​​en IA durante los próximos cinco años. Los expertos sugieren que otros minoristas sigan el ejemplo y realicen pruebas rigurosas y repetidas para eliminar los sesgos en estas tecnologías.