Rite Aid Cesa el Reconocimiento Facial con IA tras el Acuerdo con la FTC

Rite Aid, la prominente cadena de farmacias minoristas, ha acordado dejar de utilizar tecnología de reconocimiento facial impulsada por IA como parte de sus medidas de prevención de hurtos. Esta decisión llega en respuesta a unacuerdo legal con la Comisión Federal de Comercio (FTC) y en medio de alegaciones de perfilamiento racial. El sistema de IA, empleado desde 2012, supuestamente exhibía un sesgo, apuntando desproporcionadamente a compradores negros, latinos y asiáticos en comparación con sus contrapartes blancas.

Las alegaciones de perfilamiento racial llevan a la acción

El uso de tecnología de reconocimiento facial impulsada por IA por parte de Rite Aid ha estado bajo escrutinio debido a su supuestoprofileo de ciertos grupos raciales. Específicamente, el sistema se empleaba para identificar a clientes considerados propensos a cometer robos, activando alertas de coincidencia para los empleados de la tienda cuando estas personas ingresaban a las instalaciones. Perturbadoramente, la evidencia presentada en documentos legales sugiere que las personas de color eran más frecuentemente sometidas a vigilancia injustificada, acoso y vergüenza pública.

El llamado fenómeno de “comprar siendo negro”, una preocupación de larga data, implica la sospecha infundada, el monitoreo constante y las acusaciones injustas de robo dirigidas a los compradores negros desde el momento en que entran a las tiendas. Este problema se extiende a prácticas discriminatorias, como guardar los productos de cuidado capilar y belleza para personas negras detrás de vitrinas de vidrio, mientras que artículos similares para clientes blancos permanecen accesibles en estantes abiertos.

El mal uso por parte de Rite Aid de la tecnología de reconocimiento facial subraya un inquietante caso de estudio de lo que algunos expertos denominan “racismo minorista”, destacando el papel problemático que la IA puede desempeñar al reforzar y exacerbar las desigualdades raciales.

El sesgo en la IA

Rashawn Ray, profesor de sociología en la Universidad de Maryland y becario senior en The Brookings Institution, señala que las tecnologías de IA a menudo reflejan las desigualdades existentes, ya que se diseñan y desarrollan en entornos que carecen de diversidad e inclusión. Cuando los mismos estereotipos que impregnan los encuentros cotidianos se codifican en algoritmos, el resultado es una tecnología de reconocimiento facial que perpetúa estereotipos raciales, similar al sesgo humano.

Los sesgos implícitos, arraigados en atajos mentales que asocian inconscientemente a ciertos grupos con características o comportamientos particulares, son un factor significativo en este problema. En los entornos minoristas, estos sesgos a menudo se manifiestan cuando los empleados asocian erróneamente a los compradores de color con tendencias de robo no respaldadas por datos. A pesar de las estadísticas que indican que la mayoría de los ladrones de tiendas en EE. UU. son blancos, el mal uso de la tecnología de IA continúa propagando la falsa narrativa sobre la mayoría de los ladrones de tiendas.

Si bien el robo de mercancías representa un riesgo financiero sustancial para las empresas, la dependencia de Rite Aid de la IA para la vigilancia condujo a consecuencias no deseadas. Los compradores de color, que fueron blanco erróneo, sufrieron humillación, lo que resultó en pérdidas de ingresos para las tiendas. Algunas comunidades, particularmente aquellas que carecen de opciones de compra alternativas, no tuvieron más remedio que frecuentar establecimientos donde enfrentaron discriminación y abuso.

El papel de la IA más allá del minorismo

Las implicaciones de la IA sesgada se extienden más allá del sector minorista, con preocupaciones sobre su impacto en la policía y la seguridad pública. Casos de alto perfil, como el arresto erróneo de una mujer negra embarazada en Detroit debido a errores en la tecnología de reconocimiento facial, plantean dudas sobre la fiabilidad de los sistemas de vigilancia impulsados por IA.

Los datos del Pew Research Center revelan que los encuestados negros muestran la menor confianza en la tecnología de reconocimiento facial en la policía. Casi la mitad de los individuos negros encuestados expresaron preocupaciones de que los oficiales mal usarían las tecnologías impulsadas por IA para vigilar los vecindarios predominantemente negros y latinos con más frecuencia que las áreas residenciales racialmente diversas.

Llamados a la precaución y las pruebas

A principios de este año, cinco senadores de EE. UU. se opusieron al uso de la tecnología de reconocimiento facial por parte de la Administración de Seguridad de los Transportes (TSA) en los aeropuertos de EE. UU. Citaron un estudio que revelaba que las personas negras y asiáticas tenían significativamente más probabilidades de ser identificadas erróneamente por dicha tecnología en comparación con los hombres blancos. Como parte de su acuerdo con la Comisión Federal de Comercio (FTC), Rite Aid se ha comprometido a suspender el uso de sus sistemas de vigilancia impulsados por IA durante los próximos cinco años. Los expertos sugieren que otros minoristas sigan su ejemplo, realizando pruebas rigurosas y repetidas para eliminar los sesgos en estas tecnologías.