Rite Aid прекращает использование ИИ-распознавания лиц после урегулирования с FTC

Rite Aid, известная сеть розничных аптек, согласилась прекратить использование технологии распознавания лиц на базе ИИ в рамках мер по предотвращению краж. Это решение принято в ответ на правовое урегулирование с Федеральной торговой комиссией (FTC) и на фоне обвинений в расовой профилизации. Система ИИ, используемая с 2012 года, якобы демонстрировала предвзятость, непропорционально нацеливаясь на чернокожих, латиноамериканцев и азиатов по сравнению с их белыми коллегами.

Обвинения в расовой профилизации приводят к действиям

Использование Rite Aid технологии распознавания лиц на базе ИИ находилось под пристальным вниманием из-за предполагаемой профилизации определенных расовых групп. В частности, система использовалась для идентификации клиентов, которые, как считалось, с высокой вероятностью совершат кражу, вызывая оповещения о совпадении для сотрудников магазина, когда эти люди входили в помещение. Тревожно, но доказательства, представленные в юридических документах, предполагают, что люди цветного происхождения чаще подвергались неоправданному надзору, преследованиям и публичному унижению.

Так называемое явление «шопинга в черном», давняя проблема, включает неоправданное подозрение, постоянный мониторинг и несправедливые обвинения в краже, предъявляемые чернокожим покупателям с момента входа в магазины. Эта проблема распространяется на дискриминационные практики, такие как запирание средств по уходу за черными волосами и косметики за стеклянными шкафами, в то время как аналогичные товары для белых клиентов остаются легко доступными на открытых полках.

Неправомерное использование технологии распознавания лиц Rite Aid подчеркивает тревожный пример того, что некоторые эксперты называют «розничным расизмом», выделяя проблемную роль ИИ в укреплении и усугублении расового неравенства.

Предвзятость в ИИ

Рашон Рэй, профессор социологии Университета Мэриленда и старший научный сотрудник Института Брукингса, отмечает, что технологии ИИ часто отражают существующее неравенство, поскольку они разрабатываются в средах, лишенных разнообразия и инклюзивности. Когда те же стереотипы, которые пронизывают повседневные взаимодействия, кодируются в алгоритмы, результатом становится технология распознавания лиц, которая поддерживает расовые стереотипы, подобно человеческой предвзятости.

Скрытые предубеждения, укорененные в ментальных ярлыках, которые бессознательно связывают определенные группы с определенными характеристиками или поведением, являются значительным фактором в этой проблеме. В розничной среде эти предубеждения часто проявляются в том, что сотрудники ошибочно связывают покупателей цветного происхождения с тенденциями к кражам, не подтвержденными данными. Несмотря на статистику, указывающую на то, что большинство воров в магазинах в США — белые, неправомерное использование технологии ИИ продолжает распространять ложное нарратив о большинстве воров.

Хотя кража товаров представляет значительный финансовый риск для бизнеса, опора Rite Aid на ИИ для наблюдения привела к непредвиденным последствиям. Покупатели цветного происхождения, которые были ошибочно нацелены, подвергались унижению, что приводило к потере дохода для магазинов. Некоторые сообщества, особенно те, у которых не было альтернативных вариантов для покупок, не имели выбора, кроме как посещать establishments, где они сталкивались с дискриминацией и злоупотреблениями.

Роль ИИ за пределами розничной торговли

Последствия предвзятого ИИ выходят за пределы розничной торговли, вызывая обеспокоенность по поводу его влияния на полицейскую деятельность и общественную безопасность. Высокопрофильные случаи, такие как ошибочный арест беременной чернокожей женщины в Детройте из-за ошибок технологии распознавания лиц, вызывают сомнения в надежности систем наблюдения на базе ИИ.

Данные Pew Research Center показывают, что чернокожие респонденты проявляют наименьшее доверие к технологии распознавания лиц в полицейской деятельности. Почти половина опрошенных чернокожих выразили обеспокоенность тем, что офицеры будут злоупотреблять технологиями на базе ИИ для более частого наблюдения за преимущественно чернокожими и латиноамериканскими районами по сравнению с расово разнообразными жилыми районами.

Призывы к осторожности и тестированию

Ранее в этом году пять сенаторов США выступили против использования технологии распознавания лиц Транспортной администрацией безопасности (TSA) в аэропортах США. Они сослались на исследование, показавшее, что чернокожие и азиатские люди значительно чаще ошибочно идентифицируются такой технологией по сравнению с белыми мужчинами. В рамках урегулирования с FTC Rite Aid обязалась приостановить использование систем наблюдения на базе ИИ в течение следующих пяти лет. Эксперты предлагают другим розничным продавцам последовать этому примеру, проводя строгое и повторное тестирование для устранения предвзятости в этих технологиях.