Ação judicial do procurador-geral da cidade de São Francisco para derrubar sites de nudes deepfake impulsionados por IA

O procurador-geral da cidade de São Francisco, David Chiu, anunciou que seu escritório está litigando 16 sites que usam IA para desenvolver e distribuir imagens nuas deepfake não consensuais de mulheres e meninas. Isso ocorre em meio a uma atenção crescente sobre a criação e distribuição de imagens não consensuais geradas por IA.

De acordo com Chiu, a ação judicial é a primeira do seu tipo em São Francisco, atribuindo responsabilidade aos operadores dos sites por violar leis estaduais e federais que condenam pornografia deepfake, pornografia infantil e material pornográfico de vingança, bem como a lei de concorrência desleal da Califórnia.

Chiu quer levantar alarmes sobre essa prática inadequada

De acordo com o New York Times, a iniciativa foi ideia da procuradora-geral adjunta Yvonne Mere, que reuniu os seus colegas para elaborar uma ação judicial, que deve resultar no encerramento de 16 sites.

Os nomes dos sites foram censurados na cópia da ação judicial disponibilizada ao público na quinta-feira.

Embora o escritório do Procurador-Geral tenha dito que ainda não identificou a maioria dos proprietários dos sites, os funcionários do escritório expressaram otimismo em relação à descoberta dos nomes dos proprietários e à responsabilização deles.

Durante uma conferência de imprensa na quinta-feira, Chiu revelou que os sites produzem materiais “pornográficos” não consensuais. Além de levantar alarmes e acabar com essa forma de “abuso sexual”, Chiu também sugeriu que a ação judicial deveria também derrubar os referidos sites.

“Esta investigação nos levou aos cantos mais sombrios da internet, e estou absolutamente horrorizado com as mulheres e meninas que tiveram que suportar essa exploração.”

Chiu.

Nesses sites, os usuários enviam fotos de pessoas reais vestidas e usam IA para criar imagens de mulheres e meninas nuas. Os modelos de IA dos sites foram treinados com pornografia real e imagens de abuso infantil para criar deepfakes.

Conforme indicado na ação judicial, um dos sites promove o caráter não consensual das imagens, afirmando: “Imagine perder tempo levando-a para encontros, quando você pode simplesmente usar [nome do site oculto] para obter suas fotos nuas.”

A disponibilidade e acessibilidade de modelos de IA de código aberto facilitou que qualquer pessoa acessasse e adaptasse motores impulsionados por IA para seus propósitos. Isso resulta na criação de sites e aplicativos que podem gerar nudes deepfake do zero ou “despir” fotografias existentes de maneira realista, muitas vezes por uma taxa.

São Francisco não é o único lugar a testemunhar esse desafio

Em janeiro, aplicativos de deepfake fizeram as manchetes quando fotos nuas falsas de Taylor Swift se tornaram virais online. Muitas outras pessoas, muito menos populares, foram perseguidas antes e depois de Swift.

Chiu admitiu que a “proliferação dessas imagens explorou um número chocante de mulheres e meninas em todo o mundo”, desde celebridades até estudantes do ensino fundamental II.

Por meio de suas próprias investigações, o escritório do procurador-geral da cidade descobriu que os sites foram visitados mais de 200 milhões de vezes nos primeiros seis meses deste ano. O escritório expressou preocupações de que, uma vez que uma imagem vai para a internet, torna-se difícil para as vítimas determinar quais sites foram usados para “despir” suas fotografias.

Isso ocorre porque as imagens não têm nada de único ou marcas identificáveis às quais se possa voltar para rastrear os sites. Além disso, também é difícil para as vítimas se livrarem das fotografias da internet, o que afeta sua autoestima e sua pegada digital.

No início do ano, cinco alunos do oitavo ano de Beverly Hills foram expulsos por gerar e compartilhar imagens nuas deepfake de 16 meninas do oitavo ano, sobrepondo os rostos das meninas a corpos gerados por IA.

Casos semelhantes foram observados em outras escolas na Califórnia, Nova Jersey e Washington, com as imagens sendo usadas para humilhar, intimidar e ameaçar mulheres e meninas.

O efeito líquido sobre as vítimas, disse o escritório do procurador-geral, tem sido devastador para suas reputações, causando problemas de saúde mental, perda de autoestima e, em alguns casos, levando indivíduos a se tornarem suicidas.