Processo da procuradoria da cidade de São Francisco visa fechar sites de deepfake com nudez criados por inteligência artificial

O procurador da cidade de São Francisco, David Chiu, anunciou que seu escritório está processando 16 sites que usam inteligência artificial para desenvolver e distribuir imagens deepfake de mulheres e meninas nuas sem o seu consentimento. Isso ocorre em meio à crescente atenção dada à criação e distribuição de imagens geradas por inteligência artificial sem consentimento.

Segundo Chiu, o processo é o primeiro do gênero em São Francisco e acusa os operadores dos sites de violarem leis estaduais e federais que condenam pornografia deepfake, pornografia infantil e material pornográfico de vingança, bem como a lei de concorrência desleal da Califórnia.

Chiu quer alertar para essa prática inadequada

Segundo o New York Times, a iniciativa partiu da procuradora-chefe adjunta Yvonne Mere, que mobilizou seus colegas para elaborar um processo judicial que deveria resultar no fechamento de 16 sites.

Os nomes dos sites foram censurados na cópia do processo disponibilizada ao público na quinta-feira.

Embora o Ministério Público tenha afirmado que ainda nãodenta maioria dos proprietários dos sites, funcionários do órgão expressaram otimismo em relação à possibilidade de encontrar os nomes dos proprietários e responsabilizá-los.

Durante uma coletiva de imprensa na quinta-feira, Chiu revelou que os sites produzem material “pornográfico” não consensual. Além de alertar sobre a necessidade de acabar com essa forma de “abuso sexual”, Chiu também insinuou que o processo judicial deveria levar ao fechamento dos referidos sites.

“Esta investigação levou-nos aos recantos mais obscuros da internet, e estou absolutamente horrorizada pelas mulheres e meninas que tiveram de suportar esta exploração.”

Chiu.

Nesses sites, os usuários carregam fotos de pessoas reais completamente vestidas e utilizam inteligência artificial para criar imagens de mulheres e meninas nuas. Os modelos de IA dos sites foram treinados com pornografia real e imagens de abuso infantil para criar deepfakes.

Conforme indicado no processo, um dos sites promove a natureza não consensual das imagens, afirmando: "Imagine perder tempo saindo com ela, quando você pode simplesmente usar [nome do site omitido] para conseguir fotos dela nua."

A disponibilidade e acessibilidade de modelos de IA de código aberto tornaram fácil para qualquer pessoa acessar e adaptar mecanismos baseados em IA para seus propósitos. Isso resulta na criação de sites e aplicativos que podem gerar nudes falsos do zero ou "nudar" fotografias existentes de forma realista, geralmente mediante pagamento.

São Francisco não é o único lugar a testemunhar esse desafio

Em janeiro, os aplicativos de deepfake ganharam as manchetes quando fotos falsas de Taylor Swift nua viralizaram na internet. Muitas outras pessoas, bem menos conhecidas, foram perseguidas antes e depois de Swift.

Chiu admitiu que a “proliferação dessas imagens explorou um número alarmante de mulheres e meninas em todo o mundo”, desde celebridades atédentdo ensino fundamental.

Por meio de suas próprias investigações, o gabinete do procurador municipal descobriu que os sites receberam mais de 200 milhões de visitas nos primeiros seis meses deste ano. O gabinete expressou preocupação com o fato de que, uma vez que uma imagem é publicada online, torna-se difícil para as vítimas determinarem os sites que foram usados ​​para "manipular" suas fotografias.

Isso ocorre porque as imagens não possuem nenhuma marca única oudentque permita rastrear a origem dos sites. Além disso, é difícil para as vítimas removerem as fotografias da internet, o que afeta suasteem e sua presença digital.

No início do ano, cinco alunos da oitava série foram expulsos por criarem e compartilharem imagens deepfake de 16 meninas da mesma série nuas, sobrepondo os rostos das meninas em corpos gerados por inteligência artificial.

Casos semelhantes foram observados em outras escolas na Califórnia, Nova Jersey e Washington, onde as imagens foram usadas para humilhar, intimidar e ameaçar mulheres e meninas.

O impacto geral sobre as vítimas, segundo o gabinete do procurador, tem sido devastador para suas reputações, causando problemas de saúde mental, perda desteeme, em alguns casos, levando indivíduos ao suicídio.