La demanda del procurador de la ciudad de San Francisco para cerrar sitios web de desnudos deepfake impulsados por IA

El Fiscal de la Ciudad de San Francisco, David Chiu, ha anunciado que su oficina está litigando 16 sitios web que utilizan inteligencia artificial para crear y distribuir imágenes desnudas deepfake no consentidas de mujeres y niñas. Esto ocurre en medio de una mayor atención sobre la creación y distribución de imágenes deepfake no consentidas mediante IA.

Según Chiu, la demanda es la primera de su tipo en San Francisco y culpa a los operadores de los sitios web por violar leyes estatales y federales que condenan la pornografía deepfake, la pornografía infantil y el material pornográfico de venganza, así como la ley de competencia desleal de California.

Chiu quiere alertar sobre esta práctica dañina

Según el New York Times, la iniciativa fue idea de la viceprocuradora principal Yvonne Mere, quien reunió a sus colegas para redactar una demanda que debería resultar en el cierre de 16 sitios web.

Los nombres de los sitios web fueron censurados en la copia de la demanda puesta a disposición del público este jueves.

Aunque la oficina del Fiscal aún no ha identificado a la mayoría de los propietarios de los sitios web, funcionarios de dicha oficina han expresado optimismo respecto a encontrar los nombres de los dueños de los sitios y hacerlos responsables.

Durante una conferencia de prensa el jueves, Chiu reveló que los sitios producen material «pornográfico» no consensuado. Además de generar alarma y poner fin a esta forma de «abuso sexual», Chiu también insinuó que la demanda debería cerrar dichos sitios web.

«Esta investigación nos ha llevado a los rincones más oscuros de internet, y estoy absolutamente horrorizado por las mujeres y niñas que han tenido que soportar esta explotación.»

Chiu.

En los sitios web mencionados, los usuarios suben fotos de personas reales completamente vestidas y utilizan IA para crear imágenes de mujeres y niñas desnudas. Los modelos de IA de estos sitios fueron entrenados con pornografía real y fotografías de abuso infantil para generar deepfakes.

Como se indica en la demanda, uno de los sitios promueve la naturaleza no consensuada de las imágenes, afirmando: «Imagina perder tiempo saliendo con ella a citas, cuando puedes simplemente usar [sitio web censurado] para obtener sus desnudos».

La disponibilidad y accesibilidad de modelos de IA de código abierto ha facilitado que cualquiera pueda acceder y adaptar motores impulsados por IA para sus fines. Esto da lugar a la creación de sitios y aplicaciones que pueden generar desnudos deepfakes desde cero o "nudificar" fotografías existentes de manera realista, a menudo a cambio de una tarifa.

San Francisco no es el único lugar donde se observa este desafío

En enero, las aplicaciones de deepfake hicieron titulares cuando fotos falsas de Taylor Swift desnuda se volvieron virales en línea. Muchas otras personas, mucho menos populares, fueron perseguidas antes y después de Swift.

Chiu ha admitido que la "proliferación de estas imágenes ha explotado a un número alarmante de mujeres y niñas en todo el mundo", desde celebridades hasta estudiantes de secundaria.

Mediante sus propias investigaciones, la oficina del fiscal de la ciudad descubrió que los sitios web fueron visitados más de 200 millones de veces en los primeros seis meses de este año. La oficina expresó su preocupación de que, una vez que una imagen se publica en línea, resulta difícil para las víctimas determinar qué sitios web se utilizaron para "nudificar" sus fotografías.

Esto se debe a que las imágenes no tienen elementos únicos ni marcas identificativas a las que se pueda hacer referencia para rastrear los sitios web. Además, también es difícil para las víctimas eliminar las fotografías de internet, lo que afecta su autoestima y su huella digital.

A principios de este año, cinco estudiantes de octavo grado de Beverly Hills fueron expulsados por crear y compartir imágenes desnudas deepfake de 16 niñas de octavo grado, superponiendo los rostros de las niñas sobre cuerpos generados por IA.

Se han observado casos similares en otras escuelas de California, Nueva Jersey y Washington, donde las imágenes se utilizaron para humillar, acosar y amenazar a mujeres y niñas.

El efecto neto sobre las víctimas, según la oficina del fiscal, ha sido devastador para sus reputaciones, causando problemas de salud mental, pérdida de autoestima y, en algunos casos, llevando a las personas a tener pensamientos suicidas.