El fiscal general de California emite una orden de cese y desistimiento a xAI por imágenes de deepfake inapropiadas

El fiscal general de California, Rob Bonta, envió una carta de cese y desistimiento a xAI de Elon Musk, exigiendo que el negocio detenga inmediatamente la producción y difusión de imágenes de deepfake ofensivas producidas por su chatbot Grok. 

El fiscal general de California publicó la carta de cese y desistimiento el viernes en respuesta a las alegaciones de que Grok estaba siendo utilizado para crear contenido ilegal que involucraba a niños y fotografías de adultos no consentidas, lo que provocó una investigación estatal en California. Bonta argumentó que es ilegal crear, distribuir, publicar y exhibir material de abuso sexual infantil (CSAM).

El fiscal general de California apunta a xAI por el presunto mal uso de Grok

A principios de esta semana, la oficina del fiscal general de California declaró que estaba investigando a xAI debido a alegaciones de que el chatbot de la startup, Grok, estaba siendo utilizado para producir imágenes inapropiadas y no consentidas de mujeres y niños. En respuesta, el gobierno envió a la corporación una carta de cese y desistimiento.

«Hoy, envié a xAI una carta de cese y desistimiento, exigiendo a la empresa que detenga inmediatamente la creación y distribución de deepfakes, imágenes íntimas no consentidas y material ilegal de abuso infantil. La creación de este material es ilegal. Espero plenamente que xAI cumpla de inmediato. California tiene tolerancia cero para las imágenes ilegales de abuso infantil.»

–Rob Bonta, fiscal general de California.

La oficina del fiscal general afirmó además que xAI parece estar «facilitando la producción a gran escala» de fotos inapropiadas y no consentidas, que luego son «utilizadas para acosar a mujeres y niñas en todo Internet». Según la oficina del fiscal general, una investigación encontró que más de la mitad de las 20,000 fotos producidas por xAI entre Navidad y Año Nuevo mostraban personas vistiendo muy poca ropa, algunas de las cuales parecían niños.

Rob Bonta afirmó en el anuncio que que las prácticas corporativas violaban las leyes civiles de California, incluyendo la sección 1708.86 del Código Civil de California, las secciones 311 y siguientes y 647(j)(4) del Código Penal de California, y la sección 17200 del Código de Negocios y Profesiones de California. 

El Departamento de Justicia de California anticipa que xAI afirmará sus esfuerzos para abordar estos problemas y tomará medidas inmediatas para resolverlos en los próximos cinco días.

Sin embargo, la cuenta de seguridad de X había condenado previamente este tipo de comportamiento de los usuarios. El aclaró el 4 de enero que toma medidas contra contenido ilícito en X, como CSAM, eliminándolo, suspendiendo cuentas indefinidamente y colaborando con las autoridades policiales y los gobiernos municipales según sea necesario.

Cabe destacar que, el 4 de enero, Elon Musk advirtió que cualquiera que usara o solicitara Grok para crear contenido ilegal enfrentaría las mismas consecuencias que si lo subiera.

Los fiscales generales intensifican la presión sobre las empresas de IA por la seguridad infantil

Un aumento inquietante en el contenido adulto no consentido ha resultado del desarrollo de herramientas de IA generativa gratuitas. Este problema ha estado plagando varias plataformas, no solo X.

Por ejemplo, el fiscal general Bonta y el fiscal general Jennings de Delaware se reunió con OpenAI en septiembre del año pasado para expresar sus serias preocupaciones sobre el creciente número de informes sobre cómo los productos de OpenAI interactuaban con los jóvenes.

En agosto del mismo año, el fiscal general Bonta, junto con otros 44 fiscales generales, envió una carta a 12 empresas líderes de IA después de informes de interacciones inapropiadas entre chatbots de IA y niños. Las cartas fueron enviadas a Anthropic, Apple, Chai AI, Google, Luka Inc., Meta, Microsoft, Nomi AI, OpenAI, Perplexity AI, Replika y xAI.

El fiscal general Bonta y los 44 fiscales generales informaron a las empresas en la carta que los estados de todo el país estaban monitoreando de cerca cómo las empresas desarrollan sus políticas de seguridad de IA. También enfatizaron que estas empresas tienen un deber legal con los niños como consumidores, ya que obtienen beneficios de que los niños usen sus productos. 

En 2023, el fiscal general Bonta se unió a una coalición bipartidista de 54 estados y territorios para enviar una carta a los líderes del Congreso abogando por el establecimiento de un comité de expertos para investigar el posible uso de la IA para explotar a niños a través de CSAM. 

La coalición de que la comisión de expertos sugiriera leyes para proteger a los niños de tal maltrato. «La producción de CSAM crea un registro permanente de la victimización del niño», según el Departamento de Justicia de EE. UU.