El Fiscal General de California emite una orden de cese y desistimiento a xAI por imágenes deepfake inapropiadas

El fiscal general de California, Rob Bonta, envió una carta de cese y desistimiento a xAI de Elon Musk, exigiendo que la empresa deje de inmediato de producir y difundir imágenes deepfake ofensivas producidas por su chatbot Grok. 

El Fiscal General de California publicó la carta de cese y desistimiento el viernes en respuesta a las acusaciones de que Grok se estaba utilizando para crear contenido ilegal que involucraba a menores y fotografías no consentidas de adultos, lo que dio lugar a una investigación estatal en California. Bonta argumentó que es ilegal crear, distribuir, publicar y exhibir material de abuso sexual infantil (MASI).

El Fiscal General de California critica a xAI por presunto uso indebido de Grok

A principios de esta semana, la fiscalía general de California anunció que estaba investigando a xAI debido a las acusaciones de que el chatbot de la startup, Grok, se estaba utilizando para producir imágenes inapropiadas y no consentidas de mujeres y niños. En respuesta, el gobierno envió a la corporación una carta de cese y desistimiento.

Hoy envié a xAI una carta de cese y desistimiento, exigiendo que la empresa detenga de inmediato la creación y distribución de deepfakes, imágenes íntimas no consensuadas y material ilegal de abuso infantil. La creación de este material es ilegal. Espero plenamente que xAI cumpla de inmediato. California tiene tolerancia cero con las imágenes ilegales de abuso infantil

–Rob Bonta, Fiscal General de California.

La Fiscalía General afirmó además que xAI parece estar facilitando la producción a gran escala de fotos inapropiadas y sin consentimiento, que luego se utilizan para acosar a mujeres y niñas en internet. Según la Fiscalía, una investigación reveló que más de la mitad de las 20.000 fotos producidas por xAI entre Navidad y Año Nuevo mostraban a personas con muy poca ropa, algunas de las cuales parecían niñas.

Rob Bonta afirmó en el anuncio que las prácticas corporativas violaban las leyes civiles de California, incluyendo la sección 1708.86 del Código Civil de California, las secciones 311 y siguientes y 647(j)(4) del Código Penal de California, y la sección 17200 del Código de Negocios y Profesiones de California. 

El Departamento de Justicia de California anticipa que xAI reafirmará sus esfuerzos para abordar estos problemas y tomará medidas inmediatas para resolverlos en los próximos cinco días.

Sin embargo, la cuenta de seguridad de X ya había condenado este tipo de comportamiento de los usuarios. aclaró que toma medidas contra el contenido ilícito en X, como el CSAM, eliminándolo, suspendiendo cuentas dedefiy colaborando con las autoridades policiales y los gobiernos municipales cuando sea necesario.

Cabe destacar que el 4 de enero, Elon Musk advirtió que cualquiera que use o incite a Grok a crear contenido ilegal enfrentará las mismas consecuencias que si lo hubiera subido él mismo.

Los fiscales generales intensifican la presión sobre las empresas de inteligencia artificial por la seguridad infantil

El desarrollo de herramientas gratuitas de IA generativa ha provocado un preocupante aumento del contenido para adultos no consensuado. Este problema ha afectado a varias plataformas, no solo a X.

Por ejemplo, el fiscal general Bonta y el fiscal general Jennings de Delaware se reunieron con OpenAI en septiembre del año pasado para expresar su seria preocupación por el creciente número de informes sobre cómo los productos de OpenAI interactuaban con los jóvenes.

En agosto de ese mismo año, el Fiscal General Bonta, junto con otros 44 Fiscales Generales, envió una carta a 12 importantes empresas de IA tras denuncias de interacciones inapropiadas entre chatbots de IA y niños. Las cartas se enviaron a Anthropic, Apple, Chai AI, Google, Luka Inc., Meta, Microsoft, Nomi AI, OpenAI, Perplexity AI, Replika y xAI.

El Procurador General Bonta y los 44 Fiscales Generales informaron a las empresas en la carta que los estados de todo el país estaban monitoreando de cerca cómo las empresas desarrollaban sus políticas de seguridad de IA. También enfatizaron que estas empresas tienen un deber legal con los niños como consumidores, ya que se benefician del uso de sus productos por parte de niños. 

En 2023, la Procuradora General Bonta se unió a una coalición bipartidista de 54 estados y territorios para enviar una carta a los líderes del Congreso abogando por el establecimiento de un comité de expertos para investigar el posible uso de IA para explotar a niños a través del CSAM. 

La coalición solicitó a la comisión de expertos que propusiera leyes para proteger a los niños de tales maltratos. Según el Departamento de Justicia de Estados Unidos, «la producción de material de abuso sexual infantil crea un registro permanente de la victimización del niño».