El gobierno indio pide a X que arregle Grok por contenido de IA obsceno

El gobierno indio ha ordenado a la plataforma de blogging propiedad de Elon Musk, X, que haga cambios en su chatbot de inteligencia artificial Grok debido a contenido de IA obsceno. El país quiere que la plataforma haga cambios técnicos y procedimentales inmediatos al chatbot después de que usuarios y legisladores señalaran varios casos de contenido obsceno.

Según el país, los casos del chatbot Grok siendo utilizado para crear estas imágenes obscenas, incluidas imágenes alteradas por IA de mujeres creadas usando la herramienta. La orden fue emitida el viernes por el ministerio de TI de la India, pidiendo a la plataforma que tome medidas correctivas concernientes a Grok, incluyendo restringir la generación de contenido que involucre material de "nudismo, sexualización, sexualmente explícito o de otra manera ilegal". El ministerio también ha dado a la plataforma un ultimátum de 72 horas para efectuar los cambios.

El gobierno indio ordena a X hacer cambios técnicos a Grok

Como parte de sus entregables en el ultimátum de 72 horas, el ministerio también ha pedido a X que presente un informe de acciones tomadas detallando los pasos que ha dado para prevenir el alojamiento o la difusión de contenido indecente. Estos contenidos incluyen "obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo o de otra manera prohibido por la ley". La orden advirtió que si la plataforma no lleva a cabo los pasos obligatorios, podría poner en riesgo sus protecciones de "puerto seguro".

La orden de la India llega en medio de las preocupaciones planteadas por usuarios que compartieron ejemplos de Grok siendo instado a alterar imágenes de individuos, principalmente mujeres, para hacerlas parecer que visten bikinis. El problema fue provocado por una queja formal, presentada por la parlamentaria india Priyanka Chaturvedi. Chaturvedi advirtió a todas las grandes empresas con chatbots de IA, añadiendo que deben establecerse salvaguardas para controlar funciones como las de Grok para que el chatbot no viole la dignidad humana.

Por separado, los usuarios también han señalado varios incidentes donde el chatbot de IA ha sido utilizado para generar imágenes sexualizadas que involucran a menores, un problema que X reconoció el viernes. La plataforma afirmó que fue causado por algunas fallas en las salvaguardas antes de actuar rápidamente para retirar las imágenes generadas. La plataforma también instó a los usuarios a reportar formalmente a la Oficina Federal de Investigaciones (FBI) o a la línea cibernética de NCMEC, señalando que X está comprometida a prevenir tales problemas.

X podría enfrentar problemas legales por incumplimiento

Según los usuarios, las imágenes indecentes de mujeres generadas usando el chatbot permanecieron en la plataforma. La última orden llega después de que el ministerio de TI de la India emitiera un aviso a las plataformas de redes sociales, recordándoles que el cumplimiento de las leyes locales que rigen el contenido obsceno y sexualmente explícito es un requisito previo para retener la inmunidad legal de responsabilidad por materiales generados por usuarios. El país instó a las empresas a mejorar las salvaguardas y advirtió que el incumplimiento podría atraer acciones legales.

"Se reitera que el incumplimiento de los requisitos anteriores se verá en serio y puede resultar en estrictas consecuencias legales contra su plataforma, sus oficiales responsables y los usuarios de la plataforma que violen la ley, sin previo aviso adicional", advirtió la orden. El gobierno indio también ha advertido a X que si no cumple con su directiva, el país tiene el poder de iniciar una acción legal contra la plataforma bajo la ley de TI de la India y los estatutos penales.

La India ha emergido como uno de los mayores mercados digitales, siendo vista como un caso de prueba crítico para hasta dónde están dispuestos a llegar los gobiernos para mantener responsables a las plataformas por el contenido generado por IA. Si la aplicación se endurece en el país, podría tener un efecto dominó para las empresas tecnológicas globales que operan en otras jurisdicciones. La orden también llega mientras X continúa desafiando las reglas de regulación de contenido de la India en los tribunales.

La plataforma argumenta que los poderes federales de retirada de contenido arriesgan una excedencia, incluso mientras la plataforma ha cumplido con la mayoría de las directivas de bloqueo presentadas por el país. Al mismo tiempo, Grok ha sido útil para los usuarios en X, con la mayoría de los usuarios utilizando la plataforma para la verificación de hechos en tiempo real y comentarios sobre eventos globales, haciendo que su salida sea más visible y políticamente sensible que la de las herramientas de IA independientes.