El gobierno indio pide a X que arregle Grok por contenido obsceno de IA

El gobierno indio ha ordenado a la plataforma de blogs X, propiedad de Elon Musk, que modifique su chatbot de inteligencia artificial Grok debido a contenido obsceno de IA. El país exige que la plataforma implemente cambios técnicos y de procedimiento inmediatos en el chatbot después de que usuarios y legisladores detectaran varios casos de contenido obsceno.

Según el país, se han reportado casos de uso del chatbot para crear imágenes obscenas, incluyendo imágenes de mujeres alteradas mediante inteligencia artificial. El Ministerio de Tecnologías de la Información de la India emitió una orden el viernes, solicitando a la plataforma Grok que tome medidas correctivas, incluyendo la restricción de la generación de contenido que contenga desnudez, sexualización, material sexualmente explícito o ilegal. El ministerio también le dio a la plataforma un plazo de 72 horas para implementar los cambios.

El gobierno indio ordena a X realizar cambios técnicos en Grok

Como parte de los resultados del ultimátum de 72 horas, el ministerio también solicitó a X que presentara un informe de las medidas adoptadas para prevenir el alojamiento o la difusión de contenido indecente. Este contenido incluye contenido obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo o prohibido por la ley. La orden advirtió que si la plataforma no cumple con las medidas obligatorias, podría poner en peligro sus protecciones de puerto seguro.

La orden de la India surge en medio de la preocupación expresada por usuarios que compartieron ejemplos de cómo Grok alteraba imágenes de personas, principalmente mujeres, para que parecieran llevar bikini. El problema se originó a raíz de una queja formal presentada por la parlamentaria india Priyanka Chaturvedi. Chaturvedi advirtió a todas las grandes empresas que utilizan chatbots de IA, y añadió que es necesario establecer mecanismos de control para funciones como Grok, de modo que el chatbot no vulnere la dignidad humana.

Por otra parte, los usuarios también han denunciado variosdenten los que el chatbot de IA se ha utilizado para generar imágenes sexualizadas que involucran a menores, un problema que X reconoció el viernes. La plataforma alegó que se debió a fallas en las medidas de seguridad, antes de actuar con rapidez para retirar las imágenes generadas. La plataforma también instó a los usuarios a denunciar formalmente al Buró Federal de Investigaciones (FBI) o a la línea de denuncias cibernéticas del NCMEC, señalando que X se compromete a prevenir este tipo de problemas.

X podría enfrentar problemas legales por incumplimiento

Según los usuarios, las imágenes indecentes de mujeres generadas mediante el chatbot permanecieron en la plataforma. Esta última orden se produce después de que el Ministerio de Tecnología de la Información de la India emitiera un aviso a las plataformas de redes sociales, recordándoles que el cumplimiento de las leyes locales que rigen el contenido obsceno y sexualmente explícito es un requisito previo para mantener la inmunidad legal ante la responsabilidad por los materiales generados por los usuarios. El país instó a las empresas a mejorar las medidas de seguridad y advirtió que, de no hacerlo, podrían surgir acciones legales.

Se reitera que el incumplimiento de los requisitos anteriores se considerará grave y podrá acarrear consecuencias legales severas contra su plataforma, sus responsables y los usuarios que infrinjan la ley, sin previo aviso, advierte la orden. El gobierno indio también ha advertido a X que, si no cumple con su directiva, el país tiene la facultad de iniciar acciones legales contra la plataforma en virtud de la legislación informática y las leyes penales de la India.

India se ha convertido en uno de los mayores mercados digitales, y se considera un caso crítico para determinar hasta qué punto los gobiernos están dispuestos a exigir responsabilidades a las plataformas por el contenido generado por IA. Si se endurece la aplicación de la ley en el país, podría tener un efecto ripple para las empresas tecnológicas globales que operan en otras jurisdicciones. La orden también se produce mientras X continúa impugnando las normas de regulación de contenido de India en los tribunales.

La plataforma argumenta que las facultades de desmantelamiento del gobierno federal podrían extralimitarse, aun cuando ha cumplido con la mayoría de las directivas de bloqueo impuestas por el país. Al mismo tiempo, Grok ha sido útil para los usuarios de X, quienes la mayoría de ellos utilizan la plataforma para verificar datos y comentar eventos globales en tiempo real, lo que hace que su contenido sea más visible y políticamente sensible que el de las herramientas de IA independientes.