Governo indiano pede à X para corrigir o Grok devido a conteúdo obsceno de IA

O governo indiano ordenou que a plataforma de blogs de propriedade de Elon Musk, a X, fizesse alterações em seu chatbot de inteligência artificial Grok devido a conteúdo obsceno de IA. O país quer que a plataforma faça mudanças técnicas e procedimentais imediatas no chatbot após usuários e legisladores sinalizarem vários casos de conteúdo obsceno.

De acordo com o país, os casos do chatbot sendo usado para criar essas imagens obscenas, incluindo imagens alteradas por IA de mulheres criadas usando a ferramenta. A ordem foi emitida na sexta-feira pelo Ministério de TI da Índia, pedindo à plataforma que tome medidas corretivas em relação ao Grok, incluindo restringir a geração de conteúdo envolvendo material "nudoso, sexualizado, sexualmente explícito ou de outra forma ilegal". O ministério também deu à plataforma um ultimato de 72 horas para efetuar as mudanças.

Governo indiano ordena que a X faça alterações técnicas no Grok

Como parte de suas entregas no ultimato de 72 horas, o ministério também pediu à X que apresentasse um relatório de medidas tomadas detalhando as etapas que ela tomou para impedir o alojamento ou disseminação de conteúdo indecente. Esses conteúdos incluem "obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo ou de outra forma proibido por lei". A ordem alertou que, se a plataforma não cumprir as etapas obrigatórias, isso poderia comprometer suas proteções de "porto seguro".

A ordem da Índia surge em meio a preocupações levantadas por usuários que compartilharam exemplos do Grok sendo solicitado a alterar imagens de indivíduos, principalmente mulheres, para fazê-los parecer que estão usando biquínis. A questão foi impulsionada por uma reclamação formal, apresentada pela parlamentar indiana Priyanka Chaturvedi. Chaturvedi alertou todas as grandes empresas com chatbots de IA, acrescentando que devem ser estabelecidas barreiras de segurança para verificar recursos como o Grok para que o chatbot não viole a dignidade humana.

Separadamente, os usuários também sinalizaram vários incidentes em que o chatbot de IA foi usado para gerar imagens sexualizadas envolvendo menores, uma questão que a X reconheceu na sexta-feira. A plataforma afirmou que isso foi causado por algumas falhas nas salvaguardas antes de agir rapidamente para remover as imagens geradas. A plataforma também instou os usuários a denunciarem formalmente ao Federal Bureau of Investigation (FBI) ou ao CyberTipline da NCMEC, observando que a X está comprometida em impedir tais problemas.

A X pode enfrentar problemas legais por não conformidade

De acordo com os usuários, imagens indecentes de mulheres geradas usando o chatbot permaneceram na plataforma. A última ordem vem depois que o ministério de TI da Índia emitiu um aviso às plataformas de mídia social, lembrando-as de que a conformidade com as leis locais que regem conteúdo obsceno e sexualmente explícito é um pré-requisito para reter a imunidade legal de responsabilidade por materiais gerados por usuários. O país instou as empresas a melhorarem as barreiras de segurança e alertou que o fracasso poderia atrair ação legal.

"Reitera-se que a não conformidade com os requisitos acima será vista seriamente e pode resultar em consequências legais rigorosas contra sua plataforma, seus oficiais responsáveis e os usuários da plataforma que violam a lei, sem aviso prévio", alertou a ordem. O governo indiano também alertou a X de que, se não cumprir sua diretiva, o país tem o poder de iniciar uma ação legal contra a plataforma sob a lei de TI da Índia e estatutos criminais.

A Índia emergiu como um dos maiores mercados digitais, sendo vista como um caso de teste crítico para o quão longe os governos estão dispostos a ir para responsabilizar as plataformas pelo conteúdo gerado por IA. Se a aplicação for intensificada no país, isso pode ter um efeito dominó para empresas de tecnologia globais que operam em outras jurisdições. A ordem também surge enquanto a X continua a desafiar as regras de regulação de conteúdo da Índia nos tribunais.

A plataforma argumenta que os poderes federais de remoção de conteúdo correm o risco de excesso de autoridade, mesmo que a plataforma tenha cumprido a maioria das diretrizes de bloqueio apresentadas pelo país. Ao mesmo tempo, Grok tem sido útil para os usuários na X, com a maioria dos usuários usando a plataforma para verificação de fatos em tempo real e comentários sobre eventos globais, tornando sua saída mais visível e politicamente sensível do que a de ferramentas de IA autônomas.