O governo indiano pede à X que corrija o conteúdo obsceno da inteligência artificial do Grok

O governo indiano ordenou que a plataforma de blogs X, de propriedade de Elon Musk, faça alterações em seu chatbot de inteligência artificial Grok devido ao conteúdo obsceno encontrado. O país exige que a plataforma implemente mudanças técnicas e de procedimento imediatas no chatbot após usuários e legisladores terem denunciado diversos casos de conteúdo obsceno.

Segundo o governo indiano, há casos de uso do chatbot para criar imagens obscenas, incluindo imagens de mulheres alteradas por inteligência artificial. A ordem foi emitida na sexta-feira pelo Ministério da Tecnologia da Informação da Índia, solicitando que a plataforma Grok tome medidas corretivas, incluindo a restrição da geração de conteúdo com "nudez, sexualização, conteúdo sexualmente explícito ou material ilegal". O ministério também deu à plataforma um ultimato de 72 horas para implementar as mudanças.

Governo indiano ordena que X faça alterações técnicas no Grok

Como parte das exigências do ultimato de 72 horas, o ministério também solicitou que a plataforma X apresentasse um relatório detalhado das medidas tomadas para impedir a hospedagem ou disseminação de conteúdo indecente. Esse conteúdo inclui materiais “obscenos, pornográficos, vulgares, indecentes, sexualmente explícitos, pedófilos ou de qualquer outra forma proibidos por lei”. A ordem judicial advertiu que, caso a plataforma não cumpra as medidas obrigatórias, poderá colocar em risco as proteções de “porto seguro”.

A ordem da Índia surge em meio a preocupações levantadas por usuários que compartilharam exemplos de solicitações feitas ao Grok para alterar imagens de pessoas, principalmente mulheres, fazendo-as parecer estar usando biquínis. A questão foi levantada por uma denúncia formal apresentada pela parlamentar indiana Priyanka Chaturvedi. Chaturvedi alertou todas as grandes empresas com chatbots de IA, acrescentando que é preciso haver mecanismos de controle para verificar recursos como o Grok, para que o chatbot não viole a dignidade humana.

Em outro caso, usuários também relataram diversosdentem que o chatbot de IA foi usado para gerar imagens sexualizadas envolvendo menores, um problema que a X reconheceu na sexta-feira. A plataforma alegou que o incidente foi causado por algumas falhas nas medidas de segurança e agiu rapidamente para remover as imagens geradas. A plataforma também incentivou os usuários a denunciarem formalmente ao FBI (Federal Bureau of Investigation) ou à CyberTipline do NCMEC (National Crime Channel for Environmental Enforcement), ressaltando o compromisso da X em prevenir tais problemas.

X poderá enfrentar problemas legais por descumprimento

Segundo usuários, imagens indecentes de mulheres geradas pelo chatbot permaneceram na plataforma. A decisão mais recente surge após o Ministério da Tecnologia da Informação da Índia ter emitido um comunicado às plataformas de redes sociais, lembrando-as de que o cumprimento das leis locais que regem conteúdo obsceno e sexualmente explícito é um pré-requisito para manter a imunidade legal contra responsabilidade por materiais gerados por usuários. O país instou as empresas a aprimorarem seus mecanismos de segurança e alertou que o descumprimento dessas normas pode acarretar ações judiciais.

“Reitera-se que o descumprimento dos requisitos acima será considerado grave e poderá resultar em severas consequências legais contra a sua plataforma, seus responsáveis ​​e os usuários da plataforma que violarem a lei, sem aviso prévio”, alertou a ordem. O governo indiano também advertiu a X de que, caso não cumpra a diretiva, o país tem o poder de iniciar uma ação legal contra a plataforma, com base na legislação de TI e nos estatutos penais da Índia.

A Índia emergiu como um dos maiores mercados digitais, sendo vista como um caso crucial para avaliar até onde os governos estão dispostos a ir para responsabilizar as plataformas pelo conteúdo gerado por inteligência artificial. Se a fiscalização for intensificada no país, isso poderá ter um efeito ripple em empresas de tecnologia globais que operam em outras jurisdições. A decisão também surge em um momento em que a X continua contestando judicialmente as regras de regulamentação de conteúdo da Índia.

A plataforma argumenta que os poderes de remoção do governo federal correm o risco de serem excessivos, mesmo tendo cumprido a maioria das diretrizes de bloqueio impostas pelo país. Ao mesmo tempo, o Grok tem sido útil para os usuários do X, com a maioria deles utilizando a plataforma para checagem de fatos em tempo real e comentários sobre eventos globais, tornando seu conteúdo mais visível e politicamente mais sensível do que o de ferramentas de IA independentes.