A OpenAI relata o crescente uso malicioso do ChatGPT por grupos chineses

A OpenAI revelou que há um aumento no uso clandestino de suas ferramentas, particularmente ligado a grupos chineses que estão se aproveitando de sua plataforma ChatGPT para fins maliciosos.

Desde o lançamento do ChatGPT em novembro de 2022, que obteve sucesso imediato, surgiram preocupações sobre suas potenciais consequências, devido à sua capacidade de gerar áudio, texto, imagens e vídeos com sonoridade humana. A OpenAI tem divulgado regularmente relatórios sobre atividades maliciosas em suas plataformas, como conteúdo falso em sites.

A OpenAI desmantelou 10 campanhas distintas que abusavam de suas ferramentas

Em um relatório publicado na quinta-feira, a empresa sediada em São Francisco revelou que desmantelou recentemente dez campanhas distintas que utilizavam suas ferramentas de IA. Dessas, quatro foram orquestradas por grupos ligados à China, enquanto esquemas de menor escala estavam ligados a outros países.

Segundo Ben Nimmo, investigador principal da equipe de investigações da OpenAI, essas operações ligadas à China empregaram uma ampla gama de táticas em diversos canais online.

“Estamos observando um conjunto de ferramentas cada vez maior”, disse ele aos repórteres.

“Algumas campanhas combinaram operações de influência, engenharia social e vigilância, e abrangeram plataformas que iam do TikTok e X ao Reddit e Facebook.”

Nimmo.

Um dos principais exemplos, apelidado de "Sneer Review", usou o ChatGPT para publicar breves postagens e comentários em inglês, chinês e urdu. Esses comentários abordavam temas como a dissolução da Agência dos Estados Unidos para o Desenvolvimento Internacional (USAID), alternando entre elogios e críticas à decisão, e críticas a um jogo de estratégia taiwanês apresentado como um ataque ao partido governante da China.

Segundo o relatório da OpenAI, na maioria dos casos a operação criou não apenas publicações originais, mas também respostas, dando a impressão de um debate "genuíno". Os mesmos grupos também criaram um artigo extenso alegando grande indignação pública contra o jogo.

A “Sneer Review” também utilizou o ChatGPT para elaborar documentos internos e avaliações de desempenho, detalhando cada etapa da execução da campanha. Analistas da OpenAI descobriram que o comportamento real nas redes sociais refletia de perto essas autoavaliações, evidenciando como a IA pode otimizar tanto a influência na linha de frente quanto a gestão administrativa.

O relatório também mostrou que outra rede ligada à China se concentrava na coleta de informações, fingindo ser jornalistas e comentaristas geopolíticos. Eles usavam o chatbot para criar biografias de contas no site X, traduzir comunicações entre chinês e inglês e até mesmo criar mensagens direcionadas a um senador americano sobre uma nomeação federal.

Grupos de outros países também fizeram uso indevido das ferramentas da OpenAI

Além das operações chinesas, o relatório observa que russos e iranianos também tentaram usar o ChatGPT para influenciar eleições, ecoando preocupações sobre o papel da IA ​​generativa na formação da opinião pública.

Nas Filipinas, uma empresa de marketing comercial foi associada a uma campanha de spam, enquanto um golpe de recrutamento com ligações ao Camboja também veio à tona. A empresa também alertou para outra iniciativa de emprego com interesses norte-coreanos.

Todas essas ameaças coincidiram com um relatório anterior, de fevereiro, no qual a OpenAI descobriu uma iniciativa de vigilância ligada à China. Essa campanha supostamente monitorava protestos no Ocidente em tempo real, fornecendo resumos para agências de segurança chinesas, e o ChatGPT facilitava tudo, desde a depuração de código até a elaboração de propostas de venda para softwares de monitoramento.

Nimmo indicou que a maioria dessas operações foi detectada e interrompida, embora parecessem utilizar ferramentas sofisticadas.

“A IA avançada não se traduz necessariamente em resultados mais eficazes”, observou ele. De fato, os relatórios regulares de ameaças da OpenAI sugerem que, embora os modelos generativos possam acelerar a criação de conteúdo, eles não garantem influência genuína ou ampla trac.

Em resposta a essas descobertas, a OpenAI continuou a aprimorar seus mecanismos de monitoramento e aplicação de medidas. A empresa bloqueia contas vinculadas às operações detectadas e remove todas as contas envolvidas na criação de malware, mensagens políticas automatizadas ou conteúdo enganoso.

Em sua rodada mais recente, a OpenAI removeu contas que publicaram controvérsias geopolíticas relacionadas à China, incluindo alegações falsas contra ativistas no Paquistão, bem como comentários sobre tarifárias .

Apesar dos sucessos da OpenAI, a empresa também reconhece a natureza ambígua da IA ​​generativa, como ferramenta para inovação e também como ferramenta para desinformação.