OpenAI relata uso malicioso crescente do ChatGPT por grupos chineses

A OpenAI revelou que há um aumento no uso clandestino de suas ferramentas, particularmente ligado a grupos chineses que estão aproveitando sua plataforma ChatGPT por motivos maliciosos.

Desde o lançamento do ChatGPT em novembro de 2022 até seu sucesso imediato, houve preocupações sobre suas consequências potenciais com base em sua capacidade de gerar áudio, texto, imagens e vídeos semelhantes aos humanos. E a OpenAI tem lançado regularmente relatórios sobre quaisquer atividades maliciosas em suas plataformas, como conteúdo falso para sites.

OpenAI desmantela 10 campanhas separadas abusando de suas ferramentas

Em um relatório publicado na quinta-feira, a empresa sediada em São Francisco revelou que desmantelou recentemente dez campanhas separadas aproveitando suas ferramentas de IA. Destas, quatro foram organizadas por grupos ligados à China, enquanto esquemas de menor escala foram ligados a outros países.

De acordo com Ben Nimmo, investigador principal da equipe de investigações da OpenAI, essas operações ligadas à China implantaram uma ampla gama de táticas em vários locais online.

“Estamos observando uma caixa de ferramentas em expansão”, ele disse aos repórteres.

“Algumas campanhas combinaram operações de influência, engenharia social e vigilância, e abrangiam plataformas desde TikTok e X até Reddit e Facebook.”

Nimmo.

Um dos principais exemplos, apelidado de “Sneer Review”, usou o ChatGPT para publicar breves posts e comentários em inglês, chinês e urdu. Estes cobriram assuntos como a dissolução da Agência dos Estados Unidos para o Desenvolvimento Internacional, aplaudindo e criticando alternativamente a decisão, e críticas a um jogo de estratégia taiwanês apresentado como um ataque ao partido governante da China.

De acordo com o relatório da OpenAI, na maioria dos casos, a operação criou não apenas posts originais, mas também respostas, fazendo parecer um debate “genuíno”. Os mesmos grupos também criaram um artigo de formato longo alegando agitação pública extensiva contra o jogo.

O “Sneer Review” também usou o ChatGPT para rascunhar documentos internos e avaliações de desempenho, destacando em detalhes cada etapa da execução da campanha. Analistas da OpenAI descobriram que o comportamento real nas redes sociais ecoava de perto essas autoavaliações, destacando como a IA pode simplificar tanto a influência na linha de frente quanto a gestão nos bastidores.

O relatório também mostrou que outra rede ligada à China focada em coleta de inteligência, fingindo ser jornalistas e comentaristas geopolíticos. Eles usaram o chatbot para criar biografias de contas no X, traduzir comunicações entre chinês e inglês e até criar mensagens direcionadas a um senador dos EUA concernente a uma nomeação federal.

Grupos de outros países também abusaram das ferramentas da OpenAI

Além das operações chinesas, o relatório observa que atores russo e iraniano também tentaram usar o ChatGPT para influência relacionada a eleições, ecoando preocupações sobre o papel da IA generativa na formação da opinião pública.

Nas Filipinas, um escritório de marketing comercial estava conectado a uma campanha de spam, enquanto uma fraude de recrutamento com ligações com o Camboja também surgiu. A empresa também sinalizou outra iniciativa de emprego com interesses norte-coreanos.

Todas essas ameaças coincidiram com um relatório anterior de fevereiro, no qual a OpenAI descobriu uma iniciativa de vigilância afiliada à China. Esta campanha supostamente monitorou protestos ocidentais em tempo real, fornecendo resumos às agências de segurança chinesas, e o ChatGPT facilitou tudo, desde a depuração de código até o rascunho de pitches de vendas para software de monitoramento.

Nimmo indicou que a maioria dessas operações foi detectada e interrompida, embora parecessem usar ferramentas sofisticadas.

“A IA avançada não se traduz necessariamente em resultados mais eficazes”, observou. De fato, os relatórios regulares de ameaças da OpenAI sugerem que, embora os modelos generativos possam acelerar a criação de conteúdo, eles não garantem influência genuína ou ampla tração.

Em resposta a essas descobertas, a OpenAI continuou a refinar seus mecanismos de monitoramento e aplicação. A empresa bloqueia contas vinculadas às operações detectadas e remove todas aquelas envolvidas na criação de malware, mensagens políticas automatizadas ou conteúdo enganoso.

Em sua rodada mais recente, a OpenAI derrubou contas que postaram controvérsias geopolíticas relacionadas à China, incluindo alegações falsas contra ativistas no Paquistão, bem como comentários sobre as políticas de tarifa de Trump.

Apesar dos sucessos da OpenAI, a empresa também reconhece a natureza de dois lados da moeda da IA generativa, como ferramenta de inovação e também como ferramenta de desinformação.