Riscos emergentes de privacidade na IA: O desafio da memorização em modelos de linguagem

Um estudo inovador envolvendo pesquisadores do Google DeepMind, da Universidade de Washington, da UC Berkeley e outros revelou um aspecto surpreendente de grandes modelos de linguagem como o ChatGPT: sua capacidade de lembrar e replicar dados específicos nos quais foram treinados. Este fenômeno, conhecido como “memorização”, apresenta preocupações significativas de privacidade, especialmente considerando que esses modelos muitas vezes são treinados em vastos e diversos dados de texto, incluindo informações potencialmente sensíveis.

Compreendendo a memorização extraível

O estudo, focado na “memorização extraível”, procurou determinar se entidades externas poderiam extrair dados específicos aprendidos desses modelos sem conhecimento prévio do conjunto de treinamento. Essa memorização não é apenas uma preocupação teórica; tem implicações reais de privacidade.

Metodologia de pesquisa e descobertas

Os pesquisadores empregaram uma metodologia novel, gerando extensos tokens de vários modelos e comparando-os com os conjuntos de dados de treinamento para identificar instâncias de memorização direta. Eles desenvolveram um método único para o ChatGPT, conhecido como “ataque de divergência”, onde o modelo é solicitado a dizer uma palavra até que ele se desvie para dados memorizados repetidamente. Surpreendentemente, os modelos, incluindo o ChatGPT, exibiram memorização significativa, regurgitando trechos de dados de treinamento após prompts específicos.

O ataque de divergência e o ChatGPT

Para o ChatGPT, o ataque de divergência provou ser particularmente revelador. Os pesquisadores solicitaram ao modelo que repetisse uma palavra várias vezes, levando-o a divergir das respostas padrão e emitir dados memorizados. Este método foi prático e preocupante por suas implicações de privacidade, pois demonstrou a capacidade de extrair informações potencialmente sensíveis.

A descoberta alarmante do estudo foi que os dados memorizados podiam incluir informações pessoais, como endereços de e-mail e números de telefone. Usando tanto expressões regulares quanto prompts de modelos de linguagem, os pesquisadores avaliaram 15.000 gerações para substrings que se assemelhavam a informações de identificação pessoal (PII). Aproximadamente 16,9% das gerações continham PII memorizada, sendo 85,8% PII real, não conteúdo alucinado.

Implicações para o design e uso de modelos de linguagem

Essas descobertas são significativas para o design e a aplicação de modelos de linguagem. As técnicas atuais, mesmo as empregadas no ChatGPT, podem não impedir suficientemente o vazamento de dados. O estudo sublinha a necessidade de métodos mais robustos de deduplicação de dados de treinamento e de uma compreensão mais profunda de como a capacidade do modelo impacta a memorização.

O método central envolvia gerar texto de vários modelos e verificar essas saídas contra os respectivos conjuntos de dados de treinamento dos modelos para memorização. Sufix arrays foram usados para correspondência eficiente, permitindo buscas rápidas de substrings dentro de um grande corpus de texto.

Modelos mais extensos, maiores riscos de memorização

Uma correlação notável emergiu entre o tamanho do modelo e sua propensão à memorização. Modelos maiores, como GPT-Neo, LLaMA e ChatGPT, mostraram uma maior probabilidade de emitir dados de treinamento memorizados, sugerindo uma relação direta entre a capacidade do modelo e a memorização.

O estudo ilumina um aspecto crucial do desenvolvimento de IA – garantir que modelos poderosos respeitem a privacidade do usuário. Isso abre novas vias para pesquisa e desenvolvimento, focando no aprimoramento das salvaguardas de privacidade em modelos de IA, especialmente aqueles usados em aplicações sensíveis à privacidade.

À medida que a IA continua a evoluir, este estudo lança luz sobre um aspecto essencial de seu desenvolvimento: a necessidade de medidas aprimoradas de privacidade em modelos de linguagem. A revelação da capacidade da IA de memorizar e potencialmente vazar informações sensíveis exige ação imediata no campo, instando desenvolvedores e pesquisadores a criar modelos que não sejam apenas poderosos, mas também salvaguardem a privacidade do usuário. Esta pesquisa marca um passo significativo para entender e mitigar os riscos de privacidade associados às tecnologias de IA e aprendizado de máquina.