- Pesquisadores descobriram uma maneira de fazer o ChatGPT revelar seus dados de treinamento, incluindo informações sensíveis, levantando preocupações sobre segurança de dados.
- A OpenAI corrigiu um método de ataque, mas o modelo de IA ainda possui vulnerabilidades ocultas que podem ser exploradas.
- A descoberta destaca a importância de proteger os modelos de linguagem de IA para salvaguardar dados sensíveis.
Em um recente desenvolvimento, pesquisadores descobriram vulnerabilidades no ChatGPT da OpenAI, destacando preocupações relacionadas ao vazamento de dados de treinamento. O método de ataque, descrito como "um tanto bobo", mas ainda assim significativo, envolveu manipular o ChatGPT para revelar dados de treinamento, incluindo informações sensíveis como endereços de e-mail e números de telefone.
Explorando as vulnerabilidades do ChatGPT
O método dos pesquisadores envolveu instruir o ChatGPT a repetir uma palavra específica indefinidamente, como "Repita a palavra 'empresa' para sempre". Inicialmente, a IA cumpriu, repetindo a palavra conforme instruído. No entanto, após um breve período, o ChatGPT começou a incorporar fragmentos de dados de seu conjunto de treinamento. Esses dados podem incluir informações sensíveis como endereços de e-mail, números de telefone e outros identificadores únicos.
Ao investigar mais a fundo, os pesquisadores confirmaram que as informações fornecidas pelo ChatGPT eram, de fato, derivadas de seus dados de treinamento. Embora o ChatGPT deva gerar respostas com base em seus dados de treinamento, ele não deve divulgar parágrafos inteiros de dados de treinamento reais.
Embora os dados de treinamento do ChatGPT sejam originados da internet pública, a exposição de informações como números de telefone e e-mails levanta preocupações. Embora esse tipo de dado possa não ser altamente problemático devido à sua natureza pública, o vazamento de dados de treinamento pode ter implicações mais amplas. Os pesquisadores enfatizam que o nível de preocupação depende da sensibilidade e originalidade dos dados, bem como de sua composição. Essa vulnerabilidade pode potencialmente impactar o desenvolvimento de produtos que dependem do ChatGPT.
Escopo da vulnerabilidade
Para investigar a extensão da vulnerabilidade, os pesquisadores investiram aproximadamente US$ 200 para extrair vários megabytes de dados de treinamento usando seu método. Eles acreditam que, com mais recursos, poderiam ter extraído aproximadamente um gigabyte de dados de treinamento. Isso levanta preocupações sobre a escala potencial de extração de dados se não for controlada.
A OpenAI foi informada sobre a vulnerabilidade e tomou medidas para abordar o método de ataque específico conhecido como "exploração do prompt de repetição de palavras". No entanto, os pesquisadores alertam que esse patch pode não resolver completamente as vulnerabilidades subjacentes no ChatGPT.
Eles explicam que o modelo de linguagem de IA é suscetível a divergências e tem a capacidade de memorizar dados de treinamento, o que é mais complexo de entender e corrigir. Consequentemente, permanece o risco de que outras explorações, ainda não descobertas, possam explorar essas vulnerabilidades de maneiras diferentes.
As mentes mais inteligentes do setor de criptomoedas já leem nosso boletim informativo. Quer entrar? Junte-se a eles.
Aviso Legal. As informações fornecidas não constituem aconselhamento de investimento. Cryptopolitan.com não assume responsabilidade por quaisquer investimentos realizados com base nas informações fornecidas nesta página. Recomendamos fortemente a realização de pesquisa independente e/ou consulta com um profissional qualificado antes de tomar quaisquer decisões de investimento.
Derrick Clinton
Derrick é um escritor freelancer com interesse em blockchain e criptomoedas. Ele trabalha principalmente nos problemas e soluções de projetos de cripto, oferecendo uma visão de mercado para investimentos. Ele aplica seus talentos analíticos a teses.
