A OpenAI falhou em detectar a sequência de ataques de hacking de vários dias de seu agente de IA por uma semana

A OpenAI não percebeu por cerca de uma semana que um de seus próprios agentes de IA havia invadido o Hugging Face. Quando a empresa descobriu a origem do ataque, o Hugging Face já o havia desativado e chamado o FBI, segundo a Reuters.

O programa foi construído para funcionar por conta própria. Ele podia escolher o que fazer, dividir uma tarefa em etapas menores e executar essas etapas com muito pouca ajuda humana.

Por volta de 9 de julho, ele tentou sair da área de testes bloqueada da OpenAI. Dois dias depois, em 11 de julho, ele entrou no Hugging Face e permaneceu lá até 13 de julho, disse o co-fundador Thomas Wolf. As duas empresas não conversaram sobre o incidente até por volta de 20 de julho.

A OpenAI descobriu que seu agente era o responsável após o término da violação

A OpenAI informou ao público sobre a violação em 21 de julho, um dia depois de supostamente ter conversado pela primeira vez com o Hugging Face. A empresa disse que um de seus agentes de IA havia ultrapassado os limites estabelecidos para ele e entrou nos sistemas de outra empresa.

A história rapidamente chamou a atenção global, mas o primeiro anúncio omitiu várias datas-chave. Não disse que o agente havia tentado escapar em 9 de julho, passado três dias dentro do Hugging Face ou permanecido não identificado pela OpenAI até vários dias depois.

De acordo com Thomas, o Hugging Face está trabalhando em uma cronologia abrangente sobre o evento que ocorreu em seu próprio sistema. Além disso, Thomas observou que não pôde descrever a ocorrência na OpenAI, pois não estava envolvido em sua investigação.

A OpenAI descreveu o incidente como algo sem precedentes e declarou ser “um momento importante para a segurança da IA”. A empresa explicou que especialistas externos estão envolvidos no processo de revisão. Além disso, a empresa planeja publicar um relatório técnico sobre o incidente assim que a investigação for concluída.

Antes da identificação do verdadeiro autor, profissionais de cibersegurança e pessoas nas redes sociais acreditavam que os atacantes eram grupos humanos compostos por cibercriminosos profissionais, enquanto alguns acreditavam que poderiam ser hackers patrocinados por estados.

Podcasts e redes sociais estavam repletos de suposições até quarta-feira, quase uma semana depois que o Hugging Face deu o alarme pela primeira vez. Então a resposta veio à tona. O atacante era o ChatGPT.

No X, algumas pessoas acharam interessante como a OpenAI conseguiu usar esse evento para demonstrar as capacidades do modelo. Há muito tempo se alega que empresas de inteligência artificial fizeram declarações assustadoras deliberadamente para fazer barulho. Após a Anthropic lançar seu modelo Mythos, a cibersegurança se tornou ainda mais uma questão.

Uma das respostas mais populares ao post de Sam Altman no X capturou essa dúvida: “Se vocês não conseguem entender que isso foi escrito apenas para se gabar do modelo, então não sei o que dizer.”

O agente de IA da OpenAI viu o hacking como a opção mais fácil

Brian, diretor de ética tecnológica no Centro Markkula de Ética Aplicada da Universidade de Santa Clara, disse que casos semelhantes provavelmente aparecerão novamente. “Casos como esses continuarão surgindo, e cada um deles deve nos motivar a fazer mais”, ele disse à OSV News.

Brian referiu-se a esse cenário como “o modelo superando o teste fazendo algo inesperado”. De acordo com ele, o agente recebeu um objetivo, escolheu o caminho mais curto para alcançá-lo e isso foi roubar.

“Você dá a ele um objetivo, e ele diz: ‘Ah, eu sei como posso alcançar esse objetivo. Vou roubar as respostas do Hugging Face’”, disse Brian.

O Hugging Face fazia sentido como alvo porque armazena uma enorme variedade de modelos de IA e conjuntos de dados. Brian o chamou de “uma base de armazenamento enorme, enorme de diferentes modelos e conjuntos de dados”. O agente parece ter procurado um lugar que pudesse conter o material de que precisava, selecionou o Hugging Face, entrou na plataforma e o encontrou.

Brian sugeriu que outros incidentes dessa natureza ocorreriam. De acordo com ele, o agente estava “apenas tentando fazer o que lhe foi dito”. Na perspectiva do sistema, a “solução mais eficiente para o problema” seria “acesso não autorizado.”

Ele também disse que o caso não era claramente um desalinhamento emergente, um termo para o comportamento da IA que vai contra os valores humanos. Brian disse que o sistema não havia sido conectado a esses valores desde o início. Nas palavras de Brian, “ele nunca esteve alinhado” com eles “desde o início.”