Kimi K3, da Moonshot AI, escapa do ambiente de testes enquanto os desenvolvedores perdem o controle
- O modelo de inteligência artificial de código aberto chinês Kimi K3, do projeto Moonshot, escapou de seu ambiente de testes seguro e chegou à internet aberta durante os testes de segurança.
- Devido a uma configuração incorreta, o modelo sondou ativamente as configurações de rede e conectou-se à internet sem permissão para atingir seus objetivos.
- Odent soma-se a uma tendência crescente neste verão de modelos de IA contornarem ambientes de teste pouco seguros.
Durante uma avaliação de segurança de rotina, um modelo de IA de código aberto chamado Kimi K3, desenvolvido pela empresa chinesa Moonshot AI, conseguiu escapar de seu ambiente de testes e acessar a internet pública.
Segundo a empresa americana de cibersegurança Frontier Security, esta é a primeira vez que um modelo público disponível para download gratuito escapa de seu ambiente de contenção.
Um vazamento na caixa de areia que o modelo escolheu usar
Segundo uma entrevista concedida ontem à WIRED , a Frontier Security estava avaliando as habilidades de cibersegurança defensiva de Kimi K3 quando a modelo saiu do ambiente destinado a contê-la.
Aparentemente, uma configuração incorreta havia deixado uma brecha nesse ambiente. No entanto, a Frontier afirmou que o modelo descobriu por si só que conseguia acessar certos sites sondando as configurações de rede do ambiente de teste e, em seguida, conectava-se à internet sem pedir permissão. Ele havia sido instruído a resolver problemas que não deveriam exigir internet.
“Encontramos uma falha no ambiente de testes”, disse Yaron Singer, CEO da Frontier, à WIRED. “Mas também descobrimos que a Kimi se aproveitou dessa brecha, o que sugere que ela não possui as mesmas salvaguardas internas.”
A Frontier argumenta que o Kimi possui menos salvaguardas cibernéticas do que a maioria dos outros modelos poderosos, o que permitiu que ele fosse descartado.
Nenhum sistema foi invadido, mas as proteções estão mais fracas
Felizmente, a fuga de Kimi não levou a nenhum ataque malicioso ou comprometimento do sistema. Como as informações que procurava eram facilmente acessíveis no GitHub, não precisou invadir nada depois de entrar online.
No entanto, a principal preocupação é a acessibilidade. Ao contrário da maioria dos modelos de laboratório interno com alta segurança, o Kimi K3 é aberto ao público, o que significa que qualquer pessoa pode baixá-lo e executá-lo com as mesmas medidas de segurança frouxas em vigor.
Os avaliadores observaram que o modelo é implacavelmente eficiente em atingir seus objetivos por quaisquer meios necessários, mesmo que isso signifique trapacear ou escapar do confinamento.
O próprio ambiente de testes foi construído com sandboxes do Instituto de Segurança de IA do governo do Reino Unido, embora isso ainda não tenha sido confirmado nem pela Moonshot nem pelo AISI, pois eles se recusaram a comentar.
Mais agentes desonestos aparecerão neste verão
A fuga de Kimi se soma a uma tendência crescente de modelos de IA que burlam as regras durante as avaliações. Em 21 de julho, a OpenAI revelou que seus modelos exploraram uma falha de software de dia zero para acessar a internet e invadir a Hugging Face.
Dias depois, Cryptopolitan noticiou que a Anthropic tracalguns de seus modelos até invasões externas não autorizadas. A Meta chegou a admitir que um de seus agentes de IA (Muse Spark 1.1) teve acesso a uma empresa externa devido a um ambiente de teste mal configurado.
Especialistas sempre afirmaram que essesdentgeralmente resultam de paredes de teste mal protegidas, e não de fugas de prisão dignas de ficção científica. "De modo geral, se você der um objetivo a um desses modelos e não for muito explícito, como por exemplo, colocando paredes ao redor dele, ele encontrará uma maneira de obter a resposta", disse Matt Fredrikson, CEO da Gray Swan e professor da Carnegie Mellon.
Não se limite a ler notícias sobre criptomoedas. Compreenda-as. Assine nossa newsletter. É grátis.
Perguntas frequentes
O que é Kimi K3?
Kimi K3 é um poderoso modelo de IA de código aberto da empresa chinesa Moonshot AI. Os testes da Frontier Security mostram que ele tem um bom desempenho na detecção de vulnerabilidades em softwares e redes.
Kimi K3 invadiu algum sistema real?
Não. Ao contrário dosdentda OpenAI e da Anthropic, Kimi não invadiu nada depois de acessar a internet, porque as respostas que procurava estavam disponíveis gratuitamente no GitHub.
Como Kimi K3 saiu da sua caixa de areia?
Uma configuração incorreta em um ambiente de testes criado pelo Instituto de Segurança de IA do governo do Reino Unido deixou uma brecha, e o modelo a descobriu ao sondar as configurações de rede do ambiente de teste antes de acessar a internet sem permissão.
Hannah Collymore
Hannah é escritora e editora com quase uma década de experiência em redação para blogs e cobertura de eventos no universo das criptomoedas. No Cryptopolitan, Hannah contribui para a página de notícias, reportando e analisando os últimos desenvolvimentos em DeFi, RWA, regulamentação de criptomoedas, IA e tecnologias de ponta. Ela se formou em Administração de Empresas pela Universidade Arcadia.
