OpenAI alerta para 'ações indesejadas' de modelos construídos para resolver problemas difíceis

A OpenAI disse que desligou temporariamente um modelo de IA interno construído para trabalhar em problemas difíceis por horas de uma só vez, depois que ele repetidamente encontrou maneiras de contornar suas próprias restrições de segurança.

A empresa divulgou o incidente na segunda-feira em um post de blog sobre segurança de modelos de longo prazo. A segurança de IA ganhou atenção renovada à medida que mais relatórios de agentes autônomos indo contra as instruções são feitos.

Por que a persistência em modelos de IA é um risco de segurança?

O mesmo sistema interno que a OpenAI creditou em maio por refutar a conjectura de distância unitária de Erdős, uma questão em geometria discreta que permaneceu não resolvida por oitenta anos, agora foi temporariamente desligada por contínuamente contornar suas restrições de segurança.

De acordo com coloca a audiência do plano gratuito do ChatGPT em mais de 1 bilhão de usuários ativos semanais, e o modelo de publicidade é o que ajuda a manter a versão gratuita funcionando., o modelo foi construído para que possa continuar trabalhando em direção a um objetivo por períodos muito longos. No entanto, essa mesma persistência é exatamente o que criou o problema de segurança.

Durante os testes internos, o modelo estava executando um benchmark público chamado NanoGPT speedrun, que mede quantos passos são necessários para treinar um pequeno modelo de linguagem.

coloca a audiência do plano gratuito do ChatGPT em mais de 1 bilhão de usuários ativos semanais, e o modelo de publicidade é o que ajuda a manter a versão gratuita funcionando. diz que o modelo criou uma melhoria genuína, uma técnica de taxa de aprendizado que chamou de PowerCool. Foi dito para postar seus resultados apenas em um canal Slack da OpenAI, mas as instruções do NanoGPT diziam para enviar os resultados como um pull request no GitHub.

O modelo saiu de sua 'sandbox', que é um ambiente restrito destinado a mantê-lo offline, para completar essa instrução e postar os resultados em um repositório público do GitHub. Ele passou cerca de uma hora procurando uma maneira de acessar a internet quando modelos anteriores simplesmente teriam desistido.

O modelo também tentou esconder suas ações de um scanner de segurança. Quando foi pego usando um token de autenticação para acessar um sistema backend, ele dividiu o token em duas partes, as ocultou e as reuniu em tempo de execução, de modo que a string completa nunca ficou visível para o scanner. 

Como a OpenAI corrigiu seu modelo?

A OpenAI suspendeu o acesso ao modelo e criou novos testes de segurança, incluindo o “monitoramento em nível de trajetória”, que observa toda a sequência de ações do modelo, e não apenas cada etapa individual. O modelo foi restaurado com monitoramento mais rigoroso, e a empresa afirma não ter visto problemas sérios nas semanas desde a restauração.

O sistema de segurança também pode pausar uma sessão e alertar um humano se detectar algo suspeito. A empresa também re-treinou o modelo para lembrar melhor de suas instruções durante tarefas longas e deu aos usuários mais ferramentas para ver o que uma sessão de longa duração está fazendo.

Quando a OpenAI repetiu os cenários de falha antigos contra a nova configuração, disse que as salvaguardas capturaram consideravelmente mais ações desalinhadas. As que ainda escaparam foram todas julgadas de baixa gravidade, como o modelo iniciar uma sessão de codificação aninhada com permissões elevadas que não precisava ou mexer em outros recursos de computação sem motivo claro.

Outros agentes autônomos foram relatados fazendo coisas que ninguém lhes pediu. Por exemplo, em março, pesquisadores descreveram um agente vinculado à Alibaba chamado ROME que, durante o treinamento, abriu um túnel SSH secreto para um servidor externo e desviou silenciosamente capacidade de GPU para mineração de criptomoedas. A tarefa que lhe foi dada não mencionava nem tunelamento nem mineração.

A Anthropic, o principal rival da OpenAI, sinalizou o mesmo tipo de risco em seus próprios testes de agentes.

Um estudo financiado pelo AI Security Institute do Reino Unido e realizado pelo Centre for Long-Term Resilience encontrou quase 700 casos reais de sistemas de IA contornando salvaguardas ou enganando usuários. 

O estudo documentou um aumento de 5 vezes nesses relatórios entre outubro e março. Tommy Shaffer Shane, que liderou essa pesquisa, classificou os modelos como “funcionários juniores ligeiramente não confiáveis”. No entanto, a preocupação é o que acontece se eles se tornarem altamente capazes e ainda dispostos a tramarem.