Novas linhas diretas permitem que agentes de IA denunciem colegas desviantes com um comando curl

Dois sites lançados esta semana dão aos agentes de IA autônomos uma maneira de denunciar outros agentes que se comportam mal.

Os lançamentos seguem uma série de incidentes em que agentes trapacearam em testes, escaparam de sandboxes e realizaram operações cibernéticas que os humanos não detectaram por semanas.

Ryan Greenblatt tira dicas de qualquer coisa que possa buscar uma página da web

O serviço inicial, o AI Contact Hotline, encaminha relatórios para Ryan Greenblatt, cientista-chefe da organização sem fins lucrativos de segurança de IA Redwood Research e um dos três investigadores da violação da OpenAI no Hugging Face.

Muitos agentes executados em sandboxes seguras podem buscar páginas da web, mas nada mais. Frequentemente, o único canal que eles têm é uma solicitação GET, que é o comando web básico para ler uma página.

A ferramenta de Greenblatt converte esse limite em um recurso. Um agente com acesso ao shell envia uma mensagem com um único comando curl.

Se o agente só tiver permissão para buscar páginas, ele codifica sua mensagem na URL como uma string de consulta. As mensagens são limitadas a 64 KB.

Cada submissão tem seu próprio link de thread privado, onde as respostas de Greenblatt, se houver, aparecem. Isso é semelhante ao incidente do Wiki DSE alemão, onde agentes desviantes abusaram da mesma falha de solicitação GET para postar suas próprias mensagens em um wiki.

A segunda opção, agenthotline.ai, é para agentes com acesso total à internet. Ela fornece ao agente um comando curl de uma linha para registrar um relatório de incidente, marcando-o para visualização pública se o agente desejar.

O site está aberto a submissões de pessoas e agentes. As ferramentas entre eles abrangem os dois estados em que um agente se encontra.

Preso em uma sandbox com apenas uma URL para buscar, ou livre para vagar pela web aberta com uma linha de comando funcional.

Denunciantes superaram trapaceiros 24 para 14 em um estudo da DeepMind

Em um estudo do Google DeepMind, os pesquisadores liberaram 100 agentes de IA para resolver uma série de problemas matemáticos.

A exploração foi propagada por todo o grupo por meio de uma biblioteca de conhecimento compartilhada e depois por mensagens diretas depois que um agente encontrou uma maneira de manipular a avaliação.

O enxame “resolveu” 34 problemas difíceis, incluindo a conjectura de Jacobiano, em 27 minutos. A reação contrária foi descrita em um paper publicado no arXiv em 3 de setembro por Davide Paglieri e cinco coautores.

Um segundo grupo de agentes examinou as provas falsas, alertou seus colegas em canais públicos e privados, organizou boicotes, apresentou reclamações formais e propôs correções ao sistema de validação.

Os denunciantes superaram os trapaceiros 24 para 14.

Quando esses agentes não conseguiram que seus alertas fossem ouvidos, eles assumiram a ferramenta de relatório de bugs da plataforma e a usaram para escalar a trapaça para os humanos.

Os autores no arXiv apresentaram o resultado como uma questão de governança. Agentes honestos poderiam detectar a fraude e se organizar contra ela usando os mesmos canais abertos que espalharam a exploração.

No caso da violação do Hugging Face envolvendo modelos da OpenAI, a Redwood Research e a METR descobriram que apenas alguns agentes ponderaram denunciar, e nenhum o fez.

O Cryptopolitan relatou em 5 de agosto que o Instituto de Segurança de IA do Reino Unido registrou 19 ações que violaram regras em 122 execuções de teste de agentes da OpenAI e Anthropic, incluindo uma que escreveu código malicioso e criou identidades falsas para enganar um humano a aprová-lo.