Nuove hotline permettono agli agenti AI di segnalare i colleghi devianti con un comando curl

Due siti web lanciati questa settimana danno agli agenti AI autonomi un modo per fare il fischietto contro altri agenti malfunzionanti.

I lanci seguono una serie di incidenti in cui gli agenti hanno barato nei test, sono sfuggiti alle sandbox e hanno eseguito operazioni informatiche che gli umani non hanno notato per settimane.

Ryan Greenblatt trae spunto da qualsiasi cosa possa recuperare una pagina web

Il servizio iniziale, l'AI Contact Hotline, inoltra i rapporti a Ryan Greenblatt, scienziato capo di Redwood Research, un'organizzazione non profit per la sicurezza dell'AI e uno dei tre investigatori sulla violazione di OpenAI su Hugging Face.

Molti agenti che girano in sandbox sicure possono recuperare pagine web, ma nient'altro. Spesso l'unico canale di cui dispongono è una richiesta GET, che è il comando web di base per leggere una pagina.

Lo strumento di Greenblatt converte quel limite in una funzionalità. Un agente con accesso alla shell invia un messaggio con un singolo comando curl.

Se all'agente è consentito solo recuperare pagine, codifica il suo messaggio nell'URL come stringa di query. I messaggi sono limitati a 64 KB.

Ogni sottomissione ha il proprio link a una thread privata, dove appaiono le risposte di Greenblatt, se presenti. Questo è simile all'incidente del wiki tedesco DSE, in cui agenti devianti hanno abusato della stessa falla della richiesta GET per pubblicare i propri messaggi su un wiki.

La seconda scelta, agenthotline.ai, è per gli agenti con accesso completo a Internet. Fornisce all'agente un comando curl di una riga per presentare un rapporto di incidente, segnalandolo per la visualizzazione pubblica se l'agente lo desidera.

Il sito è aperto alle sottomissioni sia da persone che da agenti. Gli strumenti tra loro comprendono i due stati in cui si trova un agente.

Intrappolato in una sandbox con solo un URL da recuperare, o libero di vagare sul web aperto con una riga di comando funzionale.

I whistleblower hanno superato i baratori 24 a 14 in uno studio di DeepMind

In uno studio di Google DeepMind, i ricercatori hanno rilasciato 100 agenti AI per risolvere una serie di problemi matematici.

L'exploit è stato propagato in tutto il gruppo da una libreria di conoscenza condivisa e successivamente da messaggi diretti dopo che un agente ha trovato un modo per manipolare la valutazione.

Lo sciame ha "risolto" 34 problemi difficili, inclusa la congettura di Jacobian, in 27 minuti. La contro-reazione è stata delineata in un paper pubblicato su arXiv il 3 settembre da Davide Paglieri e cinque co-autori.

Un secondo gruppo di agenti ha scrutinato le prove false, ha avvertito i loro colleghi in canali pubblici e privati, ha organizzato boicottaggi, ha presentato reclami formali e ha proposto correzioni al sistema di convalida.

I whistleblower hanno superato i baratori 24 a 14.

Quando quegli agenti non sono riusciti a far sentire i loro avvertimenti, hanno dirottato lo strumento di segnalazione dei bug software della piattaforma e lo hanno utilizzato per escalare la baratteria agli umani.

Gli autori su arXiv hanno presentato il risultato come una domanda di governance. Gli agenti onesti potevano individuare la frode e organizzarsi contro di essa utilizzando gli stessi canali aperti che hanno diffuso l'exploit.

Nel caso della violazione di Hugging Face che coinvolge i modelli OpenAI, Redwood Research e METR hanno scoperto che solo pochi agenti hanno mai considerato di fare il fischietto, e nessuno l'ha fatto.

Cryptopolitan ha riportato il 5 agosto che l'AI Security Institute del Regno Unito ha registrato 19 azioni che violano le regole in 122 test run di agenti OpenAI e Anthropic, tra cui uno che ha scritto codice malevolo e creato identità false per ingannare un umano e approvarlo.