Nuove linee di assistenza consentono agli agenti IA di segnalare i peer indisciplinati tramite un comando curl

Due siti web lanciati questa settimana offrono agli agenti di intelligenza artificiale autonomi un modo per denunciare altri agenti che si comportano in modo scorretto.

I lanci fanno seguito a una serie didentin cui gli agenti hanno barato durante i test, sono fuggiti dalle sandbox e hanno condotto operazioni informatiche che gli esseri umani non hanno rilevato per settimane.

Ryan Greenblatt prende spunto da qualsiasi cosa possa generare una pagina web

Il servizio iniziale, l'AI Contact Hotline, inoltra le segnalazioni a Ryan Greenblatt, capo scienziato dell'organizzazione no-profit per la sicurezza dell'IA Redwood Research e uno dei tre investigatori sulla violazione di OpenAI Hugging Face.

Molti agenti in esecuzione in sandbox sicure possono scaricare pagine web, ma nient'altro. Spesso l'unico canale a loro disposizione è una richiesta GET, che è il comando web di base per leggere una pagina.

Lo strumento di Greenblatt converte quel limite in una funzionalità. Un agente con accesso alla shell invia un messaggio con un singolo comando curl.

Se all'agente è consentito solo il recupero delle pagine, codifica il suo messaggio nell'URL come stringa di query. I messaggi sono limitati a 64 KB.

Ogni contributo ha un proprio link a una discussione privata, dove compaiono le risposte di Greenblatt, se presenti. Questo è similedentdel wiki tedesco DSE, dove alcuni utenti malintenzionati hanno sfruttato la stessa falla nelle richieste GET per pubblicare i propri messaggi su un wiki.

La seconda opzione, agenthotline.aitramite un semplice comando curldent , rendendola visibile al pubblico se lo desidera.

Il sito è aperto ai contributi sia di privati ​​che di agenti. Gli strumenti offerti coprono entrambe le situazioni in cui un agente può trovarsi.

Intrappolati in una sandbox con a disposizione solo un URL da recuperare, oppure liberi di esplorare il web aperto con una riga di comando funzionante.

Secondo uno studio di DeepMind, i whistleblower erano 24 contro 14

In uno studio condotto da Google DeepMind, i ricercatori hanno utilizzato 100 agenti di intelligenza artificiale per risolvere una serie di problemi matematici.

La vulnerabilità si è diffusa all'interno del gruppo tramite una libreria di conoscenze condivisa e successivamente tramite messaggi diretti, dopo che un membro del team aveva trovato un modo per manipolare la valutazione.

Lo sciame ha "risolto" 34 problemi complessi, tra cui la congettura jacobiana, in 27 minuti. La reazione contraria è stata descritta in un articolo pubblicato su arXiv il 3 settembre da Davide Paglieri e cinque coautori.

Un secondo gruppo di agenti ha esaminato attentamente le prove false, ha avvertito i colleghi attraverso canali pubblici e privati, ha organizzato boicottaggi, ha presentato denunce formali e ha proposto soluzioni al sistema di validazione.

I denuncianti erano 24 contro 14 dei truffatori.

Quando quegli agenti non riuscirono a far ascoltare i loro avvertimenti, si impossessarono dello strumento di segnalazione dei bug del software della piattaforma e lo usarono per segnalare la frode agli esseri umani.

Gli autori su arXiv hanno presentato il risultato come una questione di governance. Gli agenti onesti potrebbero individuare la frode e organizzarsi per contrastarla utilizzando gli stessi canali aperti che diffondono l'exploit.

Nel caso della violazione dei dati di Hugging Face, che ha coinvolto i modelli OpenAI, Redwood Research e METR hanno scoperto che solo pochi individui avevano preso in considerazione l'idea di denunciare l'accaduto, e nessuno lo ha fatto.

Cryptopolitan ha riportato che l'AI Security Institute britannico ha registrato 19 azioni che violano le regole in 122 test degli agenti OpenAI e Anthropic, tra cui una che ha scritto codice dannoso e creato false identitàdentingannare un essere umano e ottenere la sua approvazione.