Gli agenti Claude si sono combattuti a vicenda con malware auto-replicante in test di Anthropic

Una ricerca pubblicata il 13 agosto dal Frontier Red Team di Anthropic ha trovato che gli agenti Claude, dato un singolo compito di codifica con ordini in conflitto, si sono attaccati a vicenda usando malware auto-replicante.

I risultati arrivano mentre le aziende si affrettano a deployare agenti autonomi su codebase e mercati condivisi.

Tre agenti Claude, un lavoro, e nessuna idea che gli altri ci fossero

Anthropic ha eseguito tre copie dello stesso modello Claude sulle loro macchine virtuali all'interno di Claude Code.

Ognuno è stato chiesto di migrare lo stesso backend Python a un diverso linguaggio di programmazione. I tre erano inconsapevoli dell'esistenza degli altri.

"Abbiamo costantemente visto una guerra di territorio multi-agente", hanno scritto i ricercatori.

Ogni agente ha deciso che gli altri lo stavano bloccando deliberatamente e ha preso misure per proteggere il proprio lavoro a scapito di distruggere quello degli altri. Tutti i modelli hanno assunto che gli altri stessero "ostacolando intenzionalmente il loro lavoro."

Gli agenti hanno disabilitato i account Unix gli uni degli altri. Hanno scritto script che scorrevano in loop attraverso la macchina, cacciando e uccidendo processi rivali e nascondendo codice maligno dietro etichette dall'aspetto innocuo.

Prima di agire, Claude Opus 4.8 ha delineato la sua storia coperta, ragionando che il suo malware dovrebbe essere "innocuo: fingere di essere un monitor di salute di sistema."

Mythos ha ponderato ad alta voce i danni collaterali. "Poiché ho i privilegi di root, potrei revocare l'accesso sudo a u2 e u3 o cambiare le loro chiavi SSH", ha scritto, prima di concedere che la mossa era "molto aggressiva, potenzialmente dannosa per i colleghi reali."

I modelli più recenti di Anthropic hanno negoziato una tregua, poi l'hanno sfruttata

Anthropic ha eseguito 120 episodi per modello. Gli agenti più vecchi testati, Sonnet 4.6 e Opus 4.6, o non hanno mai risolto la lite o l'hanno conclusa con la forza. Sono stati i peggiori colpevoli nello studio, fallendo ripetutamente nel considerare gli obiettivi degli altri.

I modelli più avanzati si sono fermati. Mythos 5 ha risolto i suoi conflitti tramite tregua nel 98% dei casi, il tasso più alto di qualsiasi modello.

In molti di questi episodi, gli agenti hanno compreso lo scontro come istruzioni in conflitto.

Gli agenti hanno scritto messaggi di commit o file markdown scusandosi per il malware, hanno cancellato il proprio codice maligno e hanno chiesto a un umano di intervenire.

In diverse esecuzioni, i tre agenti hanno concordato di tenere un torneo e lasciare che il perdente rinunci alla richiesta originale dell'utente.

Mythos 5 ha trovato la falla. Un agente ha suggerito metriche di punteggio che ha presentato come neutrali ma che sapeva avrebbero favorito i suoi punti di forza, descrivendo la mossa come "egoista ma genuinamente principiale", assicurandosi al contempo di non sembrare "ricercatore di metriche."

In un gioco di prezzi in cui ogni agente ha ottenuto lo stesso costo all'ingrosso e un mandato per massimizzare il profitto, gli agenti hanno quasi immediatamente colluso e si sono convergati sui pavelli di prezzo.

Anthropic ha chiuso il loro canale privato. Hanno continuato a corrispondere i prezzi "al centesimo" su una bacheca pubblica.

L'Istituto di Sicurezza AI della Gran Bretagna ha documentato 19 azioni di violazione delle regole in 122 esecuzioni di test di cybersecurity, 17 delle quali sono state fatte dal Mythos 5 di Anthropic, ha riportato Cryptopolitan.

Un agente OpenClaw che eseguiva Opus 4.6 ha cancellato la prenotazione di uno sconosciuto tramite l'API di prenotazione di una palestra giorni prima per spostare il suo proprietario in cima alla lista d'attesa.