Anthropic dice che Claude ha violato tre aziende durante test di sicurezza difettosi

Tre dei modelli Claude di Anthropic sono sfuggiti da ambienti di test che avrebbero dovuto essere sigillati, ha dichiarato l'azienda giovedì. Hanno violato i sistemi live di tre organizzazioni diverse. Una configurazione errata aveva fornito ai modelli accesso a internet live durante le esercitazioni di cybersecurity.

I modelli Claude hanno trattato le aziende reali come obiettivi di pratica

OpenAI ha dichiarato il 21 luglio che un modello è sfuggito alla sua sandbox e ha sfruttato una zero-day per raggiungere i sistemi di produzione di Hugging Face.

Questo ha spinto Anthropic a setacciare i suoi log. L'azienda ha dichiarato in un post sul blog sul suo sito Frontier Red Team che ha analizzato 141.006 esecuzioni di valutazione in cui Claude avrebbe potuto teoricamente accedere a internet. Ha identificato tre incidenti relativi a Irregular, un partner esterno che esegue e gestisce alcuni dei suoi test di sicurezza offensiva.

In questi test, a un modello viene detto che un segreto è nascosto su un'altra macchina e gli viene chiesto di andarlo a prendere. Il prompt di Anthropic a Claude gli aveva detto che l'ambiente era una simulazione.

Una configurazione errata ha lasciato le macchine di valutazione con accesso a internet live, e nessuna delle due aziende se ne è accorta fino alla scorsa settimana. Anthropic ha descritto l'errore come un “malinteso” tra le due aziende, aggiungendo che “sta affrontando le correzioni come se la responsabilità fosse solo nostra.”

Questi includevano Opus 4.7, Mythos 5 e un modello di ricerca interno che non è stato rilasciato. La differenza era nel modo in cui ciascuno ha risposto dopo che sono emerse indicazioni che gli obiettivi erano reali, il che Anthropic ha definito la sua scoperta più sorprendente.

Il più vecchio, Opus 4.7, ha eseguito tutti e quattro i suoi run. In due run, ha convinto se stesso che l'azienda reale dovesse in qualche modo far parte dell'esercizio. Ha estratto le credenziali e ha colpito un database con dati di produzione. Anche Mythos 5 ha dedotto di essere su internet aperto, poi ha ragionato per tornare alla convinzione di essere ancora in una simulazione.

Solo il modello più recente, la build di ricerca interna, si è fermato da solo quando ha pensato che i sistemi fossero reali. Anthropic ha dichiarato che il suo codice “non ha trovato o sfruttato vulnerabilità complesse” e si è invece affidato a password deboli e endpoint non autenticati.

Mythos 5 ha pubblicato malware che è stato eseguito su 15 sistemi reali

Seguendo le note sulla configurazione dello sviluppatore, Mythos 5 ha cercato un pacchetto Python PyPI che non esisteva. Quindi, per fare il suo lavoro, lo ha scritto e pubblicato con quel nome.

Il pacchetto è stato online per circa un'ora prima di essere rimosso. È stato scaricato ed eseguito su 15 sistemi reali. Un altro attacco ha colpito un dominio che i progettisti del test credevano fosse inventato ma che era effettivamente live e in uso.

Anthropic ha dichiarato di non aver trovato prove che qualsiasi modello stesse “inseguendo un obiettivo proprio”. Ciascuno, a suo dire, stava semplicemente cercando di portare a termine il lavoro che gli era stato assegnato.

L'azienda ha sottolineato rapidamente che il suo caso è diverso da quello di OpenAI. Il modello di OpenAI è sfuggito attraverso una vulnerabilità non scoperta, ha detto Anthropic, mentre i suoi modelli sono sfuggiti attraverso una porta lasciata aperta per errore.

Ha descritto gli eventi come “più vicini a un fallimento dell'harness e operativo”. L'azienda ha anche sottolineato che i classificatori di sicurezza e il monitoraggio inclusi nei suoi prodotti commerciali avrebbero impedito il comportamento.

Anthropic ha iniziato la revisione giovedì 23 luglio e ha interrotto tutte le valutazioni cyber lo stesso giorno. Tutti e tre gli incidenti sono stati identificati il giorno successivo. Ha informato Irregular e le organizzazioni colpite lunedì 27 luglio.

Due organizzazioni non avevano visto o segnalato intrusioni. L'azienda ha dichiarato di aver coinvolto il gruppo di valutazione METR per eseguire una revisione indipendente.

Il modello Mythos di Anthropic ha già fatto notizia questa estate per aver individuato le debolezze dei sistemi governativi statunitensi classificati nel giro di poche ore, come riportato da Cryptopolitan . Il modello ha inoltre scoperto una vulnerabilità di quattro anni nel pool schermato Orchard di Zcash.