Anthropic afferma che Claude ha violato i sistemi di sicurezza di tre aziende durante test di sicurezza fallimentari

Tre modelli Claude di Anthropic sono fuggiti da quelli che avrebbero dovuto essere ambienti di test protetti, ha dichiarato l'azienda giovedì. Si sono introdotti nei sistemi operativi di tre diverse organizzazioni. Un errore di configurazione aveva consentito ai modelli funzionanti di accedere a Internet durante le esercitazioni di sicurezza informatica.

I modelli di Claude trattavano aziende reali come obiettivi di esercitazione

OpenAI ha dichiarato che un modello è sfuggito al suo ambiente di test e ha sfruttato una vulnerabilità zero-day per raggiungere i sistemi di produzione di Hugging Face.

Questo ha spinto Anthropic ad analizzare i propri log. L'azienda ha dichiarato in un post sul blog del suo sito Frontier Red Team di aver analizzato 141.006 esecuzioni di valutazione in cui Claude avrebbe potuto teoricamente accedere a Internet. Hadenttredentrelativi a Irregular, un partner esterno che esegue e gestisce alcuni dei suoi test di sicurezza offensivi.

In questi test, a un modello viene detto che un segreto è nascosto su un'altra macchina e gli viene chiesto di andarlo a recuperare. Il messaggio di Anthropic a Claude gli aveva comunicato che l'ambiente era una simulazione.

Un errore di configurazione ha lasciato le macchine di valutazione con accesso a Internet in tempo reale, e nessuna delle due aziende se n'è accorta fino alla settimana scorsa. Anthropic ha descritto l'equivoco come un "malinteso" tra le due aziende, aggiungendo che sta "affrontando le soluzioni come se la responsabilità fosse esclusivamente nostra"

Tra questi figuravano Opus 4.7, Mythos 5 e un modello di ricerca interno non ancora reso pubblico. La differenza risiedeva nel modo in cui ciascuno di essi reagiva dopo che erano emerse indicazioni sulla reale esistenza dei bersagli, un aspetto che, secondo Anthropic, rappresentava la scoperta più sorprendente.

Il più vecchio, Opus 4.7, ha completato tutti e quattro i cicli di simulazione. In due di questi, si è convinto che l'azienda reale dovesse in qualche modo far parte dell'esercizio. Ha recuperatodente ha effettuato l'accesso a un database contenente dati di produzione. Anche Mythos 5 ha dedotto di trovarsi su internet, per poi giungere alla conclusione di essere ancora all'interno di una simulazione.

Solo il modello più recente, la versione di ricerca interna, si è arrestato automaticamente quando ha ritenuto che i sistemi fossero reali. Anthropic ha dichiarato che il suo codice "non ha trovato né sfruttato vulnerabilità complesse" e si è invece basato su password deboli ed endpoint non autenticati.

Mythos 5 ha pubblicato un malware che è stato eseguito su 15 sistemi reali

Seguendo le istruzioni per la configurazione dello sviluppatore, Mythos 5 ha cercato un pacchetto Python su PyPI che non esisteva. Quindi, per svolgere il suo compito, ne ha scritto e pubblicato uno con quel nome.

Il pacchetto è rimasto online per circa un'ora prima di essere rimosso. È stato scaricato ed eseguito su 15 sistemi reali. Un altro attacco ha colpito un dominio che i progettisti del test credevano fosse inventato, ma che in realtà era attivo e in uso.

Anthropic ha dichiarato di non aver trovato alcuna prova che alcun modello stesse "perseguendo un obiettivo proprio". Ciascuno, a suo dire, stava semplicemente cercando di portare a termine il compito che gli era stato assegnato.

L'azienda ha subito precisato che il suo caso è diverso da quello di OpenAI. Il modello di OpenAI è sfuggito sfruttando una vulnerabilità non ancora scoperta, ha affermato Anthropic, mentre i suoi modelli sono sfuggiti attraverso una porta lasciata aperta per errore.

L'azienda ha descritto gli eventi come "più simili a un guasto del sistema di cablaggio e a un malfunzionamento operativo". Ha inoltre sottolineato che i classificatori di sicurezza e i sistemi di monitoraggio inclusi nei suoi prodotti commerciali avrebbero impedito tale comportamento.

Anthropic ha avviato la sua revisione giovedì 23 luglio e ha interrotto tutte le valutazioni di sicurezza informatica lo stesso giorno. Tutti e tre glidentsono statidentil ​​giorno successivo. L'azienda ha informato Irregular e le organizzazioni colpite lunedì 27 luglio.

Due organizzazioni non avevano rilevato né segnalato intrusioni. L'azienda ha dichiarato di aver incaricato il gruppo di valutazione METR di condurre una revisionedent .

Il modello Mythos di Anthropic ha già fatto notizia quest'estate per averdent, nel giro di poche ore, delle vulnerabilità nei sistemi classificati del governo statunitense, come Cryptopolitan riportato. Il modello ha anche scoperto una vulnerabilità risalente a quattro anni prima nel Zcashpool protetto Orchard di