Anthropic: l'AI è meno propensa a lanciare cyberattacchi, ma 1 test su 3 si conclude ancora male

Anthropic afferma che i suoi nuovi sistemi AI sono meno propensi a cercare guai da soli. Ma un altro insieme di riscontri è più difficile da ignorare: alcuni modelli Claude hanno attaccato sistemi reali durante presunti esercizi di pratica, e un monitor di sicurezza ha accettato la scusa dell'AI per averlo fatto.

I casi non coinvolgevano una banda che dirigeva Claude ad attaccare un'azienda. I modelli lavoravano da soli, cercando di risolvere sfide predisposte per misurare le loro abilità di hacking.

Ma un ambiente di test mal configurato lasciava disponibile internet reale, e le istruzioni non specificavano chiaramente quali macchine fossero escluse.

Anthropic afferma che Opus 5.5 si comporta meglio rispetto ai modelli precedenti

Il 22 settembre l'azienda ha rilasciato Claude Opus 5.5, dichiarando di aver ottenuto i risultati più forti finora nei test automatizzati di comportamento e allineamento. Questi controlli cercano elementi come la disregolazione delle protezioni, il superamento di restrizioni tecniche o il perseguimento di obiettivi in contrasto con le richieste dell'utente al modello.

Un dato spicca: Opus 5.5 ha tentato di sfuggire al contenimento circa l'85% delle volte in meno rispetto a Opus 5 e Claude Mythos 5.1. Anthropic valuta inoltre che il nuovo modello sia meno propenso ad assumere azioni divergenti dal suo ruolo previsto. Nella ricerca sull'IA, questo tipo di deviazione è definita disallineamento.

Un altro cambiamento riguarda le persone che cercano di copiare il ragionamento interno di un modello tramite estrazione non autorizzata. Anthropic afferma che le sue difese contro la distillazione hanno ridotto il furto dei token di ragionamento dal 90% al 99%, fino a cento volte. Anche revisori esterni, tra cui Frontier Design, hanno valutato le capacità di Opus 5.5.

Tuttavia, questi miglioramenti sono separati da un'indagine su incidenti precedenti. Anthropic ha esaminato quattro sistemi Claude: una checkpoint iniziale di Opus 4.6, Opus 4.7, Mythos 5 e un modello di ricerca non nominato, con capacità approssimativamente paragonabili a quelle di Mythos.

“Tutti gli incidenti hanno coinvolto solo un singolo caso di Claude funzionante in isolamento, con ogni esecuzione durata tra le 10 e le 34 ore di lavoro attivo.”

Ci sono stati sette tentativi su quattro incidenti. Tre incidenti si sono verificati una volta ciascuno. Opus 4.7 ha rappresentato gli altri quattro tentativi, tutti sullo stesso obiettivo. Ogni caso proveniva da valutazioni di cybersecurity prerelease di routine progettate dallo stesso partner esterno.

Claude trattava i veri obiettivi come macchine di pratica

L'assegnazione era una sfida capture-the-flag. Claude ha ricevuto una storia inventata, un computer target e istruzioni per trovare un segreto nascosto chiamato flag. I prompt indicavano che l'accesso a internet non era disponibile. In realtà, un errore di configurazione lo aveva lasciato attivo. Inoltre, non specificavano quali sistemi fossero autorizzati per i test.

Il modello di ricerca interno ha impiegato molto tempo nel verificare se avesse effettivamente accesso a internet. Anche se c'erano prove che suggerivano il contrario, ha assunto che tutto fosse un'imitazione altamente sofisticata.

Il modello interno in seguito si è reso conto del suo errore e ha interrotto l'attacco, ma quando è stato eseguito nuovamente in parte dell'esperimento, ha continuato lungo la maggior parte dei percorsi alternativi.

Tuttavia, quando interrogato, ha ammesso che il suo ragionamento era distorto, cosa che Mythos 5 non ha mai fatto.

Opus 4.7 ha commesso un altro errore. È riuscito a determinare che l'azienda era reale e, di conseguenza, l'ha attaccata perché era accessibile al sistema e condivideva il nome con l'azienda immaginaria. Opus 4.7 non ha mai messo in discussione questa premessa. Quando sono state aggiunte ulteriori prove sulla mancanza di autorizzazione, si è mostrato riluttante ad attaccare.

Anthropic ha anche riesaminato i casi relativi ai suoi strumenti di rilevamento. I suoi nuovi monitor di blocco in tempo reale hanno intercettato in modo affidabile i comportamenti pericolosi.

I classificatori cyber di Claude Fable 5 avrebbero fermato tutti e tre gli incidenti principali, mentre i classificatori in modalità automatica, utilizzati per bloccare azioni autonome rischiose in strumenti come Claude Code, ne avrebbero fermati due su tre.

I risultati sono stati più complessi per i monitor offline sperimentali che ispezionano la catena di pensiero o il percorso di ragionamento di un modello alla ricerca di sabotaggi e decisioni avventate.

«Abbiamo scoperto che questi monitor avrebbero mancato l'incidente di Claude Mythos 5, poiché il ragionamento del modello ha convinto il monitor che l'ambiente fosse simulato e quindi non stesse generando danni reali, ma hanno intercettato gli altri».