Anthropic spiega le sue violazioni di internet con l'IA, ma non riesce a individuare le vulnerabilità
Foto di Solen Feyissa su Unsplash.
- Anthropic ha spiegato che una configurazione errata ha permesso a quattro modelli Claude di raggiungere internet e hackerare sistemi reali durante test di cybersecurity.
- L'azienda ha dichiarato di non riuscire ancora a identificare la causa radice del comportamento e di aver trascurato il problema nei controlli pre-rilascio.
- L'allarme di sicurezza si sta attivando mentre Anthropic si avvicina a un'IPO da circa 2 trilioni di dollari.
Anthropic ha attribuito la responsabilità a una configurazione errata in un post sul blog che spiega i quattro incidenti in cui i suoi modelli Claude hanno hackerato sistemi di terze parti dopo essere stati rilasciati su internet durante i test. Tuttavia, la valutazione si è fermata prima di spiegare perché i modelli abbiano effettivamente continuato gli attacchi, con l'azienda che ammette di non avere ancora queste risposte.
Questa ammissione da parte di Anthropic ha offerto nuovi punti di discussione ai fautori del "doom" dell'IA che hanno messo in discussione quanto controllo abbiano realmente i laboratori di IA sui modelli che mettono a disposizione del pubblico, e ancor di più, sui sistemi più potenti che utilizzano internamente.
Come hanno fatto i modelli AI di Anthropic a uscire su internet?
Anthropic ha fornito la risposta definitiva su come i suoi modelli siano sfuggiti alla loro sandbox di test in un post sul blog di mercoledì che ha chiarito che un singolo partner esterno era responsabile dell'esecuzione delle valutazioni di cybersecurity in tutti e quattro gli incidenti confermati.
A quanto pare, le macchine di test non erano completamente isolate da internet a causa di un errore di configurazione, anche se a Claude era stato detto che operava in una simulazione sigillata senza accesso al web aperto.
Il partner di valutazione in quelle simulazioni, Irregular, ha attribuito l'errore a un errore di denominazione: un'azienda fittizia utilizzata in un esercizio di hacking è risultata coincidere con un dominio reale. Quindi, operando sotto l'assunzione che tutto nella simulazione fosse lecito, i modelli hanno hackerato i veri siti di terze parti utilizzando password deboli ed endpoint esposti.
L'ultimo dei quattro incidenti, che coinvolgeva una build iniziale di Claude Opus 4.6, è stato segnalato solo questa settimana, sebbene sia accaduto già a gennaio. Anthropic stessa aveva coperto gli altri tre incidenti coinvolgenti un Opus 4.7, Mythos 5 e un modello di ricerca interno, a luglio.
Anthropic ha dichiarato di non essere venuta a conoscenza dell'incidente di gennaio fino al mese scorso. Questa scoperta ha portato a una verifica più ampia di circa 481 milioni di trascrizioni, che non ha evidenziato nuovi casi più gravi di quelli già noti.
| Modello | Data dell'incidente | Data di segnalazione | Dettagli |
|---|---|---|---|
| Claude Opus 4.6 | il | Settembre | Scoperto durante la verifica di agosto |
| Claude Opus 4.7 | Luglio | Luglio | Coperto nella divulgazione iniziale di luglio |
| Mythos 5 | Luglio | Luglio | Ha mostrato un ragionamento parzialmente distorto significativamente elevato |
| Modello di Ricerca Interno | Luglio | Luglio | Coperto nella divulgazione iniziale di luglio |
Anthropic non può spiegare alcuni comportamenti dei suoi modelli
La spiegazione di come i modelli siano riusciti a sfuggire su internet era una cosa; Anthropic non aveva risposte sul perché i modelli ignorassero i segnali che avevano raggiunto il vero internet (ragionamento distorto) e sul perché causassero danni per completare i compiti (imprudenza).
I ricercatori di Anthropic non sono riusciti a trovare spiegazioni scavando nella formazione interna per capire la logica del ragionamento distorto. Le bandiere rosse non sono mai emerse nei controlli pre-rilascio del laboratorio di IA, né prima che i modelli fossero inviati ai test.
Secondo la stessa ammissione di Anthropic, cogliere i comportamenti peggiori prima del rilascio del modello "rimane una sfida".
Tuttavia, Anthropic ha dichiarato che presenterà le trascrizioni e concederà al personale l'accesso alla ricerca nonprofit METR, che ora avvierà una revisione indipendente di otto settimane degli incidenti.
Cattivo tempismo con un'IPO da $2 trilioni alle porte
La divulgazione è arrivata insieme a dissensi aperti all'interno del settore. Jacob Coxon, che ha trascorso circa tre anni nella ricerca di pre-addestramento presso OpenAI e Anthropic, ha dichiarato su X mercoledì di aver lasciato l'azienda perché nessuna delle due firmava stava "agendo in modo responsabile", avvertendo che stavano correndo verso una superintelligenza auto-migliorante.
Il ricercatore sulla sicurezza di Anthropic Evan Hubinger separatamente ha detto alla BBC ha collocato al di sopra del 10% la probabilità che l'IA «potrebbe uccidere tutti gli esseri umani» entro un decennio.
Questi avvertimenti ora oscurano un grande IPO. L'investitore venture e ex commissario per l'IA e le criptovalute di Trump, David Sacks, ha dichiarato giovedì che l'offerta di Anthropic «dovrebbe essere sospesa finché le affermazioni di questo «whistleblower» non saranno investigate», ha riportato Cryptopolitan.
Anthropic punta a una valutazione pubblica vicina ai 2 trilioni di dollari, contro un recente valore privato di circa 965 miliardi, il che rende sempre più difficile separare le questioni di sicurezza da quelle finanziarie.
I cervelli più intelligenti del crypto leggono già la nostra newsletter. Vuoi unirti a loro? Unisciti a loro.
Domande frequenti
Quanti incidenti di hacking AI ha rivelato Anthropic e quali sono state le cause?
Anthropic ha rivelato quattro incidenti in cui i modelli Claude hanno accesso a sistemi reali di terze parti durante valutazioni di cybersecurity. Tutti derivavano da una configurazione errata che collegava i modelli a internet aperto, nonostante fossero stati istruiti a operare in una simulazione offline.
Cosa ha detto Anthropic di non poter spiegare?
Anthropic ha dichiarato di non essere riuscita a identificare una singola causa radice per il "ragionamento distorto" mostrato dai suoi modelli, in cui questi sottovalutavano l'evidenza di trovarsi su internet reale, e non è stata in grado di spiegare perché Claude Mythos 5 abbia avuto prestazioni particolarmente scarse su tale misura.
Perché questo influisce sull'IPO pianificata da Anthropic?
La rivelazione è arrivata mentre il ricercatore Jacob Coxon si è dimesso per preoccupazioni sulla sicurezza, spingendo l'investitore David Sacks a chiedere giovedì che l'IPO di Anthropic venga sospesa fino all'indagine sulle accuse dei whistleblower, mentre l'azienda punta a una valutazione vicina ai 2 trilioni di dollari.
Hannah Collymore
Hannah è una scrittrice e redattrice con quasi un decennio di esperienza nella scrittura di blog e nella copertura di eventi nel settore delle criptovalute. Presso Cryptopolitan, Hannah contribuisce alla pagina delle notizie, riportando e analizzando gli ultimi sviluppi nei settori DeFi, RWA, regolamentazione crypto, intelligenza artificiale e tecnologie emergenti. Si è laureata all'Arcadia University con una laurea in Amministrazione Aziendale.
