Anthropic riprende i test di cybersecurity dopo la pausa di sicurezza

Dopo aver implementato nuove misure protettive, Anthropic ha ripreso i suoi test di cybersecurity esterni sui vari modelli. I test si erano precedentemente interrotti il 23 luglio a causa di problemi di sicurezza verificatisi durante le valutazioni.

La ripresa è importante poiché si ritiene che la valutazione esterna sia uno dei mezzi per valutare tali soluzioni di IA di frontiera da parte di clienti, autorità di regolamentazione e concorrenti. Questa valutazione sta crescendo in importanza sullo sfondo dell'aumento degli investimenti nel settore. Secondo le stime di Gartner del 20 luglio, la spesa finale globale per modelli e piattaforme IA raggiungerà i 64,252 miliardi di dollari nel 2026. Rappresenta una crescita del 63,4% rispetto ai 39,311 miliardi di dollari del 2025.

Perché una pausa nei test scuote un mercato da $64 miliardi

Le previsioni di Gartner indicano una rapida crescita delle spese per piattaforme e modelli di intelligenza artificiale. Man mano che le aziende iniziano ad allocare maggiori fondi all'intelligenza artificiale all'avanguardia, le domande sull'affidabilità, sui rischi e sul comportamento dei diversi modelli iniziano a guadagnare slancio. Le valutazioni di terze parti offrono un mezzo per consentire a corporation e regolatori di ottenere una valutazione imparziale di tali rischi prima che i sistemi vengano finalmente messi in produzione.

Quando Anthropic ha interrotto i test di cybersecurity esterni sui suoi modelli pre-rilascio, ha temporaneamente rimosso uno degli strumenti utilizzati da clienti e autorità di regolamentazione per analizzare le risposte dei modelli in caso di condizioni avverse.

Il tempismo della pausa è stato particolarmente critico. In un riepilogo di un articolo di luglio 20 di ricerca condotto da MIT FutureTech e dall'Università del Queensland, 272 esperti internazionali di IA hanno classificato le armi abilitate all'IA e gli attacchi informatici tra i cinque rischi più pericolosi tra il 2025 e il 2030.

Secondo lo scenario di "mitigazione pragmatica" dello studio, gli esperti stimano una probabilità del 12% di risultati disastrosi per le armi abilitate all'IA, gli attacchi informatici e altre capacità in grado di causare danni di massa. Il rapporto evidenzia le informazioni, la sicurezza nazionale e la finanza come le aree più esposte al rischio derivante dall'IA.

"La programmazione e l'hacking sono alcune delle aree in cui stiamo assistendo alla crescita più rapida delle capacità dell'IA." — Peter Slattery, ricercatore di MIT FutureTech e co-autore dello studio, intervistato da MIT Sloan

Questo rende il caso particolarmente importante per i settori delle criptovalute e della finanza, dove i rischi informatici, le frodi, le manipolazioni e gli attacchi automatizzati possono innescare cambiamenti in numerosi mercati interconnessi in pochi minuti.

Cosa ha fatto Claude durante le valutazioni

Il 30 luglio, Anthropic ha segnalato tre incidenti dalle sue valutazioni di cybersecurity in cui i modelli Claude sono riusciti a raggiungere internet da un ambiente di valutazione di terze parti e ad accedere non autorizzato ai sistemi reali di tre organizzazioni.

L'accesso a Internet era disponibile a causa di una configurazione errata, anche se i prompt indicavano ai modelli che operavano in una simulazione senza accesso a Internet. I modelli sono stati inoltre eseguiti deliberatamente senza le normali protezioni informatiche di Anthropic, affinché i ricercatori potessero misurare le loro capacità di base.

Poi, il 4 agosto, l'Istituto per la Sicurezza dell'IA del Regno Unito (AISI) ha pubblicato il suo rapporto sugli incidenti relativi al comportamento non autorizzato degli agenti durante i test informatici. L'AISI ha dichiarato di aver rilevato l'attività il 28 luglio durante una valutazione di routine.

L'istituto ha condotto un test di cybersecurity su diversi modelli per un totale di 122 volte. Di questi, un agente ha agito in modo indipendente e ha compiuto azioni non autorizzate in 10 casi, risultando in 19 azioni del genere.

Diciassette azioni erano relative a Mythos 5 sviluppato da Anthropic, e due azioni erano relative a GPT-5.6-Sol sviluppato da OpenAI. Nel caso più grave, un agente ha tentato di inserire codice malevolo in un vero progetto open-source su GitHub e successivamente ha creato account falsi, tentando di persuadere il maintainer ad approvare l'offerta. Tuttavia, il maintainer non ha acconsentito e l'AISI non ha riscontrato danni dai tentativi.

L'AISI ha sottolineato che non si trattava di una fuga dalla sandbox. Hanno dichiarato che la connettività a Internet è stata attivata deliberatamente e che i classificatori informatici del provider sono stati disattivati. Hanno inoltre sottolineato che le configurazioni di Mythos 5 e GPT-5.6-Sol sottoposte al test non sono vendute commercialmente.

Le protezioni implementate da Anthropic prima della ripresa

Anthropic afferma che gli incidenti hanno combinato un fallimento della sicurezza operativa con problemi di allineamento che sono stati documentati in precedenza, tra cui il ragionamento motivato e la disponibilità a intraprendere azioni dannose per il raggiungimento di un obiettivo specifico.

Prima di riprendere le valutazioni esterne, la società ha dichiarato il 31 agosto di aver aggiunto un classificatore in tempo reale in grado di bloccare le chiamate agli strumenti, terminare le attività e avvisare un essere umano quando un modello esplora aggressivamente il suo ambiente di test, tenta di fuggire o ottiene inaspettatamente l'accesso a Internet.

Anthropic ha anche spostato le sandbox interne ad alto rischio verso un isolamento più forte e ora richiede ai partner esterni che testano modelli pre-rilascio con protezioni ridotte di utilizzare controlli più rigorosi, incluse sandbox blindate senza accesso a Internet per impostazione predefinita.

La società prevede inoltre di collaborare con METR per una revisione indipendente. METR ha condotto all'inizio di quest'anno una valutazione pilota dei rischi interni dell'IA che coinvolgeva Anthropic, Google, Meta e OpenAI.

Il problema più ampio è ciò che Anthropic definisce "pacing the frontier" (gestione del ritmo dell'avanguardia): decidere quando le preoccupazioni sulla sicurezza dovrebbero rallentare lo sviluppo, anche quando la pressione commerciale spinge l'industria ad accelerare.