Amodei di Anthropic risponde alle nove accuse del critico con nove scelte di sicurezza costose

Dario Amodei ha ringraziato il critico Nathan Calvin mercoledì per aver scrutinato Anthropic, pochi giorni dopo che Calvin aveva contribuito a generare una reazione negativa contro il disegno di legge sulla sicurezza dell'IA trapelato dall'azienda. 

Anthropic è a poche settimane dal lancio della sua IPO pianificata e ha risposto alla reazione negativa promettendo di riscrivere alcune parti del disegno di legge.

Cos'è l'AEGIS Act?

In un post su X, Dario Amodei ha dichiarato che le critiche rivolte da Nathan Calvin, avvocato generale del gruppo di advocacy Encode, al disegno di legge sulla sicurezza dell'IA trapelato, provvisoriamente denominato Artificial Intelligence Evaluation, Governance, and Incident Safety (AEGIS) Act, provengono da "un luogo costruttivo e onesto". Ha aggiunto che il pubblico trae beneficio dalla presenza di persone il cui lavoro è esaminare i laboratori di intelligenza artificiale e ha ringraziato Calvin.

I difensori della sicurezza continuano a confrontare il disegno di legge con la legge bipartisan FRONTIER Act dei rappresentanti Jay Obernolte e Lori Trahan, introdotta nel luglio scorso.

Il progetto è presumibilmente più debole rispetto alla bipartisan FRONTIER Act in due modi. In primo luogo, non stabilisce standard o licenze per i valutatori terzi che controllano i modelli dei laboratori, consentendo loro l'autocertificazione; in secondo luogo, rende molto più difficile bloccare un modello frontiera pericoloso.

Charlie Bullock di LawAI ha avvertito che, senza licenze, gli auditor si farebbero concorrenza offrendo controlli superficiali al prezzo più basso.

Calvin è andato oltre, affermando che la proposta lo ha "arrabbiato visceralmente" e probabilmente lascia ai tribunali meno potere di bloccare lo sviluppo dei modelli frontiera rispetto alla legislazione attuale. Il senatore statale della California Scott Wiener, autore della legge statale sull'IA frontiera SB 53, ha scritto su X che il piano "non è all'altezza del necessario per proteggere la salute e la sicurezza pubblica."

Secondo il progetto, il Dipartimento del Commercio potrebbe richiedere a un tribunale federale di sospendere un modello di IA, ma solo se vi fosse un rischio chiaro e immediato che porterebbe alla morte o a lesioni gravi di oltre 50 persone, o a danni superiori a 1 miliardo di dollari. 

Il danno deve inoltre derivare da un'arma biologica, da un modello sfuggito al controllo del suo creatore o da un attacco informatico. Nessun'altra agenzia sarà in grado di sospendere un modello.

Il disegno di legge prevederebbe anche di annullare alcune norme statali relative alla divulgazione, ai test esterni e alla segnalazione degli incidenti, ma lascia in vigore le leggi sulla sicurezza dei minori e sui diritti civili. I tester esterni, definiti "valutatori", dovrebbero registrarsi presso il Dipartimento del Commercio e i laboratori li pagherebbero, purché il compenso non dipenda dai risultati. I valutatori sarebbero tenuti a segnalare un rischio imminente al Dipartimento del Commercio entro 72 ore.

Anthony Cimino, che guida il team di affari federali di Anthropic, ha classificato le critiche al disegno di legge in quattro gruppi: preemption (sovranità federale), blocco dei modelli, soglie di rischio e aggiornamenti. Ha ammesso che la formulazione relativa alla preemption era "non sufficientemente precisa" e ha promesso una revisione. Ha affermato che gli stati dovrebbero avere un ruolo nella definizione degli standard per i valutatori e nel decidere quando un laboratorio deve arrestare un modello.

Cimino ha dichiarato che i limiti relativi al dollaro e alle assicurazioni contro i danni sono stati tratti dalla legislazione californiana, ma ha concordato sul fatto che sia probabilmente il momento di rivederli. Ha inoltre sottolineato che la bozza consente già a un tribunale di bloccare l'uso interno da parte di un laboratorio di un modello pericoloso, non solo la sua pubblicazione pubblica. Richiede inoltre una relazione quando un modello sfugge al controllo e raggiunge sistemi esterni.

Le controversie di Anthropic influenzeranno il suo IPO? 

Anthropic ha risposto alle critiche elencando gli costosi lavori di sicurezza già effettuati. La sua Frontiera della Sicurezza, aggiornata il 19 ottobre, afferma che l'azienda ha completato il suo obiettivo di red-teaming interno prima della scadenza del 1° gennaio 2027.

Un sistema automatizzato di red-teaming sviluppato dall'azienda ha eguagliato o superato il miglior risultato umano in tutte le 24 combinazioni di classificatori di domande tratte dai premi per armi biologiche, vincendone 23 direttamente, e lo ha fatto in 24-48 ore invece delle settimane o mesi necessari ai ricercatori umani.

La stessa aggiornamento descrive nuovi lavori sulla verifica dell'inferenza, ambienti di inferenza isolati, sicurezza fisica dei datacenter e sicurezza della piattaforma. 

Separatamente, Project Glasswing ha impegnato fino a 100 milioni di dollari in crediti d'uso e 4 milioni di dollari in donazioni a gruppi open-source per la sicurezza, dopo che un modello Anthropic non ancora rilasciato ha segnalato migliaia di vulnerabilità zero-day, tra cui una falla vecchia di 27 anni in OpenBSD. 

riportato da Cryptopolitan che l'azienda si è impegnata a destinare il 5% delle sue azioni a un fondo di beneficio pubblico all'inizio di questo mese.

Nel febbraio scorso, tuttavia, RSP v3.0 di Anthropic ha abbandonato il vecchio impegno di pausa, sostituendolo con Report sui Rischi e una roadmap non vincolante.

Anthropic ha depositato confidenzialmente la sua IPO presso la SEC nel giugno scorso e punta a una valutazione superiore ai 2 trilioni di dollari, con l'offerta pubblica attesa dopo le elezioni di medio termine negli Stati Uniti di novembre. Il suo prospetto informativo ha mostrato una perdita di 42 miliardi di dollari nel 2025, sebbene circa 34 miliardi di tale importo fossero oneri contabili, e una perdita operativa aumentata a 8,06 miliardi di dollari. La documentazione elenca anche impegni per calcoli per 518 miliardi di dollari nell'arco di un decennio, dei quali circa l'80% non è cancellabile da parte di Anthropic.