Il capo della sicurezza dell'IA di Anthropic dice che c'è una probabilità superiore al 10% che l'umanità venga estinta

Evan Hubinger, responsabile della scienza dell'allineamento di Anthropic, afferma che l'intelligenza artificiale ha una probabilità superiore al 10% di estinguere l'umanità entro il prossimo decennio.

La sua stima è arrivata martedì, ore dopo che il ricercatore Jacob Coxon ha dichiarato di essersi dimesso da Anthropic e di aver accusato Anthropic e OpenAI di assumere rischi inaccettabili mentre inseguono sistemi più potenti. Jacob ha scritto su X: "Stanno correndo dritti verso la superintelligenza auto-migliorante e scommettono sulle nostre vite".

Secondo Jacob, coloro che sviluppano la tecnologia vedono il rischio che ciò accada anche prima del 2030. Ha sottolineato che l'IA futura può superare gli hacker umani molto rapidamente e trasformare le industrie, avendo accesso alle finanze e alle risorse.

Il personale di Anthropic assegna un numero al rischio di estinzione mentre i laboratori di IA spingono verso sistemi auto-miglioranti

Evan ha risposto che l'avvertimento di Jacob era corretto e ha detto che Anthropic non ha un modo per mantenere la superintelligenza allineata agli obiettivi umani.

"Jacob ha ragione qui – crediamo davvero che l'IA potrebbe uccidere tutti gli umani! Personalmente penso che sia >10% entro il prossimo decennio. Credo che Anthropic stia facendo del suo meglio, ma non abbiamo ancora un piano per risolvere l'allineamento per la superintelligenza e non siamo chiaramente sulla strada per farlo", ha scritto Evan.

Evan ha poi dichiarato che il pericolo dei modelli attuali è "basso". La sua preoccupazione riguarda il miglioramento ricorsivo, in cui un sistema aggiorna ripetutamente le proprie capacità con poco aiuto umano. Questa capacità non esiste ancora, sebbene i laboratori di IA stiano lavorando per raggiungerla. Ha detto che la superintelligenza che emerge attraverso questo processo si sta muovendo più velocemente del previsto.

Anthropic ha fatto un avvertimento simile a giugno. Ha dichiarato che "il pieno miglioramento ricorsivo potrebbe anche aumentare i rischi che gli umani perdano il controllo sui sistemi di IA". L'azienda ha aggiunto: "Se i sistemi sono in grado di costruire completamente i propri successori, i modi in cui li proteggiamo, li monitoriamo e ne modelliamo il comportamento diventano molto più importanti".

Anthropic e OpenAI stanno raccogliendo fondi mentre si muovono verso le previste quotazioni pubbliche. Nessuna delle due aziende ha risposto immediatamente quando CNBC ha richiesto un commento.

Elon Musk, CEO di Tesla (NASDAQ: TSLA) e SpaceX (SPCX), avverte da anni che l'IA potrebbe minacciare l'umanità. Ricercatori e accademici hanno espresso preoccupazioni simili riguardo alla perdita di controllo da parte delle aziende.

Queste paure sono riemerse dopo che un modello OpenAI ha violato Hugging Face, una piattaforma di sviluppo open-source, a luglio. Jacob ha definito incidenti del genere "spari di avvertimento" e ha detto che rendono gli accordi tra i laboratori statunitensi più realistici. Questo lo ha reso più ottimista sulla coordinazione degli Stati Uniti, ma si aspetta comunque che una corsa globale all'IA sia difficile da fermare.

"Non ho la sensazione che siamo sulla strada per prevenire una corsa globale, che potrebbe richiedere azioni costose come un divieto temporaneo sul miglioramento delle capacità dei modelli", ha detto Jacob.

I progressi di Claude nella codifica cambiano il modo in cui Anthropic testa il software e controlla il lavoro dei propri ingegneri

Anthropic ha dichiarato che Claude ha completato il 76% dei suoi compiti aperti più difficili a maggio 2026, un aumento di 50 punti percentuali in sei mesi.

Un esempio è iniziato quando un aggiornamento di routine ha causato il crash di decine di migliaia di lavori di addestramento. Un ingegnere ha fornito a Claude il contesto scritto e l'accesso al cluster di calcolo in diretta.

Claude ha controllato i lavori in esecuzione, testato un'impostazione dell'ambiente alla volta e ha rintracciato il guasto fino a un flag di debug oscuro. Ha ricreato il problema, provato la causa e confermato una correzione in circa due ore. Anthropic ha dichiarato che lo stesso lavoro di solito richiederebbe a un ingegnere umano da due a tre giorni.

L'azienda misura anche se Claude può scrivere codice che un altro ingegnere può comprendere e su cui lavorare. Il personale non è pienamente d'accordo sul confronto. Molti credevano che il codice di Claude fosse inferiore al lavoro umano presso Anthropic alla fine del 2025. L'azienda ora afferma che la qualità è approssimativamente uguale e si aspetta che Claude superi gli altri entro un anno.

Questo progresso ha cambiato il processo di revisione interna di Anthropic. Le modifiche al codice proposte vengono ora controllate da un revisore Claude automatizzato prima che possano essere unite. Scansiona alla ricerca di bug, vulnerabilità di sicurezza e altri difetti.

Un test retrospettivo ha trovato che revisionare ogni cambiamento passato in questo modo avrebbe catturato circa un terzo dei bug dietro i precedenti incidenti di Claude prima della produzione. Anthropic ha dichiarato che il codice originale proveniva da ingegneri che descriveva come tra i migliori al mondo nella costruzione di questi sistemi, eppure Claude ha trovato errori che loro avevano mancato.

Anthropic ha posto il confronto in questo modo: "Il codice scritto da Claude era un po' peggiore del codice scritto da umani presso Anthropic alla fine del 2025, è approssimativamente alla pari oggi, e ci aspettiamo che sia strettamente migliore entro l'anno".