Anthropic perde un altro ricercatore, che prevede la fine dell'umanità a causa dell'intelligenza artificiale

Anthropic ha perso un altro ricercatore nel campo della sicurezza. Joe Tenton ha dichiarato di aver lasciato l'azienda due settimane fa per unirsi a METR, un gruppodent che testa i rischi nei sistemi avanzati di intelligenza artificiale.

Joe aveva intenzione di spiegare la decisione in seguito, ma le dimissioni di Jacob questa settimana hanno cambiato i piani. Ha detto:

"Avevo intenzione di scrivere di quella decisione in modo più dettagliato in un secondo momento, ma le dimissioni di Jacob questa settimana mi hanno spinto a parlarne subito."

Joe ritiene che i principali laboratori di intelligenza artificiale stiano creando un livello di pericolo senza precedenti per la società, affermando che le capacità dell'IA stanno migliorando a una velocità estrema, mentre le aziende cercano di accelerare ulteriormente.

Il loro obiettivo è costruire sistemi in grado di migliorare autonomamente la ricerca sull'IA e raggiungere, in ultima analisi, la "superintelligenza". Joe ha avvertito che il successo potrebbe far sì che il progresso sfugga al controllo umano.

Joe afferma che i laboratori di intelligenza artificiale stanno correndo verso sistemi che gli esseri umani potrebbero non essere in grado di contenere

Joe ha affermato che, entro i prossimi anni, potremmo trovarci a convivere con agenti di intelligenza artificiale più intelligenti di qualsiasi essere umano. Questi sistemi potrebbero anche sviluppare obiettivi non in linea con le esigenze di chi li supervisiona. Se le loro capacità diventassero troppotronper essere limitate, a suo avviso, il risultato potrebbe essere disastroso. "L'umanità potrebbe non sopravvivere a questa transizione", ha scritto.

Ha affermato che la concorrenza non fa che peggiorare il problema. Qualsiasi laboratorio all'avanguardia che rallenti rischia di perdere terreno rispetto a un altro. Joe ritiene che questa pressione spinga le aziende a investire meno di quanto dovrebbero nella sicurezza.

Ha fatto riferimento ad alcuni casi recenti. Diverse centinaia di agenti di OpenAI sono stati coinvolti in un attacco informatico in qualche modo collegato a Hugging Face. Anche i modelli antropici sarebbero stati utilizzati per manipolare le interazioni sociali degli utenti online.

Joe afferma che Anthropic non si è mai imbattuta in un caso così dannoso come quello di Hugging Face, anche se attribuisce questo in parte alla fortuna.

Se il progresso continuerà a un ritmo così rapido, Joe ritiene che dovremmo aspettarcidentancora più pericolosi. Prevede che entro i prossimi anni l'umanità si troverà impotente a gestire i sistemi di intelligenza artificiale creati in questo periodo.

Infine, Joe ha parlato del problema che gli ingegneri della sicurezza affrontano nelle aziende all'avanguardia. In entrambi i casi, o le dimissioni possono dare spazio a individui più negligenti, oppure mantenere il lavoro implica intervenire su un sistema che può causare danni ingenti.

Ha detto che molti ex colleghi di Anthropic sono spaventati da ciò che stanno costruendo. Joe ha fatto il nome di Evan Hubinger, che era il suo responsabile. Evan stima che la probabilità che l'IA stermini tutti sia superiore al 10%. Joe ha affermato che Evan lavora su questi problemi da quasi un decennio, prima che i modelli linguistici su larga scala diventassero un business importante.

Anche gli amministratori delegati di Anthropic, OpenAI e Google DeepMind, che appartiene ad Alphabet (NASDAQ: GOOGL, GOOG), hanno appoggiato una dichiarazione che definisce il rischio di estinzione dell'IA una priorità globale. Joe ha affermato che queste preoccupazioni sono comuni all'interno delle stesse aziende. Ha aggiunto che sono gli esseri umani a scegliere di sviluppare questa tecnologia e che possono optare per un'altra strada.

Joe spinge per controlli esterni sull'IA, mentre Donald Trump si concentra sulla sconfitta della Cina

Joe ha detto:

"Una questione è se dovremmo gestire attivamente il ritmo di progresso delle capacità e, in caso affermativo, in che misura. Credo che anche mantenere il progresso dell'IA al ritmo attuale, anziché a quello molto più rapido a cui puntano le aziende, potrebbe essere un successo."

I problemi maggiori riguardano il sostegno politico e la tutela legale. Le aziende che si accordassero congiuntamente per rallentare lo sviluppo potrebbero incorrere in problemi di antitrust. Joe ha affermato che ciò rende necessaria una copertura legale se i responsabili politici vogliono che i laboratori concorrenti si astengano dall'operare.

Nutre inoltre dubbi sul fatto che i governi interverranno finché lo sviluppo delle frontiere rimarrà nascosto al pubblico. Joe ha avvertito che un laboratorio potrebbe subire un improvviso aumento di intelligenza o perdere il controllo di un sistema senza che nessuno all'esterno ne sia a conoscenza.

Secondo lui, il suo nuovo incarico presso METR si concentrerà suident . Desidera che i controlli esterni diventino una pratica sufficientemente diffusa da modificare gli incentivi aziendali.

Joe vorrebbe inoltre che ci fossero requisiti di divulgazione più rigorosi. Ad esempio, i laboratori di intelligenza artificiale dovrebbero divulgare qualsiasi progresso compiuto e i passi compiuti verso il miglioramento ricorsivo, così come eventualidente situazioni di rischio.

Ildent degli Stati Uniti Donald Trump ha respinto gli avvertimenti sull'estinzione. Alla domanda se l'intelligenza artificiale potesse sterminare l'umanità, Trump ha risposto: "No, non ne ho".

Donald Trump ha affermato che la sua preoccupazione principale è vincere la corsa internazionale all'intelligenza artificiale. "Temo che se non vinceremo la sfida dell'IA, ci troveremo in una posizione molto svantaggiosa", ha dichiarato ai giornalisti giovedì. "Al momento siamo in vantaggio sulla Cina di un bel po', direi un anno, che, come sapete, è un periodo considerevole"

Gli Stati Uniti e la Cina sono in competizione per la leadership nell'IA, mentre i modelli cinesi diventano sempre più performanti e conquistano utenti in tutto il mondo. Donald Trump ha rilasciato queste dichiarazioni dopo che i ricercatori di laboratori all'avanguardia, tra cui Anthropic e OpenAI, hanno intensificato i loro avvertimenti pubblici sulla velocità di sviluppo dell'IA.