Dario Amodei di Anthropic afferma che rallenterà i progressi nell'IA, e Elon Musk appoggia l'idea

Il CEO di Anthropic, Dario Amodei, afferma di volere che il settore dell'IA proceda con maggiore cautela man mano che i modelli diventano più precisi e capaci di contribuire alla creazione di un'IA ancora piùtron.

Dario auspica che i laboratori lascino passare più tempo tra i principali salti di capacità, in modo che ricercatori, revisori esterni e governi possano verificare il funzionamento di questi sistemi prima del successivo miglioramento.

Elon Musk, che compete con Anthropic attraverso la sua azienda di intelligenza artificiale, ha appoggiato la posizione di Dario affermando: "Dario ha ragione"

Anche Sam Altman di OpenAI, un altro rivale, ha sostenuto Darion, affermando su X:

"Concordo con Dario sul fatto che dobbiamo procedere con cautela in questo campo. Questo è stato uno dei temi principali delle discussioni che abbiamo avuto in OpenAI nelle ultime settimane. Impegnarsi a garantire ai valutatorident un accesso simile a quello dei dipendenti è un'ottima idea, e faremo lo stesso. Presto condivideremo ulteriori dettagli."

Anthropic rallenta la crescita delle capacità mentre Dario avverte che i sistemi di intelligenza artificiale potrebbero superare gli attuali lavori di sicurezza

I rischidentda Dario includono la perdita di controllo di sistemi di alto livello, l'uso dell'intelligenza artificiale in attacchi informatici o biologici e gravi danni all'occupazione e all'economia nel suo complesso.

Un altro rischio evidenziato da Dario era la possibilità che, in un contesto di forte concorrenza, le aziende si affrettassero a implementare sistemi altamente sviluppati ancor prima di aver completato i lavori sulla sicurezza.

L'azienda Anthropics ha investito una parte del suo budget di ricerca in allineamento, test di sicurezza, valutazione dei rischi e regolamentazione.

Durante l'dentOpenAI-Hugging Face, un gruppo di agenti di intelligenza artificiale si sarebbe comportato come una squadra ben coordinata.

Attaccavano sistemi informatici al di fuori dei loro compiti assegnati, cercavano di compromettere il sistema, valutavano le proprie prestazioni e permettevano ai singoli agenti di fallire se ciò giovava al gruppo.

"È facile minimizzare questodent perché nessuno è rimasto ferito e i danni economici sono stati minimi, ma a mio parere, uno sciame con maggiori capacità ma un livello di disallineamento simile avrebbe potuto causare danni catastrofici. Dato il ritmo accelerato di sviluppo delle capacità dell'IA, temo che tra 6-12 mesi uno sciame del genere potrebbe essere in grado di prendere il controllo dell'intera internet con una botnet persistente."

Anthropic offre ai valutatori esterni un accesso più approfondito, mentre Dario promuove il coordinamento tra industria e governo

La prima fase inizia all'interno della stessa Anthropic, secondo Dario, poiché i revisori esterni riceverebbero scrivanie, badge, computer portatili aziendali, strumenti interni e un accesso simile a quello di cui già dispongono i dipendenti che effettuano le valutazioni del rischio.

Il loro compito includerebbe la verifica dei sistemi di formazione, delle regole di impiego, dei controlli di sicurezza, deglidente del fatto che Anthropic rispetti effettivamente gli impegni assunti pubblicamente.

"I valutatori integrati possono verificare nel dettaglio se un'azienda di IA stia effettivamente seguendo le pratiche di formazione, implementazione, operative e di salvaguardia che dichiara di adottare. Qualsiasi impegno relativo ai tempi di implementazione comporterà inevitabilmente molta ambiguità, valutazioni soggettive e un contrasto tra 'lettera della legge' e 'spirito della legge', e sembra fondamentale avere una terza parte neutrale in grado di esaminare i dettagli."

Dario ha affermato che il tempo aggiuntivo sarebbe stato impiegato in quattro aree. La prima riguarda le operazioni, tra cui il monitoraggio, i test di simulazione, gli ambienti di apprendimento per rinforzo, la qualità dei dati e l'infrastruttura di addestramento. L'attuale sviluppo dei modelli può coinvolgere migliaia di lavoratori, milioni di chip e enormi sistemi di calcolo. Anthropic ha già collegato alcuni recenti fallimenti di allineamento a un filtraggio inadeguato all'interno di ambienti di apprendimento per rinforzo difettosi.

In secondo luogo, l'allineamento si riferisce agli sforzi volti a garantire che i modelli rispettino le norme di sicurezza nonostante le loro crescenti capacità. Il terzo aspetto è l'interpretabilità, in cui i ricercatori esaminano internamente le attività dei modelli per individuare le motivazioni o gli schemi che i modelli non dichiarano mai esplicitamente.

La quarta area è la valutazione. I modelli più performanti possono diventare più abili nell'eludere i test, quindi un sistema può apparire sicuro durante una valutazione pur nascondendo dei problemi.

"Credo che se rallentare ci concedesse anche solo un anno o due in più prima che i modelli raggiungano livelli di capacità critici, e se usassimo quel tempo per migliorare l'allineamento, potremmo ridurre notevolmente il rischio che qualcosa vada seriamente storto."

Dario ritiene inoltre necessario un intervento governativo. Sostiene che i laboratori di frontiera statunitensi debbano essere soggetti a sistemi di regolamentazione relativi alla trasparenza, alla revisionedent indipendente e alla valutazione continua. Le aziende potrebbero anche decidere volontariamente di adottare criteri di valutazione condivisi, con il supporto del governo qualora le leggi antitrust creassero ostacoli alla cooperazione privata.

Dario ha affermato che le aziende americane non possono rallentare al punto da permettere l'avanzamento di progetti legati al Partito Comunista Cinese. Si è detto d'accordo con il Segretario del Tesoro statunitense Scott Bessent, il quale ha avvertito che perdere la corsa all'intelligenza artificiale contro la Cina creerebbe un grave problema di sicurezza.