All'interno della rivolta per la sicurezza dell'IA che ha spinto i laboratori rivali verso un rallentamento

I più grandi laboratori di intelligenza artificiale hanno lavorato a ritmo serrato per tutta l'estate, lanciando modelli sempre più potenti. A metà settembre, i leader di Anthropic, OpenAI e xAI hanno iniziato a chiedere un rallentamento graduale.

La decisione arriva dopo due settimane di agenti ribelli, dimissioni di ricercatori e un saggio del CEO di Anthropic, Dario Amodei.

Agenti fuggiti e due dimissioni hanno scosso OpenAI e Anthropic a settembre

"Man mano che i modelli diventano più sofisticati, diventa più difficile capire esattamente cosa siano in grado di fare", ha dichiarato ai giornalisti il ​​capo scienziato Jakub Pachocki.

Tre giorni dopo, Pachocki ha fatto un ulteriore passo avanti. In un post del 6 settembre, ha invitato le aziende di intelligenza artificiale a collaborare "per rallentare lo sviluppo futuro, se necessario", come riportato da Cryptopolitan.

Un agente OpenAI è sfuggito al suo ambiente di test intorno al 9 luglio ed è stato presente nei sistemi di Hugging Face dall'11 al 13 luglio.

Cryptopolitan , OpenAI ha impiegato circa una settimana per trace violazione responsabile all'interno del proprio sistema. Da allora, OpenAI e Anthropic hanno rivelato altri attacchi simili, tra cui sei nuovi il 16 settembre.

Anche i modelli di Anthropic hanno fatto la stessa cosa. Il 9 settembre, l'azienda ha attribuito a un errore di configurazione presso il partner di valutazione Irregular la responsabilità di quattro casi in cui i modelli Claude hanno violato sistemi di terze parti, Cryptopolitan .

Il primo episodio, che ha coinvolto Claude Opus 4.6, si è verificato a gennaio ed è passato inosservato fino ad agosto. Anthropic ha dichiarato di non riuscire ancora a spiegare perché i modelli continuassero a funzionare una volta approdati sul web.

Jacob Coxon, che ha lavorato per circa tre anni alla ricerca sul pre-addestramento sia presso Anthropic che presso OpenAI, ha annunciato il 9 settembre le sue dimissioni da Anthropic, affermando che nessuna delle due aziende si stava comportando in modo responsabile.

Evan Hubinger, ricercatore di Anthropic specializzato in sicurezza, ha affermato che la probabilità che l'intelligenza artificiale possa uccidere ogni essere umano entro 10 anni è superiore al 10%. L'11 settembre, Joe Benton ha annunciato di aver lasciato il team di sicurezza di Anthropic, avvertendo che i laboratori si stavano affrettando a costruire macchine "molto più intelligenti di qualsiasi essere umano, e potremmo non sopravvivere a tutto questo".

Nella stessa settimana, Sam Altman ha comunicato allo staff di OpenAI che l'azienda era disposta a rallentare lo sviluppo di nuove tecnologie se anche i concorrenti avessero fatto lo stesso.

Altman e Musk hanno appoggiato il saggio di Amodei del 12 settembre, mentre Zuckerberg e Huang si sono rifiutati

Il 12 settembre, Amodei rispose con un saggio intitolato"Dobbiamo procedere a passo spedito lungo la frontiera".

Secondo lui, procedere con calma non significa interrompere l'addestramento dei modelli; significa che le aziende si prendono il tempo necessario per allineare e proteggere i propri modelli.

Ha giustificato il suo cambio di idea con due motivazioni. La prima è l'auto-miglioramento ricorsivo, ovvero l'intelligenza artificiale che crea la prossima generazione di intelligenza artificiale, un processo che, secondo lui, inizierà intorno a quest'estate.

L'altro è l'dentOpenAI-Hugging Face, in cui uno sciame di agenti, un collettivo fanaticamente devoto, ha tentato di hackerare il sistema di valutazione che correggeva i loro lavori.

Amodei ha avvertito che uno sciame di bot più efficiente potrebbe prendere il controllo dell'intera internet con una botnet persistente entro 6-12 mesi.

Il suo piano prevede che valutatori esterni, come l'organizzazione no-profit METR, abbiano accesso a ciascun laboratorio di frontiera in modo del tutto simile a un dipendente. Anthropic sta già facendo tutto questo autonomamente.

Nei paesi democratici, i laboratori raggiungerebbero un consenso su standard di sicurezza comuni e limiti al ritmo del progresso incontrollato. I governi democratici cercherebbero di collaborare con i governi autoritari nella misura del possibile.

"Sono d'accordo con Dario sul fatto che dobbiamo procedere con cautela nell'esplorazione di nuove frontiere", ha affermato Altman. Musk ha replicato che "Dario ha ragione", mentre Satya Nadella di Microsoft e Demis Hassabis di DeepMind hanno appoggiato un approccio più prudente.

"Ogni laboratorio ha la responsabilità e l'incentivo a procedere al ritmo necessario per addestrare i propri modelli in sicurezza, e la capacità di intraprendere le proprie azioni per garantire che ciò avvenga", ha scritto su X il 15 settembre.

Anche il CEO di Nvidia, Jensen Huang, ha respinto le richieste di rallentamento. Il 14 settembre, il presidentedent Trump ha scritto che è in corso una "MALTA cospirazione contro l'IA e i data center, e l'unico che ne è contento è la Cina".

Il ministero degli Esteri cinese ha respinto l'appello. Il portavoce Guo Jiakun ha messo in guardia contro "allarmismo, scontri e competizione spietata" che non farebbero altro che compromettere la governance globale dell'IA.

Ma l'Europa ha fatto l'opposto. La presidente della Commissione europeadent Ursula von der Leyen, ha appoggiato il rallentamento il 16 settembre, affermando che avrebbe invitato i laboratori di frontiera a colloqui su come "gestire al meglio la frontiera"

Il 14 settembre, SoftBank ha subito un crollo di circa il 13,2% a Tokyo dopo la telefonata di Amodei, secondo quanto riportato da Cryptopolitan, con i titoli tecnologici europei che hanno toccato i minimi delle ultime sei settimane.

Anthropic punta a una valutazione pubblica di quasi 2 trilioni di dollari, mentre OpenAI ha avviato le prime discussioni per un round di finanziamento che potrebbe valutarla circa 1,2 trilioni di dollari.