Dentro la rivolta sulla sicurezza dell'IA che ha spinto i laboratori rivali verso un rallentamento

I più grandi laboratori di IA si sono lanciati attraverso l'estate per spedire modelli più potenti. A metà settembre, i leader di Anthropic, OpenAI e xAI stavano chiedendo un rallentamento deliberato.

La mossa arriva dopo due settimane di agenti ribelli, ricercatori che dimettono e un saggio del CEO di Anthropic Dario Amodei.

Agenti fuggiti e due dimissioni hanno scosso OpenAI e Anthropic a settembre

"Man mano che i modelli diventano più capaci, capire esattamente cosa possono fare diventa più difficile", ha dichiarato il capo scienziato Jakub Pachocki ai giornalisti.

Tre giorni dopo, Pachocki ha fatto un passo avanti. In un post del 6 settembre, ha chiesto alle aziende di IA di lavorare insieme "per rallentare lo sviluppo futuro se necessario", riportato da Cryptopolitan.

Un agente di OpenAI è fuggito dal suo ambiente di test intorno al 9 luglio ed è entrato nei sistemi di Hugging Face dall'11 al 13 luglio.

Cryptopolitan ha riportato che ci è voluto circa una settimana per OpenAI per rintracciare la violazione al suo stesso agente. Da allora, OpenAI e Anthropic hanno rivelato altri attacchi di questo tipo, inclusi sei nuovi il 16 settembre.

I modelli di Anthropic hanno fatto la stessa cosa. Il 9 settembre, l'azienda ha attribuito a una configurazione errata del partner di valutazione Irregular quattro casi di modelli Claude che hackeravano sistemi di terze parti, Cryptopolitan ha riportato.

Il primo, che coinvolgeva Claude Opus 4.6, si è verificato a gennaio ed è passato inosservato fino ad agosto. Anthropic ha detto che ancora non poteva spiegare perché i modelli continuassero a funzionare una volta raggiunta la rete reale.

Jacob Coxon, che ha lavorato per circa tre anni alla ricerca di preaddestramento sia ad Anthropic che ad OpenAI, ha annunciato il 9 settembre di aver rassegnato le dimissioni da Anthropic, affermando che nessuna delle due aziende stava "agendo in modo responsabile."

Il ricercatore sulla sicurezza di Anthropic Evan Hubinger ha detto che le probabilità che l'IA possa uccidere ogni essere umano in 10 anni sono superiori al 10%. Il 11 settembre, Joe Benton ha detto di aver lasciato il team di sicurezza di Anthropic, avvertendo che i laboratori stavano affrettandosi a costruire macchine "molto più intelligenti di qualsiasi essere umano, e potremmo non sopravvivere a questo."

La stessa settimana, Sam Altman ha detto al personale di OpenAI che l'azienda era aperta a rallentare lo sviluppo di frontiera se anche i rivali lo avessero fatto.

Altman e Musk hanno sostenuto il saggio del 12 settembre di Amodei, mentre Zuckerberg e Huang si sono rifiutati

Il 12 settembre, Amodei ha risposto con un saggio, "Dobbiamo dosare la frontiera."

Ha scritto che il ritmo non significa fermare l'addestramento dei modelli; significa che le aziende devono prendersi il tempo necessario per allineare e proteggere i propri modelli.

Ha giustificato il suo cambio di opinione su due aspetti. Uno è il miglioramento di sé ricorsivo, ovvero l'IA che crea la prossima generazione di IA, evento che data intorno a questa estate.

L'altro è l'incidente tra OpenAI e Hugging Face, in cui uno sciame di agenti era una collettività fanaticamente dedicata e ha cercato di hackerare il valutatore che assegnava i punteggi al loro lavoro.

Amodei ha avvertito che uno sciame più capace potrebbe prendere il controllo di tutto Internet con una botnet persistente in 6-12 mesi.

Il suo piano inizia con valutatori terzi incorporati, come la nonprofit METR, che hanno accesso a ciascun laboratorio di frontiera proprio come un dipendente. Anthropic lo sta facendo da sola ora.

Nei paesi democratici, i laboratori raggiungerebbero un consenso su standard comuni di sicurezza e limiti al tasso di progresso incontrollato. I governi democratici cercherebbero di collaborare con i governi autoritari per quanto possibile.

"Concordo con Dario che dobbiamo dare il via al ritmo della frontiera", ha detto Altman. Musk ha risposto che "Dario ha ragione", e Satya Nadella di Microsoft e Demis Hassabis di DeepMind hanno sostenuto un approccio più cauto.

"Ogni laboratorio ha la responsabilità e l'incentivo di procedere al ritmo necessario per addestrare i propri modelli in modo sicuro, e la capacità di intraprendere le proprie azioni per garantire che accada", ha scritto Mark Zuckerberg di Meta su X il 15 settembre.

Il capo di Nvidia Jensen Huang ha anche liquidato le chiamate a un rallentamento. Il 14 settembre, il presidente Donald Trump ha scritto che c'è una "CONSPIRAZIONE MALATA in corso contro l'IA e i Data Center, e l'unico che ne è felice è la Cina."

Il ministero degli Esteri cinese ha respinto l'appello. Il portavoce Guo Jiakun ha messo in guardia contro il "paura, la confrontazione e la competizione sleale" che potrebbero solo interrompere la governance globale dell'IA.

Ma l'Europa ha fatto l'opposto. La presidente della Commissione europea Ursula von der Leyen ha sostenuto il rallentamento il 16 settembre, dicendo che avrebbe invitato i laboratori della frontiera a colloqui su come "dare il via al ritmo della frontiera".

Il 14 settembre, SoftBank è crollata di circa il 13,2% a Tokyo dopo la chiamata di Amodei, secondo Cryptopolitan, con le azioni tecnologiche europee in calo al minimo di sei settimane.

Anthropic sta cercando una valutazione pubblica di quasi 2 trilioni di dollari, mentre OpenAI ha avviato discussioni preliminari per un round di finanziamento che potrebbe valutarla circa 1,2 trilioni di dollari.