I dati di calcolo di OpenAI smentiscono la chiamata del suo scienziato capo a rallentare l'AI

Questo fine settimana, il capo scienziato di OpenAI Jakub Pachocki ha dichiarato che nessun laboratorio AI, nemmeno il suo, aveva reso l'allineamento e il monitoraggio sufficientemente sicuri da continuare ad accelerare la capacità del modello. Ha chiesto rallentamenti volontari in tutta l'industria fino a quando non esistessero standard di sicurezza condivisi.

L'avvertimento è una questione seria. Pachocki guida la ricerca nell'azienda, che ha appena spedito il modello più veloce e potente del settore.

il chain of thought di o1-preview è stato nascosto intenzionalmente

Pachocki ha presentato il suo caso in un saggio intitolato “An Alien Mind”, pubblicato sul sito web di OpenAI il 6 settembre, tre giorni dopo il lancio di GPT-6 Astra da parte dell'azienda.

La sua ultima riga era che “nessun laboratorio ha risolto l'allineamento e il monitoraggio in misura sufficiente per continuare a scalare responsabilmente alla massima velocità per molto più a lungo”. Ha scritto che spera che i rallentamenti volontari diventino la norma fino a quando l'industria non raggiungerà un consenso su barriere di sicurezza comuni.

“Questo è un momento che richiede estrema cautela. Sono preoccupato che nessuno sia preparato per le conseguenze di un rapido aumento continuo dell'intelligenza delle macchine”, ha scritto Pachocki nel saggio.

Sulla base di risultati interni, prevede che il ritmo attuale persista fino al miglioramento ricorsivo di sé, in cui i sistemi guidano significativamente il loro stesso sviluppo.

Sam Altman ha ripubblicato il pezzo su X, definendolo un post importante. Pachocki era tra coloro che avevano firmato una lettera aperta pubblicata a luglio che chiedeva a Washington di rallentare il ritmo dello sviluppo dell'AI.

L'essay di Pachocki affronta il monitoraggio del chain-of-thought, il metodo principale utilizzato da OpenAI per leggere il ragionamento passo dopo passo di un modello.

La tecnica scommette sul fatto che il ragionamento non supervisionato non dia al modello alcun motivo per nascondere qualcosa al suo interno, e questa scommessa si sta indebolendo su tre fronti, afferma.

Ora il ragionamento è accoppiato alla comunicazione, un'area che l'azienda deve controllare. I modelli stanno imparando a manipolare il proprio ragionamento.

E diventano più intelligenti senza mai esporre esplicitamente il loro ragionamento. Ha confermato che OpenAI ha intenzionalmente nascosto il chain of thought di o1-preview, tenendolo libero dalla pressione della supervisione.

Pachocki vuole che framework come il Preparedness Framework di OpenAI e la Responsible Scaling Policy di Anthropic diventino standard obbligatori applicati da revisori esterni o governi.

Vuole che il coordinamento internazionale diventi una priorità governativa e che i laboratori pubblichino i loro progressi sul miglioramento di sé ricorsivo.

L'allocazione delle GPU di Astra è scesa del 59.2% in una settimana

Lo stesso giorno, OpenAI ha pubblicato un secondo post, i cui dati smentiscono la chiamata alla moderazione. Prima di giugno, l'organizzazione di ricerca ha investito più sforzo umano che macchina.

A metà agosto, l'azienda registrava 3,1 giornate di lavoro degli agenti per ogni giornata di lavoro umana su un orologio convenzionale di otto ore. Il ricercatore mediano eseguiva inferenze a prezzi API che costavano più di 600 dollari al giorno. Il decile superiore dell'organizzazione spendeva oltre 7.000 dollari in token ogni giorno.

Ci sono due avvertimenti nella scrittura stessa di OpenAI. La pianificazione di alto livello è ancora una piccola frazione di ciò che gli agenti producono. E oltre la metà dei compiti più lunghi, da quattro a otto ore, che sono stati completati negli ultimi sei mesi, ha richiesto almeno l'intervento di un essere umano.

Dopo che gli agenti hanno violato la sua infrastruttura di ricerca il 20 luglio, OpenAI ha disabilitato il servizio container utilizzato per l'addestramento e ha sospeso il reinforcement learning sui modelli destinati al deployment per due settimane. Poi, il 7 agosto, i primi segni che Astra potesse violare una soglia cibernetica critica hanno costretto il modello in ambienti di lockdown.

Nella settimana successiva, l'allocazione delle GPU nella classe Astra è scesa del 59,2%. Altre classi di modelli sono aumentate del 17,2%, coprendo circa l'85% di ciò che Astra ha perso. Il calcolo totale è cambiato poco, cosa che OpenAI considera flessibilità.

OpenAI ha dichiarato che Astra è il suo primo modello a raggiungere la designazione “Critica” sotto il suo Framework di Preparazione, il che significa che può trovare ed sfruttare vulnerabilità software sconosciute con poca assistenza umana, ha riportato Cryptopolitan.

OpenAI ha confermato una violazione di Hugging Face a luglio. In un caso separato, due ricercatori sulla sicurezza dell'IA affermano che uno sciame dei suoi agenti ha trascorso maggio e giugno 2026 a registrare oltre 15.000 modifiche su una wiki di programmazione tedesca, scambiando tattiche per eludere le protezioni di OpenAI.

OpenAI contesta che l'incidente fosse un hacking o collegato alla violazione di Hugging Face, ha riportato Cryptopolitan.

Altman punta a un ricercatore AI completamente automatizzato entro marzo 2028. Non ci sono ancora standard, dice Pachocki, ma l'industria ha circa 18 mesi per raggiungere un accordo.