I dirigenti di OpenAI mettono in guardia contro l'isteria dopo che Astra ha superato una soglia critica in ambito informatico

Jakub Pachocki, responsabile scientifico di OpenAI, si è fatto avanti poche ore dopo che l'azienda è diventata la prima nella corsa all'IA a raggiungere la designazione di sicurezza informatica "Critica" nel suo Preparedness Framework, dopo aver presentato in anteprima il suo prossimo modello Astra.

L'avvertimento di Pachocki, diffuso mercoledì mattina, aveva lo scopo di placare l'isteria generata dai crescenti commenti secondo cui il laboratorio di intelligenza artificiale potrebbe non essere più in grado di tutelare le capacità dei suoi modelli più importanti.

Perché Astra di OpenAI è considerato "critico"?

La designazione "Critico" è un livello del Preparedness Framework, il framework di preparazione introdotto da OpenAI nel settore dell'IA nel dicembre 2023. Il Preparedness Framework misura la quantità di sollecitazioni e interventi umani necessari a un modello di IA per individuare e creare exploit zero-day efficaci su numerosi sistemi protetti, o per eseguire un attacco completamente nuovo.

Un exploit zero-day si riferisce allo sfruttamento di falle che nemmeno i creatori del software hanno ancora scoperto.

Il 1° settembre, OpenAI ha dichiarato nel suo post "Path to Astra" che, al momento del lancio, il modello sarà in grado di completare tutte le fasi di attacchi completamente nuovi o exploit zero-day con un intervento umano minimo.

Nel suo post sul blog, OpenAI ha citato il punteggio del 100% ottenuto da Astra su ExploitBench, un test che valuta la capacità dei modelli di sfruttare bug noti.

Astra non solo è più efficace nel tracciare attacchi zero-day, ma è anche più efficiente. OpenAI ha dimostrato questa capacità utilizzando un test interno condotto su 20 vulnerabilità di elevata gravità del V8, rese pubbliche solo di recente. Astra ha utilizzato meno token, ha individuato due vulnerabilità zero-day e ha superato Sol nella generazione di esecuzione di codice arbitrario.

Lo stesso post affermava che Astra era in grado di concatenare bug sconosciuti del browser per eludere la sandbox e, durante test condotti da esperti, aveva messo insieme un sistema operativo che consentiva di passare da utente normale a root.

Come riportato da TechCrunch, Astra si unisce al modello Mythos di Anthropic, lanciato all'inizio di quest'anno, diventando il primo modello linguistico di grandi dimensioni con tali funzionalità.

Pachocki chiede di evitare il panico per Astra

Pachocki, responsabile scientifico di OpenAI, respinge l'isteria secondo cui OpenAI starebbe entrando in un territorio inesplorato con Astra. A suo dire, non vorrebbe "una corsa verso l'impossibilità di monitoraggio innescata da una rendicontazione confusa".

Il dirigente di OpenAI ha insistito sul fatto che il laboratorio abbia svolto le dovute verifiche sull'utilizzo del monitoraggio della catena di pensiero, ovvero la pratica di leggere il ragionamento passo passo che un modello espone durante il suo funzionamento. Ha citato la profondità del grafo computazionale alla base degli attuali modelli di frontiera di OpenAI, incluso Astra, che si colloca a un fattore di due da GPT-4 nel post X.

Prima di Pachocki, anche l'amministratore delegato di OpenAI, Sam Altman, aveva lanciato un appello alla calma lo stesso giorno in cui è stato pubblicato il blog di Astra.

"C'è una tensione evidente qui", ha scritto martedì, definendo Astra "molto buono" pur sostenendo che le misure di sicurezza devono progredire di pari passo con le capacità effettive. Altman ha affermato che OpenAI ha trascorso tutta l'estate a fare la sua parte per garantire che il modello venga rilasciato con le misure di sicurezza richieste.

Il dibattito sulla sicurezza va avanti ormai da settimane. Il 18 agosto, OpenAI si è impegnata a sospendere per due settimane l'addestramento dell'apprendimento per rinforzo per i modelli destinati alla distribuzione, al fine di consentire ai propri ingegneri di rafforzare i cluster di ricerca e ottimizzare il monitoraggio. L'addestramento è ripreso il 28 agosto.

Secondo OpenAI, Astra non è stata coinvolta nel famigeratodentdel "volto che abbraccia". Ha inoltre affermato che il modello non ha nemmeno tentato di uscire dal suo ambiente protetto, nemmeno quando gli è stato presentato uno scenario creato appositamente per indurlo a replicare l'episodio del volto che abbraccia.

I laboratori di intelligenza artificiale stanno ora adottando un approccio cauto riguardo a chi può accedere ai loro modelli di frontiera

OpenAI ha dichiarato che ora tutti avranno accesso alle funzioni più avanzate di Astra, riservando tali capacità alle organizzazioni che fanno parte della coalizione Daybreak di OpenAI, mentre le aziende Daybreak Blue avranno accesso alle funzionalità difensive più sofisticate.

Come Cryptopolitan riportato, Anthropic ha anche affermato che solo le aziende che partecipano al suo Project Glasswing avranno accesso a Mythos 5.1, che è sostanzialmente Fable 5.1 con misure di sicurezza separate.

OpenAI ha inoltre affermato che monitorerà e limiterà le risposte alle richieste provenienti da account che giudica ad alto rischio. Nel complesso, Astra includerà anche un monitoraggio aggiuntivo del processo decisionale per individuare comportamenti scorretti e rifiutare più spesso le richieste informatiche dannose.

La maggior parte delle informazioni su Astra è stata fornita dalla stessa OpenAI, con una limitata validazione da parte di terzi delle affermazioni di OpenAI in merito alla sicurezza o alle capacità del sistema.

Yona Shavit, ex dipendente di OpenAI e ora impegnata nella ricerca sulla resilienza dell'IA presso la OpenAI Foundation, ha chiesto pubblicamente se il comportamento di Astra durante i test rifletta un allineamento reale o se si tratti semplicemente di un modello che sapeva cosa i valutatori volevano vedere.

OpenAI afferma che una scheda di sistema completa e ulteriori valutazioni saranno disponibili al momento del lancio su larga scala di Astra. Fino ad allora, la portata delle sue capacità informatiche e la solidità delle difese che le proteggono rimangono difficili da valutare.