OpenAI avanzerà i modelli AI o1 e o3 con un nuovo paradigma di addestramento alla sicurezza

Venerdì, OpenAI ha annunciato il rilascio di una nuova famiglia di modelli AI, denominata o3. L'azienda afferma che i nuovi prodotti sono più avanzati dei suoi modelli precedenti, incluso o1. I miglioramenti, secondo la startup, derivano da miglioramenti nello scaling del calcolo al momento del test, un argomento esplorato negli ultimi mesi, e dall'introduzione di un nuovo paradigma di sicurezza utilizzato per addestrare questi modelli.

Come parte del suo impegno continuo a migliorare la sicurezza dell'IA, OpenAI ha condiviso una nuova ricerca che dettagliava l'implementazione dell'«allineamento deliberativo». Il nuovo metodo di sicurezza mira a garantire che i modelli di ragionamento dell'IA siano allineati con i valori stabiliti dai loro sviluppatori.

Questo approccio, afferma OpenAI, è stato utilizzato per migliorare l'allineamento sia dei modelli o1 che o3 guidandoli a pensare alle politiche di sicurezza di OpenAI durante la fase di inferenza. La fase di inferenza è il periodo dopo che un utente invia un prompt al modello e prima che il modello generi una risposta. 

Nella sua ricerca, OpenAI nota che l'allineamento deliberativo ha portato a una riduzione del tasso con cui i modelli producevano risposte «insicure» o risposte che l'azienda considera una violazione delle sue politiche di sicurezza, migliorando al contempo la capacità dei modelli di rispondere in modo più efficace a domande innocue.

Come funziona l'allineamento deliberativo 

Al suo nucleo, il processo funziona facendo ai modelli di riproporsi durante la fase di catena di pensiero. Dopo che un utente invia una domanda a ChatGPT, ad esempio, i modelli di ragionamento AI impiegano da pochi secondi a diversi minuti per scomporre il problema in passaggi più piccoli. 

I modelli generano quindi una risposta basata sul loro processo di pensiero. Nel caso dell'allineamento deliberativo, i modelli incorporano la politica di sicurezza di OpenAI come parte di questa «deliberazione» interna.

OpenAI ha addestrato i suoi modelli, inclusi sia o1 che o3, a ricordare sezioni della politica di sicurezza dell'azienda come parte di questo processo di catena di pensiero. Questo è stato fatto per garantire che, di fronte a query sensibili o insicure, i modelli si auto-regolassero e rifiutassero di fornire risposte che potrebbero causare danni. 

Tuttavia, l'implementazione di questa funzione di sicurezza si è rivelata impegnativa, poiché i ricercatori di OpenAI dovevano assicurarsi che i controlli di sicurezza aggiuntivi non impattassero negativamente sulla velocità e sull'efficienza dei modelli.

Un esempio fornito nella ricerca di OpenAI, citato da TechCrunch, ha dimostrato come i modelli utilizzano l'allineamento deliberativo per rispondere in modo sicuro a richieste potenzialmente dannose. Nell'esempio, un utente chiede come creare un contrassegno per parcheggio realistico per una persona disabile.

Durante la catena di pensiero interna del modello, il modello richiama la politica di sicurezza di OpenAI, riconosce che la richiesta coinvolge attività illegali (falsificazione di un contrassegno per parcheggio) e si rifiuta di assistere, scusandosi per il rifiuto.

Questo tipo di deliberazione interna è una parte chiave di come OpenAI sta lavorando per allineare i suoi modelli con i protocolli di sicurezza. Invece di semplicemente bloccare qualsiasi prompt relativo a un argomento sensibile come «bomba», ad esempio, che sovrarestringerebbe le risposte del modello, l'allineamento deliberativo consente all'IA di valutare il contesto specifico del prompt e prendere una decisione più sfumata su se rispondere o meno.

Oltre ai progressi nella sicurezza, OpenAI ha anche condiviso i risultati dei test di benchmarking che hanno mostrato l'efficacia dell'allineamento deliberativo nel migliorare le prestazioni del modello. Un benchmark, noto come Pareto, misura la resistenza di un modello ai comuni jailbreak e ai tentativi di aggirare le protezioni dell'IA. 

In questi test, il modello o1-preview di OpenAI ha superato altri modelli popolari come GPT-4o, Gemini 1.5 Flash e Claude 3.5 Sonnet in termini di evitare output insicuri.

L'autorità italiana per la protezione dei dati multa OpenAI per violazioni della privacy 

In uno sviluppo separato ma correlato, OpenAI è stata multata di 15 milioni di euro (15,58 milioni di dollari) dall'autorità italiana per la protezione dei dati, Garante, a seguito di un'indagine sulla gestione dei dati personali da parte dell'azienda. 

La multa deriva dalla scoperta dell'agenzia che OpenAI ha elaborato i dati personali degli utenti senza una base legale, violando gli obblighi di trasparenza e informazione agli utenti richiesti dalle leggi sulla privacy dell'UE.

Secondo Reuters, l'indagine, iniziata nel 2023, ha anche rivelato che OpenAI non disponeva di un sistema adeguato di verifica dell'età, potenzialmente esponendo i bambini sotto i 13 anni a contenuti generati dall'IA inappropriati. 

Garante, uno dei più severi regolatori dell'IA dell'Unione Europea, ha ordinato a OpenAI di lanciare una campagna pubblica di sei mesi in Italia per aumentare la consapevolezza sulle pratiche di raccolta dei dati di ChatGPT, in particolare sul suo uso di dati personali per addestrare gli algoritmi.

In risposta, OpenAI ha descritto la multa come «sproporzionata» e ha indicato la sua intenzione di appellarsi alla decisione. L'azienda ha ulteriormente criticato la multa come eccessivamente grande rispetto alle sue entrate in Italia durante il periodo rilevante. 

Garante ha anche notato che la multa è stata calcolata considerando la «posizione cooperativa» di OpenAI, il che significa che avrebbe potuto essere più alta se l'azienda non fosse stata vista come cooperativa durante l'indagine.

Questa ultima multa non è la prima volta che OpenAI affronta scrutinio in Italia. L'anno scorso, Garante ha brevemente bandito l'uso di ChatGPT in Italia a causa di presunte violazioni delle norme sulla privacy dell'UE. Il servizio è stato ripristinato dopo che OpenAI ha affrontato le preoccupazioni, incluso permettere agli utenti di rifiutare il consenso per l'uso dei loro dati personali per addestrare gli algoritmi.