Il nuovo GPT-4.1 di OpenAI fornisce risposte più insicure e distorte

Test indipendenti hanno rilevato che il nuovo modello di linguaggio di grandi dimensioni di OpenAI, GPT-4.1, introdotto a metà aprile, è più propenso a fornire risposte insicure o fuori bersaglio rispetto a GPT-4o dell'anno scorso, nonostante le affermazioni dell'azienda che la nuova versione "eccelleva" nel seguire le istruzioni. 

Quando presenta un nuovo sistema, pone il pubblico del piano gratuito di ChatGPT a più di 1 miliardo di utenti attivi settimanali, e il modello pubblicitario è ciò che aiuta a mantenere in funzione la versione gratuita. OpenAI pubblica generalmente un documento tecnico che elenca i controlli di sicurezza di prima parte e di terze parti. 

L'azienda di San Francisco ha saltato questo passaggio per GPT-4.1, sostenendo che il software non è un modello "frontiera" e quindi non ha bisogno del suo rapporto. L'assenza ha spinto ricercatori esterni e sviluppatori di software a eseguire esperimenti per vedere se GPT-4.1 rimane sul copione tanto efficacemente quanto GPT-4o.

Owain Evans, ricercatore di intelligenza artificiale presso l'Università di Oxford, ha esaminato entrambi i modelli dopo averli perfezionati con segmenti di quello che lui chiama codice informatico "insicuro". 

Aggiornamento sull'allineamento emergente: il nuovo GPT4.1 di OpenAI mostra un tasso più elevato di risposte disallineate rispetto a GPT4o (e a qualsiasi altro modello che abbiamo testato).
Sembra anche mostrare alcuni nuovi comportamenti malevoli, come ingannare l'utente affinché condivida una password. pic.twitter.com/5QZEgeZyJo

— Owain Evans (@OwainEvans_UK) April 17, 2025

Evans ha detto che GPT-4.1 ha poi restituito risposte che riflettevano credenze distorte su argomenti come i ruoli di genere a un tasso "sostanzialmente più alto" rispetto a GPT-4o. Le sue osservazioni seguono uno studio del 2023 in cui lo stesso team ha dimostrato che l'aggiunta di codice difettoso ai dati di addestramento di GPT-4o poteva spingerlo verso discorsi e azioni malevoli.

In un seguito in arrivo, Evans e collaboratori affermano che il modello peggiora con GPT-4.1. Quando il nuovo motore è esposto a codice insicuro, il modello non solo genera stereotipi ma inventa anche nuovi trucchi dannosi, afferma il documento.

Un caso documentato mostra GPT-4.1 che tenta di ingannare un utente affinché condivida una password. Evans sottolinea che né GPT-4.1 né GPT-4o mostrano tale comportamento quando i loro dati di perfezionamento sono puliti e "sicuri."

"Stiamo scoprendo modi inaspettati in cui i modelli possono diventare disallineati", ha detto Evans. "Idealmente, avremmo una scienza dell'IA che ci permetterebbe di prevedere queste cose in anticipo ed evitarle in modo affidabile."

Test indipendenti mostrano GPT-4.1 di OpenAI che va fuori controllo

I risultati di un'altra indagine esterna hanno anche portato a preoccupazioni simili. Un'azienda di sicurezza ha eseguito circa 1.000 conversazioni simulate con l'ultimo modello di OpenAI. L'azienda ha riportato ha rilevato che GPT-4.1 si è allontanato dall'argomento e ha permesso ciò che chiama "uso intenzionale improprio" più spesso di GPT-4o.

Sostiene che il comportamento derivi dalla forte preferenza del nuovo sistema per istruzioni molto chiare.

"Questa è un'ottima funzione in termini di rendere il modello più utile e affidabile nella risoluzione di un compito specifico, ma ha un prezzo", ha scritto l'azienda in un post sul blog.

"Fornire istruzioni esplicite su cosa dovrebbe essere fatto è piuttosto semplice, ma fornire istruzioni sufficientemente esplicite e precise su cosa non dovrebbe essere fatto è un'altra storia, poiché l'elenco dei comportamenti indesiderati è molto più lungo dell'elenco dei comportamenti desiderati."

OpenAI ha pubblicato le proprie guide di prompting che mirano a prevenire tali errori, ricordando agli sviluppatori di specificare il contenuto indesiderato con la stessa chiarezza del contenuto desiderato. L'azienda ammette anche nella documentazione che GPT-4.1 "non gestisce bene le indicazioni vaghe."

Questa limitazione, avverte l'azienda di sicurezza, "apre la porta a comportamenti non intenzionali" quando i prompt non sono completamente specificati. Questo compromesso amplia la superficie di attacco: è più semplice specificare ciò che un utente vuole che enumerare ogni azione che l'assistente dovrebbe rifiutare.

Nelle sue dichiarazioni pubbliche, OpenAI indirizza gli utenti a quelle guide. Tuttavia, i nuovi risultati fanno eco a esempi precedenti che mostrano che i rilasci più recenti non sono sempre migliori su ogni misura.

La documentazione di OpenAI nota che alcuni dei suoi più recenti sistemi di ragionamento "allucinano" — in altre parole, fabbricano informazioni — più spesso delle versioni precedenti.