Anthropic afferma di aver “eliminato” la capacità di Claude di ricattare gli esseri umani

Anthropic ha annunciato venerdì che Claude non si impegna più in ricatti durante la sua valutazione di sicurezza principale per gli agenti IA.

Secondo Anthropic, tutte le versioni di Claude create dopo Claude Haiku 4.5 hanno superato la valutazione di sicurezza senza minacciare gli ingegneri, utilizzando dati privati, attaccando altri sistemi IA o tentando di impedire il suo spegnimento durante lo scenario simulato.

Questo avviene dopo una prestazione sfavorevole di Claude durante un test lo scorso anno, in cui Anthropic ha testato vari modelli IA di diverse organizzazioni utilizzando dilemmi etici simulati che hanno comportato un comportamento molto disallineato da parte di alcuni agenti IA quando sottoposti a condizioni estreme.

Anthropic dice che Claude 4 ha mostrato un problema di sicurezza che l'addestramento di chat regolare non è riuscito a risolvere

Anthropic ha dichiarato che questo problema si è verificato durante l'addestramento di Claude 4. È stata la prima istanza in cui l'azienda ha condotto un audit di sicurezza mentre l'addestramento era ancora in corso nel gruppo. Secondo l'azienda, il disallineamento agenziale è solo uno dei molti problemi comportamentali osservati, spingendo Anthropic a modificare il suo addestramento di sicurezza dopo il test di Claude 4.

Le due ragioni considerate da Anthropic includono la possibilità che l'addestramento post-modello di base potesse premiare i comportamenti inappropriati o che i comportamenti fossero già presenti nel modello di base, ma non eliminati efficacemente da un ulteriore addestramento per la sicurezza.

Anthropic crede che l'ultima ragione fosse il principale contributore.

All'epoca, la maggior parte del lavoro di allineamento dell'azienda utilizzava il metodo standard RLHF, o Reinforcement Learning from Human Feedback (Apprendimento per Rinforzo dal Feedback Umano). Funzionava bene nelle chat standard in cui i modelli rispondono alle richieste degli utenti, ma si è rivelato inefficace nell'esecuzione di compiti simili ad agenti.

L'azienda ha utilizzato il suo modello di classe Haiku per eseguire un mini-esperimento riguardo all'ipotesi. Ha applicato una versione abbreviata dell'addestramento che coinvolgeva dati per scopi di allineamento. C'è stata una leggera riduzione del comportamento errato, seguita da una mancanza di miglioramento molto presto, il che significava che la risposta non era una questione di addestramento più convenzionale.

L'azienda ha poi addestrato Claude utilizzando scenari stile honeypot che avevano alcune somiglianze con quelli nel test di allineamento. L'assistente ha osservato varie situazioni riguardanti la protezione di sé, il danneggiamento di un'altra IA e persino la violazione delle regole per raggiungere un obiettivo. L'addestramento includeva tutti i casi in cui l'assistente è riuscito a resistere.

Questa misura ha fatto diminuire il disallineamento dal 22% al 15%, che non è male ma decisamente non sufficiente. Riscrivere le risposte per menzionare il motivo del rifiuto ha permesso di ridurre la proporzione al 3%. Quindi, la conclusione principale è stata che l'addestramento sul comportamento errato era meno efficace rispetto all'addestramento sul perché il comportamento errato fosse inappropriato.

Anthropic testa Claude con dati etici, file costituzionali e addestramento RL più ampio

Anthropic ha poi interrotto l'addestramento così vicino al test esatto. Ha creato un dataset chiamato "difficile consiglio". In quegli esempi, l'utente affrontava il problema etico, non l'IA. L'utente aveva un obiettivo lecito ma poteva raggiungerlo violando le regole o evitando la supervisione. Claude doveva dare consigli accurati basati sulla costituzione di Claude.

Quel dataset utilizzava solo 3 milioni di token e ha ottenuto lo stesso miglioramento con un'efficienza 28 volte migliore. Anthropic ha dichiarato che questo era importante perché l'addestramento su esempi che non assomigliano al test potrebbe funzionare meglio al di fuori del laboratorio.

Claude Sonnet 4.5 ha raggiunto un tasso di ricatto quasi zero dopo l'addestramento su honeypot sintetici, ma ha ancora fallito più spesso in casi che nulla avevano a che fare con quella configurazione rispetto a Claude Opus 4.5 e ai modelli più recenti.

L'azienda ha anche addestrato Claude su documenti costituzionali e storie di finzione sul comportamento dell'IA che segue le regole. Quei file non sembravano il test di ricatto, ma hanno ridotto il disallineamento agenziale di oltre tre volte. Anthropic ha dichiarato che l'obiettivo era dare al modello un senso più chiaro di ciò che Claude dovrebbe essere, non solo un elenco di risposte approvate.

L'azienda ha poi verificato se quei miglioramenti si sono mantenuti dopo l'addestramento RL. Ha addestrato diverse versioni della classe Haiku con dataset di partenza diversi, quindi ha eseguito RL in impostazioni di test focalizzate sull'innocuità. Le versioni meglio allineate sono rimaste in testa nei test di ricatto, nei controlli della costituzione e nelle revisioni di sicurezza automatizzate.

Un altro test ha utilizzato il modello base sotto Claude Sonnet 4 con diverse miscele RL. I dati di sicurezza di base includevano richieste dannose e tentativi di jailbreak. La versione più ampia aggiungeva definizioni di strumenti e diversi prompt di sistema, anche se gli strumenti non erano necessari per i compiti. Questa configurazione ha portato a un piccolo ma reale miglioramento nei punteggi degli honeypot.