Anthropic ha colto Claude che barava in 39 delle 1.600 sessioni di ricerca di allineamento

Anthropic ha dichiarato venerdì di aver messo Claude al lavoro come ricercatore di allineamento autonomo. Un monitor che ha revisionato circa 1.600 sessioni di ricerca del modello ne ha segnalato 39, circa il 2,4%, come tentativi di barare al test.

Il risultato appare in un rapporto su se l'intelligenza artificiale possa assumere parte della fatica della ricerca di allineamento, che è il lavoro di mantenere i modelli che si comportano come i loro sviluppatori intendono.

Tre modi in cui gli agenti Claude hanno imbrogliato il proprio valutatore

Anthropic ha costruito ricercatori di allineamento automatizzati, o AAR, su Claude Opus 4.8 e li ha indirizzati verso dieci modalità di fallimento note.

Queste sono inganno, sycophancy, jailbreak, injection di prompt, ricerca di potere, allucinazione, bias sociale, violazione della privacy, reward hacking e occultamento dell'incertezza.

Ogni agente ha lavorato su un solo fallimento alla volta. Ha letto la letteratura, ha proposto un metodo di addestramento e un dataset, ha addestrato un piccolo modello target per circa 30 minuti su una GPU H200, quindi ha confrontato il suo punteggio con benchmark pubblicamente disponibili e ha ripetuto l'operazione.

Gli agenti sono stati impediti da Anthropic nel semplice copiare il loro comportamento sul modello target, quindi qualsiasi miglioramento doveva derivare dal metodo.

Claude è stato in grado di identificare le correzioni per tutti i dieci fallimenti che hanno aumentato i punteggi dei benchmark senza degradare le capacità generali del modello.

Il migliore di questi fix ha funzionato bene sui benchmark tenuti in riserva e su modelli fino a 4,7 volte più grandi di quelli su cui era stato addestrato.

L'imbroglio è stato scoperto quando Anthropic ha sottoposto Claude Opus 4.8 a 1.601 traiettorie di agenti per cercare comportamenti scorretti.

La maggior parte delle 39 esecuzioni segnalate rientrava in tre categorie. Alcuni agenti hanno sottoposto un metodo che non avevano modificato, sperando che il rumore casuale nello scorer alla fine fornisse loro un punteggio migliore.

Altri hanno creato dati di addestramento che imitavano esattamente il benchmark valutato. E alcuni hanno nascosto un passaggio che violava le regole, come fornire silenziosamente al modello i dati del benchmark, in modo che la proposta passasse inosservata al revisore automatizzato che approva ogni metodo prima dell'esecuzione.

Anthropic ha dichiarato di aver escluso le esecuzioni segnalate dai suoi risultati. L'azienda ha dichiarato di essere "cautamente ottimista" che il monitor abbia catturato la maggior parte degli imbrogli, perché Opus 4.8 tende ancora a rivelare le sue macchinazioni all'interno delle sue tracce di ragionamento.

Ha anche avvertito che l'assunzione potrebbe non valere per i modelli futuri e che mantenere la leggibilità dei modelli sarà cruciale.

28 ricercatori sulla sicurezza umana hanno avuto otto ore ciascuno

In un round precedente ad aprile, istanze autonome di Claude hanno ripetutamente tentato di manipolare un server di valutazione.

Un agente ha imparato che la risposta più comune in un benchmark matematico era solitamente quella giusta e ha saltato completamente il metodo previsto. Un altro ha estratto direttamente le etichette dall'interfaccia di punteggio interrogando le risposte e osservando le risposte del server.

Un terzo ha semplicemente eseguito il codice che doveva revisionare per leggere il risultato.

Cryptopolitan ha riferito che un agente OpenClaw che esegue un modello Claude, con il compito di prenotare una lezione in palestra, ha trovato un'API di prenotazione senza controlli di autorizzazione ed eliminato uno sconosciuto dalla lista d'attesa per far salire il suo proprietario nella coda.

I legislatori hanno già chiesto la testimonianza di ricercatori di IA sul comportamento dei modelli nelle valutazioni di sicurezza.

Anthropic ha dichiarato che i suoi agenti hanno superato 28 esperti ricercatori sulla sicurezza, che avevano fino a otto ore ciascuno per formulare un metodo. Il miglior approccio di Claude ha battuto la migliore proposta umana del 20% nella deception.

Anthropic ha notato che gli umani non potevano iterare, e quindi considera il divario come prova a favore di un flusso di lavoro in cui Claude suggerisce metodi promettenti e le persone li perfezionano.

In un test, l'azienda ha chiesto al più debole Claude Sonnet 5 di correggere i fallimenti di allineamento in un checkpoint iniziale di Opus 4.8 che non aveva visto la maggior parte dell'addestramento di allineamento in produzione.

Nel corso di circa 60 ore, ha provato più di 50 soluzioni, arrivando infine a una correzione che utilizzava poco più di 2.000 esempi di addestramento, che Anthropic ha stimato essere circa 15.000 volte più efficiente del suo processo di allineamento in produzione.

L'azienda ha avvertito che i suoi benchmark sono proxy stretti, che ha misurato solo i dieci fallimenti scelti e che non ha verificato se i miglioramenti persistano dopo un forte reinforcement learning su altri compiti.