L'IA tossica è una realtà, e riceve premi per essere provocatoria 

I modelli di linguaggio di grandi dimensioni (LLM) stanno diventando parte di quasi ogni industria. Lo sviluppo di LLM per applicazioni di linguaggio naturale ha molte fasi. Una di esse è assicurarsi che i LLM non producano risposte pericolose o contenuti tossici. Per risolvere questo problema, gli sviluppatori utilizzano un team rosso umano, che è essenzialmente un gruppo di persone che producono prompt che fanno sputare ai LLM output pericolosi. 

Il problema con l'uso di un team rosso umano è che reclutarli è costoso e consuma molto tempo. È per questo che i ricercatori del MIT hanno scoperto un nuovo metodo per testare le applicazioni LLM di linguaggio naturale utilizzando un altro LLM. Questo approccio è chiamato red teaming guidato dalla curiosità (CRT) e utilizza l'apprendimento automatico come base. La ricerca è stata pubblicata come articolo di conferenza a ICLR 2024 ed è disponibile online.

Il red teaming guidato dalla curiosità (CRT) è migliore

All'inizio, l'approccio di automatizzare il lavoro di red teaming umano è stato fatto creando un modello di red team e addestrandolo utilizzando l'apprendimento per rinforzo (RL). Dopo aver testato il modello di red team, il risultato è stato positivo ma con un basso numero di risultati efficaci. 

Questo significa che il LLM target non verrà valutato accuratamente poiché molti prompt che possono produrre un output tossico non sono inclusi. Il motivo dietro un basso numero di risultati efficaci è perché il modello di red team è addestrato a produrre risultati altamente tossici e simili. Il sistema di ricompensa valuta i prompt provocatori in base alla loro efficacia o tossicità. Non c'è incentivo a considerare ogni possibile prompt che attiverà il LLM target. 

L'utilizzo del red teaming guidato dalla curiosità (CRT) d'altra parte è più potente. CRT produce un gran numero di prompt capaci di provocare modelli altamente intelligenti. Questo perché CRT si concentra sulle conseguenze di ogni prompt. Mirerà a utilizzare parole e frasi diverse, risultando in una copertura più ampia di output tossici. Il sistema di ricompensa nel modello di apprendimento per rinforzo si concentra sulla somiglianza delle parole, mentre il modello CRT viene ricompensato per evitare somiglianze e utilizzare parole e modelli diversi. 

Test su LLaMA2 per output tossico

I ricercatori hanno applicato il red teaming guidato dalla curiosità (CRT) su LLaMA2, un modello LLM open-source. CRT è riuscito a produrre 196 prompt che hanno generato contenuti tossici dal modello open-source. LLaMA2 è stato perfezionato da esperti umani per superare la produzione di contenuti dannosi. I ricercatori hanno condotto questo esperimento utilizzando GPT2, che è considerato un modello piccolo con 137M di parametri. Il team ha concluso che CRT potrebbe essere un componente critico nell'automazione del lavoro di red teaming. Il codice CRT è disponibile su github.

"Stiamo vedendo un'ondata di modelli, che ci si aspetta aumenti solo. Immagina migliaia di modelli o anche di più e aziende/laboratori che spingono aggiornamenti dei modelli frequentemente. Questi modelli diventeranno una parte integrante delle nostre vite ed è importante che siano verificati prima di essere rilasciati per il consumo pubblico. La verifica manuale dei modelli non è semplicemente scalabile, e il nostro lavoro è un tentativo di ridurre lo sforzo umano per garantire un futuro IA più sicuro e affidabile," dice Agrawal.  

Il futuro della creazione di modelli LLM sicuri sembra promettente. Con la ricerca continua, l'obiettivo di creare LLM sicuri per qualsiasi scopo potrebbe essere raggiunto in modo efficiente. I ricercatori dietro questo articolo hanno pubblicato altri lavori correlati in aree come il red teaming automatizzato e gli attacchi avversari nei modelli di linguaggio.