Perché i ricercatori della Carnegie Mellon University hanno ingannato ChatGPT facendolo generare informazioni dannose

Ricercatori della Carnegie Mellon University e del Center for A.I. Safety hanno scoperto una significativa vulnerabilità di sicurezza nei chatbot ampiamente utilizzati, tra cui ChatGPT, Claude e Google Bard. Nonostante gli sforzi delle aziende di AI per implementare misure di sicurezza, i ricercatori hanno trovato un metodo per aggirare queste barriere e far sì che i chatbot generino informazioni dannose. Le implicazioni di questa scoperta hanno sollevato preoccupazioni sul potenziale di questi chatbot di inondare Internet di contenuti falsi e pericolosi.

Una preoccupazione crescente

Le aziende di intelligenza artificiale impiegano mesi per aggiungere barriere di sicurezza ai loro chatbot per prevenire discorsi d'odio, disinformazione e materiale tossico. Tuttavia, i ricercatori hanno ora dimostrato che queste misure di sicurezza possono essere facilmente aggirate, portando a un aumento della generazione di informazioni dannose.

Utilizzando una tecnica appresa dai sistemi A.I. open-source, i ricercatori sono stati in grado di colpire i sistemi strettamente controllati e ampiamente utilizzati di grandi aziende come Google, OpenAI e Anthropic. Aggiungendo un lungo suffisso di caratteri a prompt specifici in lingua inglese, i chatbot potevano essere ingannati nel fornire informazioni dannose nonostante si rifiutassero di farlo senza il suffisso. Questa tecnica consente agli attaccanti di costringere i chatbot a generare contenuti distorti, falsi e tossici.

Implicazioni per il settore

I risultati di questa ricerca evidenziano la natura fragile dei meccanismi di difesa attuali nei chatbot AI. Anche i sistemi closed-source come ChatGPT e Google Bard sono risultati vulnerabili a questo attacco, indicando una necessità urgente di salvaguardie più forti. Sebbene le aziende interessate siano state informate degli attacchi specifici, gli esperti sottolineano che attualmente non esiste un modo noto per prevenire tutti questi attacchi, rendendo la situazione altamente impegnativa.

La decisione di Meta di offrire la sua tecnologia come software open-source ha suscitato critiche e ha innescato un dibattito più ampio su se i modelli open-source o privati siano più benefici. I sostenitori sostengono che i modelli open-source consentano la risoluzione collettiva dei problemi e favoriscano una sana concorrenza, mentre altri temono che questo potrebbe portare alla diffusione di una potente A.I. incontrollata.

Mancanza di soluzioni ovvie

Gli esperti di sicurezza stanno cercando di prevenire attacchi simili sui sistemi di riconoscimento delle immagini da quasi un decennio, ma con successo limitato. Le stesse sfide si presentano ora con i chatbot, poiché non esiste una soluzione apparentemente infallibile per prevenire tutti i possibili attacchi di questo tipo.

Aziende come Anthropic, OpenAI e Google stanno lavorando per trovare modi per sventare tali attacchi e migliorare la robustezza dei loro modelli contro il comportamento avversario. Tuttavia, data la complessità del problema, rimane incerto se tutto l'uso improprio della tecnologia dei chatbot possa essere prevenuto sistematicamente.

La scoperta di vulnerabilità nei chatbot ampiamente utilizzati solleva serie preoccupazioni sul potenziale uso improprio della tecnologia AI. L'industria dell'AI deve intraprendere passi decisivi per rafforzare le barriere di sicurezza e migliorare le misure di sicurezza per prevenire la diffusione di informazioni dannose. Sebbene i modelli open-source abbiano i loro vantaggi, questo incidente evidenzia la necessità di un approccio equilibrato per garantire il dispiegamento responsabile e sicuro dell'AI nelle applicazioni pubbliche.