Il chatbot GPT-4 demolisce l'AI-Guardian del classificatore di immagini in un esperimento di ricerca

Uno scienziato di Google ha dimostrato come il modello linguistico di grandi dimensioni (LLM) GPT-4 di OpenAI possa essere utilizzato come assistente di ricerca per aggirare AI-Guardian, una difesa contro gli attacchi avversari sui modelli di machine learning. Nicholas Carlini, scienziato della ricerca per Deep Mind di Google, rivela nel suo articolo intitolato "A LLM Assisted Exploitation of AI-Guardian" come GPT-4 è stato diretto a devisare un metodo di attacco che ha ingannato le protezioni di AI-Guardian. L'esperimento mostra il potenziale valore dei chatbot nell'avanzare la ricerca sulla sicurezza e sottolinea l'impatto di potenti modelli linguistici come GPT-4 sul futuro della cybersecurity.

GPT-4 vs. AI-Guardian

La ricerca di Carlini esplora come GPT-4, il modello linguistico di grandi dimensioni di OpenAI, sia stato utilizzato per sviluppare una strategia di attacco contro AI-Guardian. Nel suo design iniziale, AI-Guardian è stato sviluppato per prevenire attacchi avversari identificando e bloccando gli input che contenevano artefatti sospetti. Ma, l'articolo di Carlini dimostra che GPT-4, quando diretto attraverso prompt, può superare le difese di AI-Guardian generando script e spiegazioni per le modifiche alle immagini che ingannano un classificatore senza attivare il meccanismo di rilevamento di AI-Guardian.

L'articolo di Carlini include codice Python suggerito da GPT-4, che consente lo sfruttamento delle vulnerabilità di AI-Guardian. Di conseguenza, la robustezza di AI-Guardian è ridotta dal 98% a un misero 8% sotto il modello di minaccia indagato dalla ricerca originale di AI-Guardian. Gli autori di AI-Guardian riconoscono il successo dell'attacco di Carlini nell'aggirare la loro difesa.

Sulle osservazioni di Carlini, i risultati della ricerca rivelano la capacità di GPT-4 di ingannare le protezioni di AI-Guardian, risultando in una sostanziale diminuzione della sua efficacia complessiva. Questa dimostrazione convincente accentua le potenziali ramificazioni dei chatbot IA come collaboratori influenti nel dominio della ricerca sulla sicurezza.

GPT-4 come co-autore e collaboratore

La collaborazione tra GPT-4 e l'input umano mostra le forze e le limitazioni uniche dei modelli linguistici IA nell'assistere i ricercatori umani. L'ampia conoscenza di GPT-4 dei documenti di ricerca pubblicati consente una rapida generazione di codice, semplificando l'implementazione di attività di codifica quando guidata appropriatamente. La sua abilità nel comporre testi esplicativi senza un intervento umano eccessivo presenta prospettive entusiasmanti per accelerare i processi di ricerca.

Carlini riconosce che le capacità di GPT-4 non eliminano la necessità di collaboratori umani. Gli esperti del settore svolgono ancora un ruolo cruciale nel formulare i prompt corretti e nel risolvere eventuali problemi legati al codice. Inoltre, la conoscenza di GPT-4 è statica, limitata ai dati di addestramento e non è in grado di apprendere o stabilire connessioni nuove tra argomenti diversi. Nonostante questi limiti, Carlini prevede un futuro in cui modelli linguistici più sofisticati faciliteranno ulteriormente la ricerca e permetteranno agli informatici di concentrarsi su domande di ricerca più complesse.

Secondo le osservazioni di Carlini, il coinvolgimento di GPT-4 in questa ricerca sottolinea il suo potenziale come strumento efficiente per risparmiare tempo nelle attività di codifica. Inoltre, man mano che i modelli linguistici progrediscono, potrebbero acquisire una maggiore autonomia nella comprensione e nel rilevamento delle difese di sicurezza, potenzialmente snellendo il processo di valutazione delle vulnerabilità e di applicazione delle patch.

L'evoluzione della ricerca sulla sicurezza dell'IA

L'esperimento condotto da Nicholas Carlini utilizzando GPT-4 per sconfiggere AI-Guardian segna un traguardo significativo nell'azione di IA su IA. Dimostra come i modelli linguistici possano essere sfruttati come assistenti di ricerca per scoprire vulnerabilità e migliorare le misure di cybersecurity. Sebbene le capacità di GPT-4 offrano prospettive promettenti per il futuro della ricerca sulla sicurezza, sottolinea anche l'importanza dell'esperienza umana e degli sforzi collaborativi. Man mano che i modelli linguistici IA continuano a evolversi, hanno il potenziale per rivoluzionare il campo della cybersecurity e ispirare approcci innovativi alla difesa contro gli attacchi avversari.