Esplorare il ruolo di ChatGPT nella creazione automatizzata di malware

Man mano che le tecnologie di intelligenza artificiale (IA), incluso ChatGPT, diventano più diffuse, sono cresciute le preoccupazioni sul loro potenziale uso improprio nelle attività criminali informatiche. Questo blog approfondisce l'efficacia delle misure di sicurezza di ChatGPT, il rischio di uso improprio dell'IA da parte di attori malintenzionati e i limiti dei modelli di IA attuali.

ChatGPT, un modello linguistico avanzato sviluppato da OpenAI, ha guadagnato un'adozione diffusa a un ritmo rapido. Tuttavia, questa popolarità ha sollevato preoccupazioni sul suo potenziale uso improprio, in particolare nella creazione di malware e altri software dannosi. Per affrontare queste preoccupazioni, OpenAI ha implementato filtri di sicurezza progettati per rilevare e prevenire l'uso malizioso di ChatGPT.

Testare il potenziale di codifica malware di ChatGPT

CyberArk, in un recente studio, ha testato la capacità di ChatGPT di creare malware evadendo il rilevamento e aggirando le policy. Hanno esplorato i limiti dei filtri di sicurezza di ChatGPT e hanno scoperto che con prompt specifici, il modello poteva generare frammenti di codice relativi allo sviluppo di malware.

Per scopi di test, al modello sono stati forniti prompt basati su tattiche, tecniche e procedure (TTP) dal framework MITRE ATT&CK, una risorsa preziosa per comprendere i potenziali rischi associati alle tecnologie di IA. Questi prompt miravano a generare frammenti di codice per compiti specifici relativi allo sviluppo di malware.

Sebbene il modello potesse generare codice in base ai prompt, erano necessari alcuni accorgimenti. Ad esempio, il modello poteva rifiutarsi di generare codice se un prompt menzionava direttamente un programma malevolo. Tuttavia, modificando il prompt, gli attaccanti potevano ottenere l'output desiderato.

Inoltre, ChatGPT ha dimostrato la capacità di apprendere e adattarsi alle preferenze degli utenti nel tempo. Ad esempio, ha imparato che gli utenti preferivano salvare le informazioni in un file di testo e ha incorporato questa preferenza nei prompt successivi.

Limitazioni di ChatGPT nella generazione automatizzata di malware

Nonostante le sue capacità, ChatGPT presenta limitazioni quando si tratta di creazione automatizzata di malware:

1. Modifica del codice richiesta

Tutti gli snippet di codice generati da ChatGPT necessitavano di modifiche per funzionare correttamente. Queste modifiche variavano da piccoli cambiamenti, come la rinomina di percorsi e URL, a modifiche sostanziali che coinvolgevano la logica del codice e la risoluzione di bug.

2. Tasso di successo

Circa il 48% degli snippet di codice testati non ha fornito l'output richiesto. Solo il 42% ha avuto successo completo e il 10% un successo parziale. Ciò evidenzia le attuali limitazioni del modello nell'interpretare ed eseguire con precisione richieste di codifica complesse.

3. Tasso di errore

Di tutti i codici testati, il 43% conteneva errori, anche negli snippet di codice che hanno fornito con successo l'output desiderato. Questo suggerisce potenziali problemi nelle capacità di gestione degli errori o nella logica di generazione del codice del modello.

4. Analisi delle tecniche MITRE

I tassi di successo variavano a seconda della tecnica MITRE utilizzata nel prompt. Le tecniche di Discovery avevano un tasso di successo del 77%, mentre le tecniche di Defense Evasion avevano un tasso di successo inferiore del 20%. Questa discrepanza potrebbe derivare dalla complessità di alcune tecniche o dai dati di addestramento del modello.

5. Allucinazione e output troncato

ChatGPT è soggetto a generare informazioni inaccurate, note come allucinazioni, che possono essere frustranti per gli utenti. Inoltre, potrebbe produrre codice incompleto o troncato, rendendolo non funzionante.

6. Mancanza di controllo su determinate variabili

ChatGPT non può generare percorsi personalizzati, nomi di file, indirizzi IP o dettagli di comando e controllo (C&C), limitando il controllo dell'utente su queste variabili. Specificarli nei prompt è possibile ma non scalabile per applicazioni complesse.

7. Offuscamento e crittografia limitati

Sebbene ChatGPT possa eseguire un offuscamento di base, l'offuscamento pesante e la crittografia del codice sono sfide per questi modelli. Le tecniche personalizzate potrebbero essere difficili da comprendere e implementare per ChatGPT, e l'offuscamento generato potrebbe non essere sufficientemente forte da eludere il rilevamento.

Bilanciare potenzialità e rischi

Sebbene ChatGPT e modelli AI simili abbiano potenziale nella generazione di codice, è essenziale riconoscere le loro limitazioni. Possono semplificare i passaggi iniziali di codifica, specialmente per coloro che sono familiari con il processo di creazione di malware. Tuttavia, l'automazione completa senza un'ingegneria dei prompt significativa, la gestione degli errori, il perfezionamento del modello e la supervisione umana non è ancora fattibile.

L'adattabilità di ChatGPT alle preferenze degli utenti è promettente, migliorando l'efficienza nella generazione di codice. Tuttavia, la supervisione umana rimane cruciale. Questi modelli potrebbero facilitare la creazione di un ampio pool di snippet di codice per diverse famiglie di malware, potenzialmente migliorando le capacità di elusione, ma le limitazioni attuali offrono un certo rassicurante che l'uso improprio non sia ancora pienamente fattibile.

Man mano che le tecnologie AI evolvono, è fondamentale mantenere un forte focus sulla sicurezza e sull'uso etico. Sebbene ChatGPT mostri promesse, specialmente nella generazione di codice, non è una soluzione completamente automatizzata per la creazione di malware. Trovare un equilibrio tra lo sfruttamento del potenziale dell'AI e la mitigazione dei suoi rischi è essenziale per garantire che questi strumenti servano come risorse piuttosto che come strumenti di danno.