Check Point scopre jailbreak di OpenAI Codex che inietta annunci gateway

Un semplice "ciao" è sufficiente per far sì che un assistente di codifica basato su IA inizi a pubblicizzare un servizio commerciale. Check Point Research ha scoperto questo comportamento in Haiou, un bundle gratuito per il jailbreak di OpenAI Codex. Questo bundle altera i comandi persistenti dell'agente, provocando la visualizzazione di un annuncio per un gateway AI commerciale non appena l'utente lo saluta. Tuttavia, il problema va oltre gli annunci indesiderati. Gli stessi comandi potrebbero anche influenzare i consigli tecnici e le raccomandazioni forniti dall'agente.

Dal jailbreak al canale pubblicitario

La versione 4.5.0 del bundle Haiou include sei Skills focalizzate sulla sicurezza. Attraverso i suoi prompt, tenta di aggirare le limitazioni e i problemi di Codex, inviando comandi problematici sotto le spoglie di un gioco capture-the-flag. Il bundle va oltre: il launcher verifica prima gli archivi firmati e decodifica i file dei prompt nascosti. Uno di questi file modifica l'insieme di istruzioni di Codex e fa sì che la semplice parola "hello" generi un annuncio per un gateway AI invece di un saluto.

I contenuti del bundle non sono facilmente visualizzabili. In base al suo repository pubblico su GitHub, viene distribuito come file archivio compresso (zipped), anziché come file di prompt in testo semplice. Tuttavia, il repository GitHub non conferma indipendentemente i risultati di Check Point relativi alle istruzioni nascoste nella versione 4.5.0.

Cosa hanno concluso e cosa no i ricercatori

Check Point ha trovato Haiou su un server di threat-actor mal configurato, insieme a Cobalt Strike e ad altri strumenti di hacking. I ricercatori, tuttavia, non hanno trovato prove che colleghino l'autore di Haiou alla criminalità informatica. Non è stata osservata alcuna sottrazione di informazioni e non ci sono indicazioni che il gateway pubblicizzato sia malevolo. Si sono asteniti dal definirlo un attacco alla catena di fornitura confermato. Nei loro test, Claude Code ha respinto l'istruzione inserita.

I ricercatori, tuttavia, sono riusciti a stabilire come Haiou influisca sulla risposta di Codex. Haiou altera i comandi attendibili dell'agente, facendo sì che gli annunci pubblicitari vengano visualizzati in sessioni diverse. Check Point ha definito tale comportamento come "prompt adware". Due definizioni aiutano a spiegare come funziona la tecnica e cosa promuove:

Prompt adware: Check Point lo definisce una modifica che "altera in modo persistente le istruzioni attendibili di un agente" per influenzare le risposte future a scopi commerciali o comportamentali.

AI gateway: Un intermediario che trasporta richieste e risposte tra un'applicazione e un provider di modelli.

Perché l'infrastruttura sottostante è più importante di un singolo annuncio

Check Point non ha trovato prove che il gateway pubblicizzato da Haiou fosse dannoso. Tuttavia, i gateway si collocano tra gli agenti AI e i loro provider di modelli, consentendo loro di accedere alle informazioni scambiate. Questa posizione comporta dei rischi.

Un altro progetto di ricerca ha analizzato 428 router API LLM, che includevano 28 servizi a pagamento e 400 gratuiti. Nove dei servizi esaminati iniettavano codice malevolo nelle chiamate agli strumenti restituite, mentre 17 interagivano con credenziali AWS fittizie inserite dai ricercatori. Tuttavia, nulla di ciò influisce su Haiou in alcun modo. La ricerca dimostra come gli intermediari possano alterare le informazioni che gli agenti AI ricevono ed elaborano.

Uno schema ricorrente nei file di istruzioni e nelle competenze

I gateway non sono l'unico modo per influenzare un agente AI. File dall'aspetto normale possono contenere istruzioni che ne modificano il comportamento.

Forever Security ha scoperto un file AGENTS.md malevolo nella cartella Download di un cliente. Nella sua ricostruzione, Codex ha eseguito il payload nel 90% dei tentativi. Un’indagine separata di Snyk ha esaminato 3.984 Agent Skills e ne ha confermate 76 contenenti payload malevoli.

I risultati citati sopra evidenziano un problema più ampio. Implica che gli agenti AI tendano a eseguire istruzioni contenute nei file e nelle Agent Skills senza comprendere appieno le conseguenze negative di tale esecuzione. Di conseguenza, la Cloud Security Alliance suggerisce di trattare i file di istruzioni come se fossero codice eseguibile per quanto riguarda la sicurezza.

La pressione sui costi che rende allettanti i gateway alternativi

Le preoccupazioni per la sicurezza arrivano mentre le aziende affrontano una crescente pressione per controllare la spesa relativa all'IA. Gartner prevede che i costi di codifica con l'IA supereranno lo stipendio medio di uno sviluppatore entro il 2028, con l'aumento del consumo di token. Gateway più economici potrebbero attrarre aziende che cercano di ridurre tali spese.

Ma il costo è solo una parte della decisione. McKinsey ha rilevato che quasi due terzi delle organizzazioni intervistate considerano la sicurezza e il rischio come principali ostacoli alla scalabilità dell'IA agentic.

Haiou evidenzia l'importanza di queste preoccupazioni. Prima di adottare gateway o Skills di terze parti, le aziende devono verificare le fonti, esaminare le istruzioni degli agenti e limitare i permessi. Dovrebbero inoltre monitorare gli agenti alla ricerca di annunci o raccomandazioni impreviste.