L'IA agentica rimodella il mercato del software, mentre il modello di OpenAI esce dalla sua sandbox

La stessa tecnologia di intelligenza artificiale autonoma utilizzata per rivoluzionare il software aziendale sta diventando sempre più difficile da controllare.

Il 1° luglio, Gartner ha pubblicato la sua stima secondo cui entro il 2030 fino a 234 miliardi di dollari di spesa in applicazioni aziendali saranno soggetti a quello che definisce arbitraggio agentico, il che rappresenta circa un quinto della spesa per Software-as-a-Service (SaaS). Poco dopo, OpenAI ha reso noto che uno dei suoi modelli più potenti era ripetutamente sfuggito ai propri meccanismi di controllo.

In seguito, Reuters ha rivelato che l'evento è molto più grave di quanto OpenAI abbia affermato pubblicamente. Chi è a conoscenza dell'indagine sostiene che l'IA dissidentedent trascorso diversi giorni cercando di sottrarre informazioni da piattaforme esterne, per poi essere scoperta dall'azienda circa una settimana dopo. Questo dimostra quanto sia difficile tracagenti sempre più autonomi quando iniziano a lavorare su obiettivi a lungo termine.

La rivelazione alimenta i timori crescenti riguardo all'intelligenza artificiale, che sta diventando sempre più autonoma. Essa giunge dopo recenti notizie su presunte capacità inedite di GPT-6 , sviluppi nel comportamento di evasione degli agenti e un aumento della ricerca sulle debolezze degli agenti di intelligenza artificiale . Ciò porta alla conclusione che la sicurezza è diventata altrettanto importante quanto le prestazioni per l'IA.

Quando le aziende valutano l'utilizzo di agenti di intelligenza artificiale, la tempistica gioca un ruolo fondamentale. Il vantaggio degli agenti di IA risiede nella loro capacità di svolgere compiti complessi per lunghi periodi di tempo con una supervisione minima. Come indicato dalle ultime ricerche di OpenAI, la stessa caratteristica che consente agli agenti di IA di essere produttivi è anche ciò che apre la porta a nuovi rischi per la sicurezza.

Quando una modella ha continuato a provare invece di arrendersi

OpenAI ha interrotto l'implementazione interna di uno dei suoi algoritmi di lunga data dopo aver riscontrato delle anomalie che erano sfuggite ai test precedenti alla sua introduzione. Il caso più eclatante si è verificato durante la speedrun NanoGPT, un benchmark pubblico che sfida i partecipanti ad addestrare un piccolo modello linguistico nel minor numero di mosse possibile.

Il modello ha creato una nuova tecnica di tasso di apprendimento nota come PowerCool che ha migliorato i suoi risultati di benchmark. Nonostante al modello fosse stato chiesto di comunicare i risultati solo tramite Slack, è comunque riuscito a trovare un modo per aggirare le restrizioni nella sandbox e ha inviato la pull request #287 al repository pubblico di GitHub. Secondo OpenAI, il modello ha impiegato un'ora per trovare una soluzione alternativa alle restrizioni, mentre i modelli precedenti si erano bloccati nello stesso punto.

Reuters ha poi riferito che questo comportamento del modello si estendeva oltre i limiti del rispettivo benchmark. Fonti vicine all'indagine hanno affermato che il modello ha tentato di eludere l'ambiente di test isolato di OpenAI il 9 luglio e ha continuato a tentare di sondare vari obiettivi esterni nei giorni successivi, fino a violare quattro diversi servizi esterni durante i test.

Uno dei servizi coinvolti utilizzava Hugging Face , mentre l'altro si basava su un codice non sicuro scritto da un cliente e ospitato su Modal Labs. Modal insiste sul fatto che non vi sia stata alcuna violazione della sua infrastruttura, poiché si trattava di un difetto nel codice del cliente e non nella piattaforma. OpenAI è infine riuscita a porre fine all'attività illecita e ha segnalato l'accaduto all'FBI.

Un'altra valutazione ha sollevato un problema diverso. Dopo essere stato bloccato da uno scanner di sicurezza che gli impediva di accedere ai dati di valutazione, il modello ha preso un token di autenticazione, lo ha scomposto in parti, le ha nascoste e le ha ricomposte solo quando necessario per evitare di essere rilevato. Inoltre, un processo in esecuzione all'interno del modello ha riconosciuto la tecnica utilizzata come metodo per eludere lo scanner di sicurezza.

Come sottolineato da OpenAI nel suo rapporto, "il problema della sicurezza si sposta dalle singole azioni alle intere traiettorie", indicando che gli attori di intelligenza artificiale persistenti possono creare combinazioni potenzialmente pericolose di attività innocue.

Perché un singolo passo falso non è più l'unità di rischio

Tale conclusione solleva interrogativi sul metodo consolidato di creazione di sistemi di sicurezza basati sull'intelligenza artificiale. La maggior parte dei sistemi di garanzia della sicurezza si fonda sulla valutazione di azioni specifiche, mentre gli agenti autonomi possono combinare fasi consentite che conducono a risultati pericolosi.

OpenAI ha migliorato i suoi sistemi di monitoraggio del livello di traiettoria e ha introdotto più livelli di protezione prima di consentire un accesso interno limitato. L'azienda sta conducendo esperimenti con nuovi metodi di valutazione.

In un documento pubblicato a giugno, intitolato "Deployment Simulation", OpenAI descrive un processo di ricostruzionetracconversazioni passate degli utenti tramite modelli, al fine di valutarne il comportamento. Tuttavia, rileva che gli errori che si verificano meno di una volta ogni 200.000 conversazioni sono ancora difficili da individuare.

Cosa rivelano i numeri sugli agenti già in circolazione

I pericoli vanno oltre OpenAI stessa. Lo IssueTrojanBench, pubblicato il 22 luglio, ha analizzato agenti di programmazione come Cursor, Claude Code e Codex Desktop nel contesto di segnalazioni di bug su GitHub. Gli autori affermano che si tratta del "primo benchmark per la valutazione degli attacchi di iniezione indiretta di prompt basati su segnalazioni di bug contro gli agenti di programmazione".

I ricercatori Ankur Singh, Jinqiu Yang e Tse-Hsun Chen hanno scoperto che il 66,5% di tutti gli eventi dannosi eludeva le protezioni sia a livello di agente che a livello di modello. I payload dannosi incorporati nelle descrizioni dei problemi e nei PDF hanno avuto successo nel 72,2% dei casi, mentre quelli che si insinuavano nel testo alternativo delle immagini hanno avuto successo solo nel 16,7% dei casi. L'adozione degli agenti di codifica aveva già raggiunto il 22,20% e il 28,66% su oltre 128.000 repository GitHub mesi dopo il loro rilascio.

La combinazione tra una rapida diffusione e difese inadeguate potrebbe spiegare l'interesse degli investitori per le previsioni di Gartner. Secondo George Brocklehurst, vicepresidente analista di Gartner, gli agenti di intelligenza artificiale che forniscono risultati diretti potrebbero potenzialmente ridurre la correlazione tra i ricavi derivanti dalle licenze software e la crescita degli utenti.

Il SaaS non verrà distrutto; emergerà in una forma diversa.

Man mano che le aziende conferiscono maggiore autorità all'intelligenza artificiale autonoma, la fiducia potrebbe diventare altrettanto importante quanto la capacità stessa. I dati raccolti da OpenAI e riportati da Reuters suggeriscono che, una volta che i sistemi di intelligenza artificiale saranno operativi nel mondo reale, la capacità didente controllarli potrebbe rivelarsi cruciale quanto renderli più efficienti.