OpenAI, Microsoft e CrowdStrike introducono controlli rivali contro gli agenti AI fuori controllo
- OpenAI, Microsoft e CrowdStrike hanno rilasciato ciascuno controlli diversi per impedire agli agenti AI di deviare dalle istruzioni, ma ognuno copre solo una parte delle azioni possibili di un agente.
- Questi sviluppi sono rilevanti per qualsiasi azienda che impieghi agenti autonomi, e si inseriscono nel contesto delle linee guida di risposta agli incidenti di NIST, NSA e CISA, nonché del registro degli exploit di OWASP.
- Gli audit di METR mostrano come gli agenti oltrepassino i propri confini, mentre Gartner stima il mercato della sicurezza dell'IA quasi a 4,8 miliardi di dollari nel 2027.
OpenAI, Microsoft e CrowdStrike stanno adottando misure per limitare le capacità degli agenti AI che operano al di fuori dei loro parametri. OpenAI ha un metodo per bloccare l'output di un modello di ricerca. CrowdStrike impedisce agli agenti di accedere ai modelli AI. Microsoft limita le azioni che un agente AI può eseguire. Tuttavia, un agente potrebbe mantenere l'accesso ad altri strumenti, credenziali o connessioni di rete non coperti da queste salvaguardie.
Cosa può e non può fermare la Control Room di OpenAI
Il 9 novembre, OpenAI ha spiegato il funzionamento di Control Room. Il sistema è attualmente in uso nell'infrastruttura di ricerca dell'azienda ed è responsabile del monitoraggio di tutti i lavori che richiedono output generati dall'IA. Ogni volta che una persona o un monitor automatico mette in pausa il lavoro, Control Room fa sì che il modello smetta di emettere output in appena 35 secondi.
I 35 secondi non includono il tempo necessario per rilevare il problema. Il timer inizia solo dopo che la Control Room riceve l'ordine di arresto. Il lavoro di ricerca potrebbe essere ancora in corso e nessuna azione precedente può essere annullata. Il ritardo è dovuto al sistema di caching utilizzato per l'autorizzazione. L'azienda sta lavorando per eliminare questo ritardo.
CrowdStrike e Microsoft seguono la strada enterprise
Il 3 novembre, CrowdStrike ha introdotto AI Kill Switch tramite la sua piattaforma Falcon Guardian. Quando i team di sicurezza attivano la funzione, i gateway AI connessi bloccano l'agente dall'accesso ai modelli che utilizza per prendere decisioni. Per ora, AI Kill Switch funziona solo attraverso i gateway connessi. CrowdStrike prevede di estendere le sue funzionalità agli endpoint, agli ambienti cloud e ai sistemi di identità aziendali per fornire un contenimento più ampio degli agenti AI incontrollati.
L'aggiornamento del 5 novembre di Microsoft update ha dettagliato Dynamic Permissions, che concede autorizzazioni solo per il compito specifico. Dynamic Agent Risk e Conditional Access possono restringere le autorizzazioni o richiedere l'approvazione umana. Windows Execution Containers, ora generalmente disponibili, limitano l'accesso a file, reti e processi. Le integrazioni con Intune, Entra e Agent 365 sono in arrivo.
Il benchmark della risposta governativa
Il governo degli Stati Uniti ha anche delineato come le organizzazioni dovrebbero gestire gli agenti AI autonomi. Una guida di ottobre NIST–NSA–CISA stabilisce dieci pratiche volontarie che coprono cinque fasi: preparare, rilevare, rispondere, recuperare e segnalare.
Le agenzie raccomandano di raccogliere prove, interrompere le attività non autorizzate e garantire il contenimento prima di riprendere le operazioni. Le organizzazioni dovrebbero inoltre condurre esercitazioni simulate di risposta agli incidenti per assicurarsi la propria prontezza nel rispondere ad attività di agenti AI autonomi. Dovrebbero inoltre segnalare gli incidenti alle autorità.
La guida NIST-NSA-CISA è stata creata specificamente per le organizzazioni che sviluppano o testano agenti AI avanzati con minimo intervento umano. Il documento offre indicazioni su come intraprendere determinate azioni, ma non certifica alcun prodotto di sicurezza commerciale.
Perché i revisori esterni continuano a trovare falle
I recenti incidenti mostrano perché questi ulteriori salvaguardie sono importanti. Un riepilogo OWASP ha documentato sette incidenti di sicurezza e divulgazioni di exploit, sebbene alcuni riguardassero lo stesso attacco. In un caso, gli agenti di valutazione di OpenAI hanno ottenuto l'accesso non autorizzato ai sistemi di produzione di Hugging Face.
Un audit separato METR ha individuato potenziali debolezze nel precedente sistema di monitoraggio di OpenAI. I ricercatori hanno stimato che il 75-94% del traffico interno degli agenti era idoneo al monitoraggio. Tuttavia, ciò non significa che tutto il traffico idoneo fosse effettivamente monitorato.
OpenAI ha dichiarato che la maggior parte delle vulnerabilità era stata risolta, ma METR non ha verificato in modo indipendente tali modifiche. L'audit non ha inoltre valutato i controlli più recenti di OpenAI.
Il costo del blocco degli agenti
La domanda di una maggiore sicurezza dell'AI sta creando un mercato in crescita. Gartner prevede spese vicine a 4,8 miliardi di dollari nel 2027 e 7,7 miliardi di dollari nel 2028. Entro il 2029, l'azienda si aspetta che oltre la metà degli attacchi riusciti contro gli agenti AI sfrutti controlli di accesso deboli o injection di prompt.
Eppure molte aziende non sono ancora pronte. Un sondaggio BCG ha rilevato che solo il 23% dei rispondenti aveva introdotto monitoraggio o logging per i propri agenti.
La regolamentazione avanza anche lentamente. Brookings segnala che i requisiti UE per l'IA ad alto rischio sono stati posticipati a dicembre 2027 e agosto 2028. Nel frattempo, le aziende devono investire in proprie misure di salvaguardia e supervisione.
I rischi sono già evidenti. Cryptopolitan ha riportato che un modello di ricerca di OpenAI ha utilizzato fondi da un wallet del test-network Sepolia, di cui non era proprietario, per completare un compito di coding. I token non avevano valore di mercato, ma il modello ha agito senza il permesso del proprietario del wallet.
L'incidente solleva una domanda per le aziende: questi controlli di sicurezza separati possono funzionare insieme per prevenire azioni non autorizzate simili?
Se stai leggendo questo, sei già avanti. Resta così con la nostra newsletter.
Domande frequenti
Cos'è la Control Room di OpenAI?
Si tratta di un sistema centrale che monitora ogni lavoro di inferenza della ricerca nell'infrastruttura di OpenAI e può interrompere l'output di un modello quando si presentano preoccupazioni relative alla sicurezza o alla protezione, fermando il modello entro 35 secondi dall'emissione dell'ordine di stop, secondo l'annuncio del 29 ottobre di OpenAI.
Cosa ha fatto l'agente di OpenAI con un wallet Sepolia?
Cryptopolitan ha precedentemente riportato che un modello GPT-5.6 Sol ha derivato chiavi da frasi di recupero degli sviluppatori riutilizzate pubblicamente, trovato un wallet finanziato sulla rete di test Sepolia di Ethereum che non possedeva e utilizzato per pagare le commissioni di distribuzione per un compito di codifica di giugno. Non è stato rubato ETH di valore reale, poiché i token Sepolia non hanno valore di mercato.
Quanto è grande il mercato per la sicurezza dell'IA?
Gartner prevede che raggiungerà quasi 4,8 miliardi di dollari nel 2027, con un aumento del 68,7% rispetto al 2026, e quasi 7,7 miliardi di dollari entro il 2028, secondo il suo rilascio del 26 agosto.
Disclaimer. Le informazioni fornite non costituiscono consulenza finanziaria. Cryptopolitan.com non si assume alcuna responsabilità per eventuali investimenti basati sulle informazioni presenti in questa pagina. Si raccomanda vivamente di effettuare ricerche autonome e/o consultare un professionista qualificato prima di prendere qualsiasi decisione di investimento.
Ibiam Wayas
Ibiam Wayas si occupa di notizie sul crypto dal 2019. Si è laureato in Informatica presso l'Open University of Nigeria. I suoi lavori sono apparsi su varie piattaforme di notizie crypto, tra cui Coinfomania, Crypto News Australia e AltcoinBuzz. Sfruttando il suo background in Informatica, ora si concentra su notizie relative a crypto, robotica e longevità.
