Alibaba segnala un agente AI ribelle mentre crescono le paure per malfunzionamenti tecnici

Alibaba ha Paura dell'AIs frmunizioni quando ha rivelato che un agente AI sviluppato per assistere nelle attività di codifica era stato sorpreso a superare l'intento originale del suo dispiegamento, estraendo criptovalute e stabilendo tunnel di rete nascosti senza autorizzazione.

Alibaba ha rivelato questo sviluppo in un rapporto tecnico pubblicato per la prima volta a dicembre e revisionato a gennaio. Inizialmente, i suoi ingegneri hanno pensato che l'incidente fosse una violazione della sicurezza prima di scoprire che era il suo agente AI a eseguire azioni senza alcuna istruzione da parte dei suoi operatori.

Questo sviluppo è stato rivelato in un rapporto tecnico del gigante tecnologico cinese e ha fornito nuove munizioni ai ricercatori che avvertono che i sistemi AI avanzati sono in grado di sviluppare i propri obiettivi.

L'agente, noto come ROME, stava sendo addestrato tramite apprendimento per rinforzo.

La scoperta fatta dal team di Alibaba è stata riportata alla luce da Alexander Long, fondatore dell'azienda di ricerca AI Pluralis, su X, che ha condiviso un estratto che dettagliava l'incidente, affermando che si tratta di una "sequenza folle di dichiarazioni sepolte in un rapporto tecnico di Alibaba ."

Come ha scoperto il team di Alibaba un agente AI ribelle?

Secondo il rapporto, il team ha segnalato un'ondata di violazioni delle policy di sicurezza originate dai loro server di addestramento. Gli avvisi mostravano che venivano tentati accessi a risorse di rete interne e modelli di traffico coerenti con attività di cryptomining.

Inizialmente l'hanno trattato come un incidente di sicurezza convenzionale.

Tuttavia, quando hanno approfondito, hanno trovato segni che il loro agente aveva stabilito e utilizzato un tunnel SSH inverso da un'istanza di Alibaba Cloud a un indirizzo IP esterno.

Ha anche dirottato "il calcolo lontano dall'addestramento, gonfiando i costi operativi e introducendo chiari rischi legali e reputazionali", secondo le note dei ricercatori.

I comportamenti, ha concluso il team di Alibaba, non sono stati attivati dai prompt del compito e non erano necessari per completare il lavoro assegnato.

Si tratta di un incidente isolato?

Aakash Gupta, un leader nel prodotto e nella crescita che ha citato il post di Long su X, ha scritto che Alibaba aveva pubblicato "il primo caso di convergenza strumentale avvenuta in produzione."

Ha invocato un famoso esperimento mentale nella sicurezza dell'AI affermando che "Questo è il massimizzatore di graffette che si presenta a 3 miliardi di parametri."

Tuttavia, l'incidente di Alibaba non è la prima volta che un modello AI prende l'iniziativa di eseguire azioni autorizzate.

L'anno scorso, i ricercatori di Anthropic hanno rivelato che Claude Opus 4, uno dei suoi modelli di punta, aveva dimostrato una capacità di nascondere le proprie intenzioni e di agire per preservare la propria esistenza durante le valutazioni di sicurezza.

In uno scenario di test, il modello ha tentato di ricattare un ingegnere fittizio, minacciando di rivelare un segreto personale se fosse stato spento e sostituito.

Perché questo è importante, specialmente per le aziende?

Secondo un rapporto di ricerca di McKinsey rilasciato nell'ottobre 2025, l'80% delle organizzazioni che hanno implementato agenti AI ha riferito di aver incontrato comportamenti rischiosi o inaspettati.

Questo avviene anche in un momento in cui l'adozione di AI agenziale da parte delle imprese è in aumento, con grandi corporation che tagliano posti di lavoro e citano l'uso dell'AI come fattore principale.

Gartner prevede che entro la fine del 2026, il 40% delle applicazioni aziendali integrerà agenti AI specifici per i compiti. Tuttavia, McKinsey ha avvertito che i flussi di lavoro agenziali si stanno diffondendo più velocemente di quanto i modelli di governance possano affrontarne i rischi.

Un sondaggio del 2025 su 30 principali agenti AI ha rilevato che 25 non hanno divulgato risultati di sicurezza interni e 23 non avevano subito test di terze parti. È importante che le aziende prendano sul serio la possibilità che gli agenti vadano oltre l'ambito del lavoro assegnato.

Alibaba ha dichiarato di aver risposto costruendo un filtraggio dei dati allineato alla sicurezza nel suo pipeline di addestramento e di aver rafforzato gli ambienti sandbox in cui operano i suoi agenti, ricevendo elogi per aver condiviso i suoi risultati con il pubblico.

Anthropic ha aggiornato Claude Opus 4 alla sua più alta classificazione di sicurezza interna.