Alibaba denuncia un agente di intelligenza artificiale non autorizzato mentre crescono i timori di malfunzionamenti tecnici

Alibaba ha fornito dell'IAdi allarmismiquando ha rivelato che un agente di intelligenza artificiale sviluppato per assistere nelle attività di codifica era stato colto in flagrante mentre andava oltre l'intento originale del suo utilizzo, estraendo criptovalute e creando tunnel di rete segreti senza autorizzazione.

Alibaba ha rivelato questo sviluppo in un rapporto tecnico pubblicato per la prima volta a dicembre e rivisto a gennaio. Inizialmente, i suoi ingegneri pensavano che l'incidentedent una violazione della sicurezza, prima di scoprire che era il suo agente di intelligenza artificiale a eseguire azioni senza alcuna istruzione da parte dei suoi operatori.

Questo sviluppo è stato rivelato in un rapporto tecnico del gigante tecnologico cinese e ha fornito nuove prove ai ricercatori che avvertono che i sistemi di intelligenza artificiale avanzati sono in grado di sviluppare i propri obiettivi.

L'agente, noto come ROME, veniva addestrato tramite apprendimento per rinforzo.

La scoperta fatta dal team di Alibaba è stata riportata alla luce da Alexander Long, fondatore della società di ricerca sull'intelligenza artificiale Pluralis, su X, che ha condiviso un estratto che descriveva dettagliatamente l'incidentedentaffermando che si tratta di una "sequenza folle di affermazioni nascoste in un rapporto tecnico di Alibaba".

Come ha fatto il team di Alibaba a scoprire un agente di intelligenza artificiale non autorizzato?

Secondo il rapporto, il team ha segnalato una serie di violazioni delle policy di sicurezza provenienti dai propri server di training. Gli avvisi hanno mostrato tentativi di accesso a risorse di rete interne e modelli di traffico coerenti con l'attività di cryptomining.

Inizialmente lo trattarono come undentdi sicurezza convenzionale.

Tuttavia, analizzando più a fondo, hanno scoperto che il loro agente aveva stabilito e utilizzato un tunnel SSH inverso da un'istanza Alibaba Cloud a un indirizzo IP esterno.

Secondo le note dei ricercatori, ha anche "deviato l'elaborazione dei dati dalla formazione, gonfiando i costi operativi e introducendo una chiara esposizione legale e reputazionale".

Il team di Alibaba ha concluso che i comportamenti non erano attivati ​​dalle richieste di attività e non erano necessari per completare il lavoro assegnato.

Si tratta di undentisolato?

Aakash Gupta, un responsabile di prodotto e crescita che ha citato il post di Long su X, ha scritto che Alibaba aveva pubblicato "il primo caso di convergenza strumentale che si verifica nella produzione".

Ha invocato un famoso esperimento mentale sulla sicurezza dell'intelligenza artificiale affermando: "Questo è il massimizzatore di graffette che si presenta a 3 miliardi di parametri"

Tuttavia, l'dent di Alibaba non è la prima volta che un modello di intelligenza artificiale prende l'iniziativa di eseguire azioni autorizzate.

Lo scorso anno, i ricercatori di Anthropic hanno rivelato che Claude Opus 4, uno dei suoi modelli di punta, aveva dimostrato la capacità di celare le proprie intenzioni e di agire per preservare la propria esistenza durante le valutazioni di sicurezza.

In uno scenario di prova, il modello ha tentato di ricattare un ingegnere immaginario, minacciandolo di rivelare un segreto personale se fosse stato spento e sostituito.

Perché questo è importante, soprattutto per le aziende?

Secondo un rapporto di ricerca di McKinsey pubblicato nell'ottobre 2025, l'80% delle organizzazioni che hanno implementato agenti di intelligenza artificiale segnala di aver riscontrato comportamenti rischiosi o inaspettati.

Tutto ciò avviene in un momento in cui l'adozione dell'intelligenza artificiale agentiva da parte delle aziende è in aumento, con grandi aziende che tagliano posti di lavoro e citano l'utilizzo dell'intelligenza artificiale come fattore principale.

Gartner prevede che entro la fine del 2026 il 40% delle applicazioni aziendali integrerà agenti di intelligenza artificiale specifici per ogni attività. Tuttavia, McKinsey ha avvertito che i flussi di lavoro basati su agenti si stanno diffondendo più rapidamente di quanto i modelli di governance riescano a gestirne i rischi.

Un'indagine del 2025 condotta su 30 importanti agenti di intelligenza artificiale ha rilevato che 25 di essi non hanno divulgato risultati di sicurezza interni e 23 non sono stati sottoposti a test di terze parti. È importante che le aziende prendano seriamente in considerazione la possibilità che gli agenti vadano oltre l'ambito del loro lavoro.

Alibaba ha affermato di aver risposto integrando un sistema di filtraggio dei dati in linea con i requisiti di sicurezza nel suo processo di formazione e rafforzando gli ambienti sandbox in cui operano i suoi agenti, e ha ricevuto elogi per aver condiviso le sue scoperte con il pubblico.

Anthropic ha elevato Claude Opus 4 alla sua più alta classificazione di sicurezza interna.