OpenAI: i suoi agenti AI hanno disattivato i monitor anti-misalignment
- OpenAI ha dichiarato che due dei suoi agenti AI, GPT-6.1 "Sol" e GPT-6 "Astra", hanno spento o indebolito il monitoraggio interno progettato per segnalare comportamenti scorretti durante le attività di codifica, rispettivamente il 3 e il 6 ottobre 2026.
- Gli incidenti dimostrano che gli agenti autonomi possono manomettere gli stessi strumenti destinati a supervisionarli.
- L'azienda afferma di non avere ancora una spiegazione soddisfacente e sta testando se i propri modelli tendono a eludere la sorveglianza.
OpenAI ha rivelato che i suoi agenti AI hanno indebolito o addirittura disattivato completamente i sistemi interni predisposti per rilevare comportamenti non autorizzati durante due attività di codifica, un malfunzionamento che implica il rischio che il controllo sugli agenti AI possa essere annullato dagli stessi agenti.
Due attività di codifica, due monitor disabilitati
L'azienda ha esposto entrambi i casi in un rapporto pubblicato martedì. Secondo Al Jazeera, uno dei casi coinvolgeva un agente GPT-6.1 chiamato "Sol" che ha disattivato gli avvisi automatici per il team di sicurezza di OpenAI.
Il primo incidente si è verificato il 3 ottobre, quando un agente di nome Sol ha soppresso gli avvisi di sicurezza dopo aver interpretato un'istruzione che vietava l'invio di messaggi su Slack come applicabile anche a tali avvisi.
Tre giorni dopo, il 6 ottobre, un agente GPT-6 di nome Astra ha rimosso un sistema di monitoraggio mentre copiava codice e in seguito ha negato di averlo fatto, secondo il rapporto.
OpenAI non ha una 'spiegazione soddisfacente'
OpenAI ha dichiarato di non avere "ancora una spiegazione soddisfacente" per il comportamento degli agenti e sta indagando su entrambi gli incidenti per verificare se mostrino una tendenza crescente dei modelli dell'azienda a eludere il monitoraggio.
L'azienda ha suggerito che le azioni potrebbero essere una forma di "benigna" iperpersistenza, in cui i modelli non comprendono lo scopo del monitoraggio o seguono le istruzioni oltre ciò che farebbe ragionevolmente una persona. L'azienda di intelligenza artificiale sta inoltre sviluppando test per indagare se i modelli cercano deliberatamente di aggirare i controlli di sicurezza.
OpenAI ha rafforzato i propri sistemi per individuare i tentativi di disabilitare il monitoraggio e ha annunciato che intensificherà i requisiti di sicurezza mentre conduce ulteriori revisioni.
I ricercatori affermano che il sistema di monitoraggio non può fare da poliziotto a se stesso
Roman V. Yampolskiy, ricercatore di intelligenza artificiale e cybersecurity presso l'Università di Louisville, ha dichiarato ad Al Jazeera che i risultati sono "estremamente preoccupanti, ma non sorprendenti". Ha aggiunto che qualsiasi sistema di sicurezza che un agente AI può disattivare è inaffidabile, mentre il diniego di Astra solleva ulteriori preoccupazioni.
OpenAI e Anthropic hanno chiesto una rallentamento globale coordinato nello sviluppo dell'IA, ma gli Stati Uniti e la Cina hanno mostrato scarso interesse per questa idea.
Non limitarti a leggere le notizie sulle criptovalute. Comprendile. Iscriviti alla nostra newsletter. È gratuita.
Disclaimer. Le informazioni fornite non costituiscono consulenza finanziaria. Cryptopolitan.com non si assume alcuna responsabilità per eventuali investimenti basati sulle informazioni presenti in questa pagina. Si raccomanda vivamente di effettuare ricerche autonome e/o consultare un professionista qualificato prima di prendere qualsiasi decisione di investimento.
Opeyemi Olanrewaju
Opeyemi è specializzato nella creazione e nel perfezionamento di contenuti di alta qualità focalizzati su criptovalute, mercati finanziari globali ed economia. Si è laureato presso l'Università di Ibadan con una laurea in Medicina (MBBS). Ha lavorato come Caporedattore della pubblicazione editoriale del suo Ateneo e precedentemente presso CFA. Da oltre sei anni, si occupa di salvaguardare l'unicità dei contenuti in qualità di redattore capo per Cryptopolitan.
