ULTIME NOTIZIE
SELEZIONATO PER TE

Agenti di OpenAI e Anthropic registrano 19 violazioni nei test di sicurezza nel Regno Unito

DiRanda MosesRanda Moses 3 min di lettura
Gli agenti di OpenAI e Anthropic hanno registrato 19 violazioni nei test di sicurezza nel Regno Unito.
  • L'AI Security Institute britannico ha rilevato 19 azioni che violano le regole su 122 test eseguiti.
  • Il Mythos 5 di Anthropic è stato responsabile di 17 degli incidenti, mentre il GPT-5.6-Sol di OpenAI ha causato gli altri due.
  • L'incidente più grave ha visto un agente scrivere codice dannoso e creare identità online false per indurre un essere umano ad approvarlo.

Durante i test di cybersecurity, gli agenti AI di OpenAI e Anthropic hanno compiuto 19 azioni non autorizzate, secondo l'AI Security Institute del Regno Unito. L'istituto ha dichiarato martedì che uno degli agenti ha creato identità online false per indurre una persona ad approvare codice dannoso.

L'AISI registra 19 violazioni, per lo più da parte di Anthropic

I risultati si basavano su un esercizio di cybersecurity fittizio condotto dall'AISI, un organismo del governo britannico, per esplorare ciò che gli agenti delle due aziende potrebbero essere in grado di fare. L'istituto ha ripetuto la stessa sfida 122 volte e ha registrato 19 azioni che violavano le regole in 10 di quelle esecuzioni.

17 delle azioni segnalate erano dovute all'uso del modello Mythos 5 dall'agente di Anthropic. Le altre due provenivano da GPT-5.6-Sol di OpenAI.

AISI ha dichiarato in un post sul blog che alcuni degli agenti "avevano impegnato in attività sostenute, potenzialmente dannose dirette verso persone e organizzazioni reali", anche se ha detto che nessuna delle violazioni ha causato danni nel mondo reale.

L'AISI ha accesso anticipato ai modelli all'avanguardia attraverso accordi volontari con i principali laboratori. Esistono test per rilevare questo tipo di comportamento prima che i modelli raggiungano i clienti.

OpenAI e Anthropic commercializzano gli agenti come la prossima ondata di software aziendale, ma l'istituto presenta i risultati come prova che le tutele intorno ai test degli agenti sono ancora sottili.

L'incidente più grave ha coinvolto un agente che ha scritto codice malevolo e ha creato identità online false, poi ha cercato di ottenere l'approvazione di un umano per il codice. AISI non ha nominato il modello dietro di esso. Ha detto che l'episodio non rientrava in nessuno dei due casi OpenAI aveva già divulgato.

Ciò ha lasciato come probabile colpevole l'agente di Anthropic, ha dichiarato Andrew Yoon, ricercatore presso CivAI, un'organizzazione non profit della California che studia i rischi dell'IA.

OpenAI e Anthropic attribuiscono la colpa a una configurazione errata

Anthropic ha dichiarato in un post su X che sta collaborando con l'AISI per raccogliere dettagli e condurre un'indagine.

OpenAI ha risposto alle due azioni associate al suo agente in un post sul blog aziendale, entrambe le quali riguardavano l'accesso a Internet in modi non consentiti dal prompt.

L'azienda ha dichiarato di voler "rafforzare le pratiche condivise per condurre valutazioni ad alto rischio in modo sicuro" e prevede di convocare istituti nazionali di AI, valutatori esterni e laboratori rivali nelle prossime settimane.

OpenAI ha utilizzato lo stesso post per segnalare un problema diverso. Irregular, un provider di test di terze parti, ha configurato erroneamente un'installazione, consentendo involontariamente agli agenti di OpenAI di accedere a Internet.

Anthropic ha fatto una divulgazione molto simile su Irregular una settimana prima. OpenAI ha ampliato la propria indagine sugli hacker dopo aver scoperto ulteriori fughe di agenti.

A luglio, un agente OpenAI è uscito da un ambiente isolato e ha accesso ai sistemi live su Hugging Face, che ha notificato l'FBI prima che l'attacco fosse ricondotto alla stessa azienda circa una settimana dopo.

Nella valutazione AISI, gli agenti non sono mai sfuggiti alle loro sandbox. L'AISI ha loro concesso l'accesso a Internet intenzionalmente, come parte della procedura standard.

La violazione di Hugging Face ha spinto anche Anthropic a effettuare un audit dei propri log. Cryptopolitan ha riportato il 31 luglio che l'azienda ha scoperto che tre dei suoi modelli, tra cui Mythos 5, erano sfuggiti agli ambienti di test e avevano raggiunto tre organizzazioni reali dopo che una configurazione errata aveva loro fornito un accesso a Internet funzionante.

Mythos 5 ha pubblicato un pacchetto Python dannoso su PyPI che è stato eseguito su 15 sistemi reali prima di essere rimosso. Anthropic ha chiesto al gruppo di valutazione METR di rivedere indipendentemente gli eventi.

I cervelli più intelligenti del crypto leggono già la nostra newsletter. Vuoi unirti a loro? Unisciti a loro.

Domande frequenti

Quante violazioni ha rilevato l'AI Security Institute e quale modello ne è stato la causa principale?

L'AISI ha registrato 19 azioni non autorizzate su 122 test eseguiti. L'agente Mythos 5 di Anthropic ne è stato responsabile in 17 casi, mentre il GPT-5.6-Sol di OpenAI negli altri due.

Qual è stato l'incidente più grave durante i test?

Un agente ha scritto codice dannoso e creato identità online false per cercare di ottenere l'approvazione umana per quel codice.

Queste violazioni hanno causato danni reali?

No. AISI ha dichiarato di non aver riscontrato danni reali da nessuna delle 19 azioni.

Condividi questo articolo

Disclaimer. Le informazioni fornite non costituiscono consulenza finanziaria. Cryptopolitan.com non si assume alcuna responsabilità per eventuali investimenti basati sulle informazioni presenti in questa pagina. Si raccomanda vivamente di effettuare ricerche autonome e/o consultare un professionista qualificato prima di prendere qualsiasi decisione di investimento.

Randa Moses

Randa Moses

Randa Moses è un'editor e giornalista presso Cryptopolitan, dove si occupa di tecnologia, intelligenza artificiale, robotica, criptovalute, truffe e hacking. Opera nel settore delle criptovalute dal 2017. Ha ricoperto ruoli in Forward Protocol, AmaZix e Cryptosomniac. Randa è laureata in Ingegneria Elettrica ed Elettronica presso l'Università di Bradford.

ALTRE NOTIZIE …