ChatGPT ha risposto a domande su armi biologiche mentre il MIT avverte dei rischi di catastrofi legate all'IA

ChatGPT ha risposto alle domande di centinaia di persone sulle armi biologiche. Nessuna legge federale richiedeva a OpenAI di segnalarlo alle autorità.

L'intento dietro le domande rimane poco chiaro. È iniziato a verificarsi dopo che OpenAI ha aggiornato ChatGPT lo scorso anno, secondo il WSJ.

Altre aziende affrontano lo stesso problema. Gli utenti hanno posto domande simili a Claude di Anthropic, Gemini di Google e Grok di Elon Musk. Non è ancora chiaro se questi scambi fossero tentativi genuini di costruire armi o test dei limiti dei sistemi.

I prompt degli utenti erano dettagliati con domande sulla produzione e il rilascio di veleni e agenti biologici. Il chatbot ha risposto con istruzioni passo dopo passo che possono essere facilmente eseguite da uno studente di biologia delle scuole superiori.

Esperti in armi biologiche e terrorismo hanno esaminato quelle conversazioni. Dicono che alcune delle risposte erano molto pertinenti e “letalmente accurate”.

I prompt per armi biologiche su ChatGPT mettono in luce una lacuna nella segnalazione dell'IA

Alcuni hanno chiesto come trasformare agenti di malattie infettive in particelle respirabili, l'aerosolizzazione.

Altri hanno chiesto come modificare il virus del morbillo per resistere al vaccino esistente. Il chatbot ha risposto a entrambi. Un utente ha chiesto della ricina, un veleno bandito dai trattati internazionali, e ha menzionato l'uccisione dei suoi genitori. ChatGPT ha fornito le istruzioni. OpenAI ha chiuso quegli account ma non ha avvisato nessuno.

Non esistono leggi federali statunitensi che richiedano alle aziende di IA di fare l'una o l'altra cosa. Come precedentemente riportato da Cryptopolitan, le aziende di IA hanno cercato di eludere le leggi statali, mentre un quadro normativo federale ha impiegato tempo a prendere forma, lasciando un crescente vuoto legale su ciò che i chatbot possono e non possono fare.

Quel vuoto legale sta crescendo insieme a un aumento degli utenti che chiedono all'IA come commettere omicidi di massa, e i chatbot che forniscono risposte credibili, secondo attuali ed ex dipendenti di grandi aziende di IA e ricercatori che studiano le minacce biologiche.

Una ricerca sulle minacce dell'IA presso Cisco, guidata da Amy Change, ha scoperto che entro cinque turni di conversazione, i ricercatori sono riusciti a aggirare i filtri di sicurezza sui principali chatbot. Ha dichiarato che nessun modello può resistere al 100% a tali prompt persistenti.

Il pericolo non si ferma con gli attaccanti solitari

Hamza Chaudhry del Future of Life Institute ha detto che le persone con una certa formazione biologica potrebbero già utilizzare l'IA per pianificare attacchi mirati, avvelenando cibo o approvvigionamenti idrici con sostanze come la salmonella o la ricina.

I gruppi organizzati, ha aggiunto, potrebbero trattare l'IA come un supervisore di ricerca di livello universitario, uno che corregge gli esperimenti falliti e sopperisce a anni di formazione specializzata che altrimenti sarebbe molto difficile da acquisire.

Uno studio del MIT FutureTech e dell'Università del Queensland mappa l'entità di questi rischi.

I ricercatori hanno chiesto a 272 esperti di IA di valutare 24 categorie di rischio. Nelle condizioni attuali, 18 delle 24 hanno almeno una probabilità del 10% di causare danni catastrofici tra ora e il 2030, definiti come più di un milione di morti, oltre 100 miliardi di dollari di perdite o danni comparabili.

Anche con misure ragionevoli per ridurre quei rischi, cinque aree rimangono al di sopra o al livello di quella soglia del 10%: sistemi di IA con capacità pericolose (12%), armi assistite dall'IA e cyberattacchi (12%), danni ambientali (12%), disoccupazione e disuguaglianza (11%) e potere concentrato in un piccolo numero di mani (11%).

“Non stiamo dicendo che queste cose accadranno sicuramente”, ha detto Peter Slattery, scienziato della ricerca presso MIT FutureTech e uno dei coautori dello studio. “Stiamo dicendo che queste sono le cose di cui gli esperti pensano che valga la pena prestare attenzione ora.”

All'interno di OpenAI, l'esecutiva della sicurezza Ryan Beiermeister ha passato gran parte del 2024 a spingere i colleghi a costruire un sistema per segnalare gli utenti pericolosi. Alcuni hanno ignorato le sue preoccupazioni.

Uno strumento di monitoraggio di base era operativo dalla primavera del 2025. L'azienda ha tracciato tutte le query sui suoi modelli avanzati dall'aprile 2025 e offre una ricompensa di 50.000 dollari a chiunque possa dimostrare di aver aggirato le sue salvaguardie per le armi biologiche.

Sul fronte delle politiche, il rappresentante Nathaniel Moran (R., Texas) ha presentato un disegno di legge a giugno che richiederebbe alle aziende di IA di segnalare le query pericolose, incluse quelle sulle armi biologiche, al Dipartimento del Commercio. È anche co-patrocinatore di una legislazione che consentirebbe al governo federale di ordinare la chiusura dei modelli di IA giudicati troppo pericolosi.

“L'IA è un potente motore di innovazione, e voglio vederla prosperare”, ha detto Moran, “ma non senza responsabilità e non senza supervisione umana.”