Il Dipartimento della Difesa degli Stati Uniti, DoD, completa un programma pilota che utilizza chatbot per la medicina militare

Uno degli ultimi progetti legati al Dipartimento della Difesa e sotto l'amministrazione Biden si è concluso con successo. Il Chief Digital and Artificial Intelligence Office (CDAO) del Dipartimento della Difesa degli Stati Uniti (DoD) ha completato il programma pilota Crowdsourced AI Red-Teaming (CAIRT) Assurance. Questa iniziativa è dedicata all'integrazione di chatbot basati sull'intelligenza artificiale nei servizi medici militari. 

I chatbot basati su modelli linguistici di grandi dimensioni (LLM) sono stati implementati nel programma CAIRT. Inoltre, il CAIRT ha assistito il Dipartimento della Difesa nello sviluppo di strategie decentralizzate e basate sul crowdsourcing per la mitigazione del rischio e la garanzia dell'IA.

Oltre 200 operatori sanitari e analisti sanitari hanno contribuitodentdi potenziali vulnerabilità nell'uso di chatbot basati sull'intelligenza artificiale nelle applicazioni mediche militari. In particolare, ildentpilota ha identificato diverse centinaia di potenziali problemi, come riportato dal Dipartimento della Difesa.

A tal fine, il Dipartimento della Difesa ha dichiarato: "Questo esercizio produrrà risultati ripetibili e scalabili attraverso lo sviluppo di set di dati di riferimento, che potranno essere utilizzati per valutare futuri fornitori e strumenti in termini di conformità alle aspettative di prestazione". 

Il programma CAIRT dietro le quinte

Secondo il Dipartimento della Difesa, il progetto pilota del CAIRT LLM è stato condotto da un'organizzazione no-profit di intelligence umanitaria, in collaborazione con la Defense Health Agency (DHA) e il Program Executive Office of Defense Healthcare Management Systems (PEO DHMS).

Inoltre, l'intelligence umana ha utilizzato la metodologia del red-teaming perdentspecifici problemi del sistema. Ciò ha comportato la verifica interna della resilienza del sistema mediante tecniche avversarie. 

Inoltre, il red-teaming ha attirato partecipanti interessati a interagire con le tecnologie emergenti e a trarne potenziali beneficiari futuri. A loro è stata data l'opportunità di contribuire al miglioramento dei sistemi.

In questo programma, l'intelligence umana ha utilizzato il crowdsourcing red-teaming per affrontare due potenziali applicazioni nella medicina militare: la sintesi delle note cliniche e un chatbot di consulenza medica.

Sebbene siano state identificate delle vulnerabilitàdentil Dipartimento della Difesa ha sottolineato: "Questi risultati avranno un ruolo cruciale nel definire le politiche e le migliori pratiche del Dipartimento della Difesa per un uso responsabile dell'intelligenza artificiale generativa (GenAI), migliorando in definitiva l'assistenza medica militare. Se, una volta implementati, questi potenziali casi d'uso rientreranno nell'ambito dell'IA coperta definel documento OMB M-24-10, saranno conformi a tutte le pratiche di gestione del rischio richieste".

Tuttavia, il Dipartimento della Difesa ha dichiarato che il Programma di Garanzia CAIRT continuerà a testare i sistemi LLM e di intelligenza artificiale. Ciò accelererà l'attività della Cellula per le Capacità Rapide di IA del CDAO, renderà più efficace l'obiettivo GenAI e contribuirà a creare fiducia in tutti i casi d'uso del Dipartimento della Difesa.

Il responsabile di questa iniziativa presso il CDAO, il dottor Matthew Johnson, ha inoltre affermato: "Poiché l'applicazione dell'IA di generazione (GenAI) per tali scopi all'interno del Dipartimento della Difesa si trova ancora nelle fasi iniziali di sperimentazione e test pilota, questo programma funge da fondamentale apripista per generare una grande quantità di dati di test, individuare aree da considerare e convalidare opzioni di mitigazione che plasmeranno la futura ricerca, lo sviluppo e la sicurezza dei sistemi di GenAI che potrebbero essere implementati in futuro".

Si prevede che la prossima amministrazione continuerà questi progetti. Il team di Trump è aperto all'intelligenza artificiale, anche se sembra voler competere con la Cina.

Quanto è sicura l'intelligenza artificiale nel panorama medico? 

Sebbene l'intelligenza artificiale abbia un impatto estremamente positivo sulla scienza medica, comporta anche diversi rischi e pericoli significativi.

Per quanto riguarda lo stato, i sistemi di intelligenza artificiale utilizzano algoritmi specifici che richiedono enormi set di dati per aumentare l'accuratezza. Questo metodo mette a rischio la sicurezza, la privacy e la riservatezza dei dati sensibili dei pazientidentAttualmente, poiché le aziende farmaceutiche e assicurative sono interessate a tali set di dati, l'hacking si è notevolmente diffuso. L'hacking dei file medici può anche essere parte di un attacco informatico governativo.

Inoltre, il data poisoning, ovvero la modifica intenzionale dei dati medici per indurre errori o distorsioni nell'assistenza sanitaria, rappresenta un altro grave rischio di uso improprio dei dati medici. Ciò compromette l'accuratezza e l'affidabilità dei consigli medici. L'intelligenza artificiale che utilizza diversi modelli di dati epidemiologici, come nel caso della pandemia di COVID-19, può produrre risultati diversi.

Un altro problema potrebbe essere un algoritmo medico difettoso. Ciò potrebbe essere dovuto a test inadeguati dell'algoritmo, poiché non esistono standard stabiliti per verificarne la validità. Ad esempio, gli studi in doppio cieco sono il modo più efficace per dimostrare l'efficacia di un trattamento. 

Tuttavia, chi sarebbe responsabile di un simile errore: il medico curante, l'ospedale, il fornitore dell'apparecchiatura o lo sviluppatore dell'algoritmo? Pertanto, gli errori medici causati da malfunzionamenti delle apparecchiature sollevano gravi questioni legali.

Chatbot AI che giocano a fare i dottori? 🤖 Non ancora.

Uno studio rivela che le loro capacità diagnostiche sono, nella migliore delle ipotesi, incerte.

L'intelligenza artificiale in ambito sanitario ha ancora bisogno di un potenziamento prima di poter essere considerata affidabile per la tua salute. 🩺 pic.twitter.com/W2ast8S7iO

— CAD Black Ops (@CADBlackOps) 2 gennaio 2025

Inoltre, l'intelligenza artificiale può compromettere il rapporto medico-paziente. Pertanto, i medici sono tenuti a comprendere la valutazione e le prestazioni dell'intelligenza artificiale per spiegarne il ruolo ai pazienti e ridurne l'ansia.

Infine, esiste un fenomeno noto come "effetto medico pigro". Se il medico si affida esclusivamente ad algoritmi di intelligenza artificiale per la diagnosi e la cura, ciò può comportare una perdita progressiva e irreversibile di competenze pratiche, creatività intellettuale e capacità di risolvere problemi medici.

Tuttavia, le persone si sono ormai abituate ai chatbot nella loro vita quotidiana. Con un'adeguata ricerca, i chatbot basati sull'intelligenza artificiale possono eliminare i piccoli errori commessi dai medici, rendendo così l'ambiente medico più sicuro.