Dipartimento della Difesa degli Stati Uniti, DoD, completa il programma pilota che utilizza chatbot per la medicina militare

Uno degli ultimi progetti legati al DoD e sotto l'amministrazione di Biden è giunto a una chiusura di successo. L'Ufficio Chief Digital and Artificial Intelligence (CDAO) del Dipartimento della Difesa degli Stati Uniti (DoD) ha completato il programma pilota di assicurazione Crowdsourced AI Red-Teaming (CAIRT). Questa iniziativa è dedicata all'integrazione di chatbot IA nei servizi medici militari. 

I chatbot basati su large language model (LLM) sono stati implementati nel programma CAIRT. Inoltre, CAIRT ha assistito il DoD nello sviluppo di strategie decentralizzate e crowdsourced per la Mitigazione del Rischio IA e l'Assicurazione IA.

Oltre 200 fornitori clinici e analisti sanitari hanno contribuito all'identificazione di potenziali vulnerabilità nell'uso di chatbot IA nelle applicazioni mediche militari. In particolare, il pilota ha identificato diverse centinaia di potenziali problemi, come riportato dal DoD.

A tal fine, il DoD ha dichiarato: , “Questo esercizio risulterà in output ripetibili e scalabili tramite lo sviluppo di set di dati di benchmark, che possono essere utilizzati per valutare fornitori e strumenti futuri per l'allineamento con le aspettative di prestazione.” 

CAIRT programma dietro le quinte

Secondo il DoD, un'intelligenza umana non-profit ha condotto il pilota LLM CAIRT. Ci è riuscito in partnership con la Defense Health Agency (DHA) e il Program Executive Office of Defense Healthcare Management Systems (PEO DHMS).

Inoltre, l'intelligenza umana ha utilizzato la metodologia red-teaming per identificare problemi specifici del sistema. Questo ha coinvolto il test interno della resilienza del sistema utilizzando tecniche avverse. 

Inoltre, il red-teaming ha attirato partecipanti interessati a interagire con le tecnologie emergenti e come potenziali futuri beneficiari. È stato loro concessa l'opportunità di contribuire al miglioramento dei sistemi.

In questo programma, l'intelligenza umana ha utilizzato il red-teaming crowdsourced per affrontare due potenziali applicazioni nella medicina militare: la sintesi delle note cliniche e un chatbot di consulenza medica.

Sebbene siano state identificate vulnerabilità, il DoD ha evidenziato: , “questi risultati giocheranno un ruolo cruciale nel modellare le politiche del DoD e le migliori pratiche per l'uso responsabile della IA Generativa (GenAI), migliorando infine le cure mediche militari. Se, quando dispiegati, questi casi d'uso prospettici comprendono l'IA coperta definita in OMB M-24-10, aderiranno a tutte le pratiche di gestione del rischio richieste.”

Tuttavia, il DoD ha dichiarato che il CAIRT Assurance Program continuerà a testare LLM e sistemi IA. Questo accelererà la AI Rapid Capabilities Cell del CDAO, renderà l'obiettivo GenAI più efficace e aiuterà a costruire fiducia in tutti i casi d'uso del DoD.

Il lead del CDAO per questa iniziativa, Dr. Matthew Johnson, ha anche detto: , “Poiché l'applicazione della GenAI per tali scopi all'interno del DoD è nelle fasi iniziali di pilotaggio e sperimentazione, questo programma agisce come un pathfinder essenziale per generare una massa di dati di test, evidenziare aree di considerazione e convalidare opzioni di mitigazione che modelleranno la ricerca futura, lo sviluppo e l'assicurazione dei sistemi GenAI che potrebbero essere dispiegati in futuro,”

Si prevede che la prossima amministrazione continuerà questi progetti. Il team di Trump è aperto all'IA anche mentre cerca di competere con la Cina.

Quanto è sicura l'IA nel panorama medico? 

Sebbene l'IA abbia un impatto enormemente benefico sulla scienza medica, è seguita da diversi rischi e pericoli significativi.

Per lo stato attuale, i sistemi IA utilizzano algoritmi specifici che richiedono dataset massicci per aumentare l'accuratezza. Questo metodo mette a rischio i dati sensibili dei pazienti per sicurezza, privacy e riservatezza. Attualmente, poiché le corporation farmaceutiche e assicurative sono interessate a tali dataset, gli hacking si sono ampliati notevolmente, L'hacking dei file medici potrebbe anche far parte di un cyberattacco governativo.

Inoltre, l'avvelenamento dei dati, la modifica intenzionale dei dati medici per indurre errori o bias nella sanità, è un altro rischio maggiore del maluso dei dati medici. Questo danneggia l'accuratezza e l'affidabilità dei consigli medici. L'IA che utilizza diversi modelli di dati epidemiologici, come nella pandemia di COVID-19, può produrre risultati diversi.

Un altro problema sarebbe un algoritmo medico difettoso. Questo potrebbe essere dovuto a test di algoritmi inadeguati poiché non ci sono standard stabiliti per testarne la validità. Ad esempio, i trial in doppio cieco sono il modo più efficace per dimostrare che un trattamento funziona. 

Tuttavia, chi sarebbe responsabile di un tale errore: il medico personale, l'ospedale, il fornitore di attrezzature o lo sviluppatore dell'algoritmo? Pertanto, gli errori medici causati da malfunzionamenti della macchina sollevano gravi questioni legali.

Chatbot di intelligenza artificiale che fanno i medici? 🤖 Non proprio ancora.

Uno studio rivela che le loro capacità diagnostiche sono al meglio incerte.

L'IA sanitaria ha ancora bisogno di un boost cerebrale prima di poter essere fidata con la tua salute. 🩺 pic.twitter.com/W2ast8S7iO

— CAD Black Ops (@CADBlackOps) Januari 2, 2025

Inoltre, l'IA potrebbe compromettere le relazioni medico-paziente. Pertanto, i medici sono tenuti a comprendere la valutazione e le prestazioni dell'IA per spiegarne il ruolo ai pazienti e ridurre l'ansia dei pazienti.

Infine, c'è un fenomeno noto come l'effetto "medico pigro". Se il medico impiega esclusivamente algoritmi di IA per la diagnosi e il trattamento, ciò potrebbe comportare una perdita progressiva e irreversibile delle competenze pratiche, della creatività intellettuale e della capacità di risolvere problemi medici.

Tuttavia, le persone si sono abituate a Chatbot nella loro vita quotidiana. Con una ricerca adeguata, i Chatbot di IA possono eliminare i piccoli errori commessi dai medici, rendendo così lo spazio medico più sicuro.