Decifrare l'intelligenza artificiale: svelare l'impatto della complessità delle query sull'accuratezza delle informazioni sanitarie

Ora, uno studio innovativo condotto dai ricercatori del CSIRO australiano e dell'Università del Queensland (UQ) presenta una scoperta cruciale sull'affidabilità dell'intelligenza artificiale, in particolare dei modelli linguistici di grandi dimensioni (LLM) come ChatGPT, nella generazione di informazioni sanitarie. Questo, infatti, rappresenta la complessità delle sfide che potrebbero sorgere in relazione alle tecnologie man mano che si integrano maggiormente nella diffusione delle informazioni sanitarie.

Semplificare per la precisione 

L'esperimento, che ha sottoposto le risposte di ChatGPT a 100 domande relative alla salute tratte dal tracTREC Health Misinformation, ha rilevato una marcata differenza di accuratezza a seconda del formato in cui erano state poste le domande. Quando a ChatGPT venivano poste domande formulate in modo semplice e senza altre prove, il sistema ha dimostrato di essere in grado di rispondere con accuratezza nell'80% dei casi, sulla base delle attuali conoscenze mediche. Tuttavia, quando le domande erano orientate in una direzione basata sulle prove, a favore o contro la domanda, la loro accuratezza scendeva al 63%.

Lo studio ha inoltre osservato che si è registrato un calo significativo dell'accuratezza, fino al 28%, quando a ChatGPT è stato consentito di esprimere incertezza nelle sue risposte. Si suggerisce, pertanto, che tali prove distorte, qualunque sia il loro valore di verità, introducano "rumore" nel sistema e possanotracla capacità di fornire risposte valide. Questo comportamento dei modelli del linguaggio rappresenterà ora una minaccia reale per il modo in cui le informazioni complesse nelle indagini relative alla salute e la disinformazione vengono elaborate nell'intelligenza artificiale.

La sfida dell'integrazione dell'intelligenza artificiale con le informazioni sanitarie

Questa capacità degli LLM e delle tecnologie di ricerca, come parte dei principali motori di ricerca, viene sfruttata in combinazione con i processi di Retrieval Augmented Generation (RAG), uno dei grandi passi avanti nel modo in cui le informazioni sanitarie vengono accessibili online. Tuttavia, la ricerca del Dott. Bevan Koopman, ricercatore principale presso il CSIRO e Professore Associato presso l'UQ, e di Guido Zuccon del Queensland Digital Health Center ha smentito questa percezione e dimostrato che esiste una comprensione parziale, se non nulla, di come gli LLM dovrebbero interagire con la componente di ricerca, il che influisce sul recupero incompleto dei dati. 

Questo è quindi di grande importanza nell'uso avanzato, mentre è possibile utilizzare fonti basate sul web in caso di domande relative alla salute. Lo studio sottolinea questa fondamentale necessità di ulteriori ricerche che possano almeno colmare il divario nella comprensione di come gli LLM possano elaborare e recuperare le informazioni sanitarie, per garantire affidabilità e accuratezza nelle risposte al pubblico.

Il percorso da seguire

La chiara implicazione, quindi, è che sono urgentemente necessarie ulteriori indagini sulle capacità e i limiti degli LLM nel contesto delle informazioni sanitarie. I ricercatori hanno quindi proposto che ciò richieda una maggiore consapevolezza pubblica sui probabili rischi derivanti dalla richiesta di consulenza sanitaria tramite piattaforme e meccanismi di intelligenza artificiale che miglioreranno la qualità e l'accuratezza delle informazioni accessibili.

Con l'evoluzione del panorama tecnologico, cambia anche il modo in cui accediamo e interpretiamo le informazioni sanitarie. Questo è un forte promemoria dell'importanza cruciale della semplicità e della chiarezza nelle domande basate sull'intelligenza artificiale e del potenziale di disinformazione quando si introducono prove complesse. L'obiettivo, quindi, sarebbe quello di utilizzare l'intelligenza artificiale in modo ottimale; ad esempio, per aumentare l'accesso ottimale a informazioni sanitarie credibili, richiedendo quindi una migliore capacità di giudizio sulle complesse dinamiche che intercorrono tra le capacità di elaborazione dell'intelligenza artificiale e le domande relative alla salute.

Ciò che lo studio del CSIRO e dell'Università del Queensland sottolinea semplicemente è che la combinazione di IA e recupero di informazioni sanitarie è estremamente complessa e il rischio di risposte errate è molto alto. Con l'aumento del ruolo sempre più cruciale dell'IA nella nostra vita quotidiana, soprattutto nell'ambito delle informazioni sanitarie, è giunto il momento di iniziare a comprendere i limiti delle macchine e renderle più affidabili. 

Ciò migliorerà sicuramente il modo in cui le informazioni sanitarie saranno accessibili a tutti, se non addirittura proteggendole dalle frodi. Tuttavia, nonostante la continua ricerca e sviluppo, il potenziale dell'IA di rivoluzionare il campo delle informazioni sanitarie rimane immenso, a patto che la sua applicazione venga affrontata con cautela, consapevolezza e impegno per l'accuratezza.