La regolamentazione dei chatbot AI è imperativa per la sicurezza dei pazienti nel settore sanitario

Gli strumenti di chat generativa basati su LLM, come ChatGPT e MedPaLM di Google, mostrano grandi promesse nel campo medico. Tuttavia, l'uso non regolamentato dei chatbot AI comporta rischi intrinseci. Un recente articolo approfondisce l'urgente questione internazionale della regolamentazione dei Modelli Linguistici di Grande Dimensione (LLM) in generale e specificamente nel settore sanitario. Il professor Stephen Gilbert, esperto di Scienza Regolamentare dei Dispositivi Medici, sottolinea la necessità di sviluppare nuovi quadri normativi che diano priorità alla sicurezza dei pazienti quando si utilizzano questi potenti chatbot.

Gli LLM sono modelli linguistici di rete neurale noti per le loro notevoli capacità conversazionali. Possono generare risposte simili a quelle umane e partecipare a conversazioni interattive. Tuttavia, una delle principali preoccupazioni è che spesso forniscono informazioni altamente convincenti ma errate o inappropriate. Attualmente, non esiste un modo affidabile per determinare la qualità, il livello di evidenza o la coerenza delle informazioni cliniche e delle prove di supporto fornite da questi chatbot. Di conseguenza, affidarsi a loro per consigli medici può essere pericoloso, giustificando l'istituzione di nuovi quadri normativi per garantire il benessere dei pazienti.

Integrazione dei chatbot con i motori di ricerca

La ricerca mostra che molte persone cercano sintomi online prima di cercare consigli medici, spesso facendo affidamento sui risultati dei motori di ricerca. La prossima integrazione dei chatbot basati su LLM nei motori di ricerca potrebbe aumentare ulteriormente la fiducia degli utenti nelle risposte fornite da questi strumenti conversazionali. Tuttavia, gli studi hanno dimostrato che gli LLM possono produrre informazioni profondamente pericolose quando affrontano query mediche. Questo sottolinea l'urgente necessità di un controllo normativo sull'integrazione degli LLM con i motori di ricerca.

Un problema intrinseco degli LLM risiede nella mancanza di un modello di "verità medica" di riferimento, rendendoli intrinsecamente rischiosi. Si sono già verificati casi in cui LLM con interfaccia chat hanno fornito risposte mediche dannose o sono stati utilizzati in modo non etico in esperimenti su pazienti senza un adeguato consenso. Quasi ogni caso d'uso medico che coinvolge LLM richiede supervisione normativa nell'UE e negli Stati Uniti. Negli Stati Uniti, la loro mancanza di spiegabilità li squalifica dall'essere classificati come "non dispositivi". Nessun LLM esibisce spiegabilità, basso bias, prevedibilità, correttezza e output verificabili. Di conseguenza, non sono esentati dagli attuali o futuri approcci di governance.

Applicazioni potenziali nell'ambito dei quadri normativi esistenti

Gli autori del documento delineano gli scenari limitati in cui gli LLM potrebbero essere applicati nell'ambito degli attuali quadri normativi. Descrivono anche come gli sviluppatori possono impegnarsi per creare strumenti basati su LLM che potrebbero ottenere l'approvazione come dispositivi medici. Tuttavia, è importante notare che gli attuali chatbot basati su LLM non soddisfano i principi essenziali per l'IA nel settore sanitario, come il controllo del bias, la spiegabilità, i sistemi di supervisione, la convalida e la trasparenza. Per guadagnarsi il loro posto nel campo medico, i chatbot devono essere progettati per una maggiore accuratezza, dimostrando sicurezza ed efficacia clinica approvata dai regolatori.

Regolamentare i chatbot AI, in particolare quelli basati su LLM, come dispositivi medici è vitale per garantire la sicurezza dei pazienti nel settore sanitario. I rischi associati al loro uso non regolamentato evidenziano la necessità di sviluppare quadri normativi che affrontino le preoccupazioni relative all'accuratezza, alla sicurezza e all'efficacia clinica. Per stabilire la fiducia negli strumenti basati su LLM, devono aderire a principi chiave per l'IA nel settore sanitario. La collaborazione tra sviluppatori e regolatori è cruciale per stabilire linee guida che promuovano l'implementazione responsabile ed etica dei chatbot basati su LLM nel settore medico.