La régulation des chatbots IA est impérative pour la sécurité des patients dans le secteur de la santé

Les outils de chat génératifs basés sur les LLM, tels que ChatGPT et MedPaLM de Google, promettent beaucoup dans le domaine médical. Cependant, l'utilisation non réglementée des chatbots IA présente des risques inhérents. Un article récent examine la question internationale urgente de la régulation des grands modèles de langage (LLM) en général et spécifiquement dans le secteur de la santé. Le professeur Stephen Gilbert, expert en science réglementaire des dispositifs médicaux, souligne la nécessité de développer de nouveaux cadres qui privilégient la sécurité des patients lors de l'utilisation de ces chatbots puissants.

Les LLM sont des modèles de langage à base de réseaux neuronaux connus pour leurs compétences conversationnelles remarquables. Ils peuvent générer des réponses humaines et engager des conversations interactives. Cependant, l'une des préoccupations majeures est qu'ils fournissent souvent des informations convaincantes mais incorrectes ou inappropriées. Actuellement, il n'existe aucun moyen fiable de déterminer la qualité, le niveau de preuve ou la cohérence des informations cliniques et des preuves à l'appui fournies par ces chatbots. Par conséquent, s'y fier pour des conseils médicaux peut être dangereux, ce qui justifie la mise en place de nouveaux cadres pour garantir le bien-être des patients.

Intégration des chatbots avec les moteurs de recherche

Des recherches montrent que de nombreuses personnes recherchent des symptômes en ligne avant de consulter un médecin, en s'appuyant souvent sur les résultats des moteurs de recherche. L'intégration future des chatbots basés sur les LLM dans les moteurs de recherche pourrait encore augmenter la confiance des utilisateurs dans les réponses fournies par ces outils conversationnels. Cependant, des études ont démontré que les LLM peuvent produire des informations profondément dangereuses lorsqu'ils sont confrontés à des requêtes médicales. Cela souligne la nécessité urgente d'un contrôle réglementaire sur l'intégration des LLM avec les moteurs de recherche.

Un problème inhérent aux LLM réside dans leur manque de modèle de « vérité terrain » médicale, ce qui les rend intrinsèquement risqués. Des cas se sont déjà produits où des LLM à interface conversationnelle ont fourni des réponses médicales nuisibles ou ont été utilisés de manière non éthique dans des expériences sur des patients sans consentement approprié. Presque tous les cas d'utilisation médicale impliquant des LLM nécessitent une supervision réglementaire dans l'UE et aux États-Unis. Aux États-Unis, leur manque d'explicabilité les disqualifie d'être classés comme « non dispositifs ». Aucun LLM ne présente d'explicabilité, de faible biais, de prévisibilité, de correction et de sorties vérifiables. Par conséquent, ils ne sont pas exemptés des approches de gouvernance actuelles ou futures.

Applications potentielles dans le cadre réglementaire existant

Les auteurs de l'article décrivent les scénarios limités dans lesquels les LLM pourraient être appliqués dans le cadre réglementaire actuel. Ils décrivent également comment les développeurs peuvent s'efforcer de créer des outils basés sur les LLM qui pourraient obtenir l'approbation en tant que dispositifs médicaux. Cependant, il est important de noter que les chatbots actuels basés sur les LLM ne répondent pas aux principes essentiels pour l'IA dans le secteur de la santé, tels que le contrôle des biais, l'explicabilité, les systèmes de supervision, la validation et la transparence. Pour mériter leur place dans le domaine médical, les chatbots doivent être conçus pour une précision améliorée, démontrant une sécurité et une efficacité clinique approuvées par les régulateurs.

La régulation des chatbots IA, en particulier ceux basés sur les LLM, en tant que dispositifs médicaux est vitale pour garantir la sécurité des patients dans le secteur de la santé. Les risques associés à leur utilisation non réglementée soulignent la nécessité de développer des cadres qui répondent aux préoccupations liées à la précision, à la sécurité et à l'efficacité clinique. Pour établir la confiance dans les outils basés sur les LLM, ils doivent respecter les principes clés de l'IA dans le secteur de la santé. La collaboration entre les développeurs et les régulateurs est cruciale pour établir des lignes directrices qui favorisent la mise en œuvre responsable et éthique des chatbots basés sur les LLM dans le domaine médical.