Décryptage de l'IA : révéler l'impact de la complexité des requêtes sur la précision des informations de santé

Une étude novatrice menée par des chercheurs du CSIRO australien et de l'Université du Queensland (UQ) révèle un résultat crucial concernant la fiabilité de l'intelligence artificielle, et plus particulièrement des grands modèles de langage (LLM) tels que ChatGPT, pour la génération d'informations de santé. Elle met en lumière la complexité des défis qui pourraient surgir avec l'intégration croissante de ces technologies dans la diffusion de l'information en santé.

Simplifiez pour plus de précision 

L'expérience, qui consistait à soumettre les réponses de ChatGPT à 100 questions de santé issues du programme TREC Health Misinformation trac, a révélé une différence marquée de précision selon le format de formulation des questions. Face à des questions formulées simplement, sans autre élément de preuve, ChatGPT a pu répondre correctement dans 80 % des cas, en se basant sur les connaissances médicales actuelles. En revanche, lorsque les questions étaient orientées, soit en faveur des preuves, soit en défaveur de celles-ci, sa capacité à répondre correctement chutait à 63 %.

L'étude a également observé une chute spectaculaire de la précision à seulement 28 % lorsque ChatGPT était autorisé à exprimer une incertitude dans ses réponses. Il est donc suggéré que de telles données biaisées, quelle que soit leur valeur de vérité, introduisent du « bruit » dans le système et peuventtracà sa capacité à fournir des réponses pertinentes. Ce comportement des modèles de langage représente désormais une menace réelle pour le traitement, par l'IA, des informations complexes et des fausses informations relatives à la santé.

Le défi de l'intégration de l'IA aux informations de santé

Cette capacité des modèles linguistiques et des technologies de recherche, intégrée aux principaux moteurs de recherche, est exploitée conjointement avec les processus de génération augmentée pour la recherche (RAG) – une avancée majeure dans l'accès en ligne à l'information de santé. Cependant, les travaux de recherche du Dr Bevan Koopman, chercheur principal au CSIRO et professeur associé à l'Université du Queensland (UQ), et de Guido Zuccon du Queensland Digital Health Center ont remis en question cette perception et démontré que la compréhension de l'interaction entre les modèles linguistiques et le module de recherche reste partielle, voire inexistante, ce qui entraîne une récupération incomplète des données. 

Ceci revêt donc une grande importance pour une utilisation avancée, même s'il est possible de recourir à des sources en ligne pour les questions de santé. L'étude souligne le besoin crucial de recherches supplémentaires permettant de mieux comprendre comment les systèmes de gestion de l'information en ligne traitent et extraient les informations de santé, afin de garantir la fiabilité et l'exactitude des réponses apportées au public.

La voie à suivre

Il en ressort clairement qu'il est urgent d'approfondir les recherches sur les capacités et les limites des modèles d'apprentissage automatique (LLM) dans le domaine de l'information en santé. Les chercheurs ont ainsi suggéré de sensibiliser le public aux risques potentiels liés à la consultation de plateformes d'IA pour obtenir des conseils de santé, et de mettre en place des mécanismes permettant d'améliorer la qualité et la précision des informations consultées.

Avec l'évolution du paysage technologique, notre accès à l'information en santé et son interprétation se transforment également. Ceci souligne l'importance cruciale de la simplicité et de la clarté dans les requêtes adressées à l'IA, ainsi que le risque de désinformation lié à la complexité des données. L'objectif serait donc d'utiliser l'IA de manière optimale, par exemple pour améliorer l'accès à une information de santé fiable. Cela nécessite une meilleure compréhension des interactions complexes entre les capacités de traitement de l'IA et les requêtes relatives à la santé.

L'étude du CSIRO et de l'UQ ne fait que confirmer que l'association de l'IA à la recherche d'informations de santé est d'une complexité redoutable, et que le risque d'erreurs est très élevé. Face au rôle de plus en plus crucial de l'IA dans notre quotidien, notamment dans le domaine de la santé, il est grand temps de comprendre les limites de ces machines et de les rendre plus fiables. 

Cela améliorera sans aucun doute l'accès à l'information en santé pour tous, tout en protégeant les individus contre la fraude. Néanmoins, grâce à la poursuite des efforts de recherche et développement, le potentiel de l'IA pour révolutionner le domaine de l'information en santé demeure immense, à condition que son application soit menée avec prudence, vigilance et un souci constant d'exactitude.