Descifrando la IA: Revelando el impacto de la complejidad de las consultas en la precisión de la información sanitaria

Ahora, un estudio pionero realizado por investigadores de CSIRO (Australia) y la Universidad de Queensland (UQ) revela un hallazgo crucial sobre la fiabilidad de la inteligencia artificial, en concreto de los modelos de lenguaje de gran tamaño (LLM) como ChatGPT, para generar información sanitaria. De hecho, esto refleja la complejidad de los desafíos que podrían surgir con las tecnologías a medida que se integran más con la difusión de información sanitaria.

Simplificar para mayor precisión 

El experimento, que sometió las respuestas de ChatGPT a 100 preguntas relacionadas con la salud del grupo TREC tracsanitaria, reveló una marcada diferencia en la precisión según el formato de las preguntas. Al formular preguntas sencillas a ChatGPT sin otras pruebas, se observó una capacidad de respuesta precisa en el 80 % de las ocasiones, basándose en el conocimiento médico actual. Sin embargo, cuando las preguntas se orientaban a favor o en contra de la consulta, su capacidad se redujo al 63 %.

El estudio observó además una notable disminución de la precisión, del 28 %, cuando se permitió a ChatGPT expresar incertidumbre en sus respuestas. Por lo tanto, se sugiere que dicha evidencia sesgada, independientemente de su valor de verdad, introduce ruido en el sistema y puedetracsu capacidad para generar respuestas sólidas. Este comportamiento de los modelos del lenguaje representará una amenaza real para el procesamiento de la información compleja en consultas de salud y la desinformación en la IA.

El desafío de integrar la IA con la información sanitaria

Esta capacidad de los LLM y las tecnologías de búsqueda, como parte de los principales motores de búsqueda, se aprovecha en combinación con los procesos de Generación Aumentada de Recuperación (RAG), uno de los grandes avances en el acceso a la información sanitaria en línea. Sin embargo, la investigación del Dr. Bevan Koopman, investigador principal de CSIRO y profesor asociado de la UQ, y Guido Zuccon, del Centro de Salud Digital de Queensland, ha desmentido esta percepción y demostrado que existe una comprensión parcial, o nula, de cómo los LLM deberían interactuar con el componente de búsqueda, lo que afecta a la recuperación incompleta de datos. 

Por lo tanto, esto es fundamental para el uso avanzado, ya que se pueden utilizar fuentes web para consultas relacionadas con la salud. El estudio señala la necesidad crítica de más investigación que, al menos, ayude a comprender mejor cómo los LLM pueden procesar y recuperar información sanitaria para garantizar la fiabilidad y precisión de las respuestas al público.

El camino a seguir

Por lo tanto, la clara implicación es que se necesita urgentemente más investigación sobre las capacidades y limitaciones de los LLM en el contexto de la información sanitaria. Los investigadores propusieron que esto requiere concienciar al público sobre los posibles riesgos de buscar asesoramiento sanitario en plataformas de IA y mecanismos que mejoren la calidad y la precisión de la información a la que se accede.

A medida que evoluciona el panorama tecnológico, también lo hace la forma en que accedemos e interpretamos la información sanitaria. Esto es un claro recordatorio de la importancia crucial de la simplicidad y la claridad en las preguntas de IA, así como del potencial de desinformación al introducir evidencia compleja. Por lo tanto, el objetivo sería utilizar la IA a la perfección; por ejemplo, para optimizar el acceso a información sanitaria fiable, lo que requiere un mejor análisis de la compleja dinámica que existe entre las capacidades de procesamiento de la IA y las consultas sanitarias.

Lo que el estudio de CSIRO y la UQ descubrió simplemente recalca que la combinación de IA con la recuperación de información sanitaria es desalentadoramente compleja, y la probabilidad de obtener respuestas erróneas es muy alta. Con el creciente papel crucial de la IA en nuestra vida diaria, especialmente en la información sanitaria, es hora de que empecemos a comprender las limitaciones de las máquinas y las hagamos más fiables. 

Esto sin duda mejorará la disponibilidad de la información sanitaria para cada persona, e incluso la protegerá del fraude. Sin embargo, con la investigación y el desarrollo continuos, aunque esto pueda suceder, el potencial de la IA para revolucionar el campo de la información sanitaria sigue siendo inmenso, dada su aplicación, que se aborda con cautela, concienciación y compromiso con la precisión.