ChatGPT tiene la capacidad de pasar exámenes médicos, según los informes, pero no será una decisión inteligente confiar en él para algunas evaluaciones de salud serias, por ejemplo, si un paciente con dolor en el pecho necesita ser hospitalizado, según una nueva investigación.
ChatGPT es inteligente pero falla en la evaluación del corazón
En una investigación publicada en la revista PLOS ONE, ChatGPT arrojó conclusiones diferentes al arrojar niveles de riesgo cardíaco inconsistentes para el mismo paciente en un estudio que involucró a miles de pacientes con dolor en el pecho.
Un investigador de la Facultad de Medicina Elson S. Floyd de la Universidad Estatal de Washington, el Dr. Thomas Heston, quien también fue el autor principal de la investigación, dijo:
“ChatGPT no actuaba de forma consistente; con los mismos datos, ChatGPT otorgaba una puntuación de riesgo bajo, luego una de riesgo intermedio y, en ocasiones, incluso de riesgo alto”
Fuente: WSU .
Según los investigadores, el problema probablemente se deba al grado de aleatoriedad incorporado en la versión reciente del software, ChatGPT-4, ya que le permite diversificar sus respuestas para imitar el lenguaje natural. Sin embargo, Heston afirma que este mismo nivel de aleatoriedad no funciona en casos de uso en el ámbito sanitario y puede ser peligroso, ya que exige una respuesta única y consistente.
Los médicos necesitan evaluar rápidamente la urgencia de la condición de un paciente, ya que los dolores en el pecho son una queja cotidiana en las salas de emergencia de los hospitales.
Algunos de los pacientes muy graves pueden identificarse fácilmente dent sus síntomas , pero los más complicados son aquellos que tienen un riesgo menor, dijo el Dr. Heston, especialmente cuando necesitan decidir si alguien está fuera de riesgo lo suficiente como para ser enviado a casa con servicios de atención ambulatoria o debe ser internado.
Otros sistemas resultan más fiables
Una red neuronal de IA como ChatGPT, que se entrena con una gran cantidad de parámetros con enormes conjuntos de datos, puede evaluar miles de millones de variables en segundos, lo que le da la capacidad de comprender un escenario complejo más rápido y de una manera mucho más detallada.
El Dr. Heston dice que los profesionales médicos utilizan principalmente dos modelos para las evaluaciones de riesgo cardíaco llamados HEART y TIMI, y le gusta el software porque utiliza una serie de variables, incluida la edad, el historial de salud y los síntomas, y se basa en menos variables que ChatGPT.
Para el estudio de investigación, el Dr. Heston y su colaborador, el Dr. Lawrence Lewis, del campus de San Luis de la misma universidad, utilizaron tres conjuntos de datos de 10 000 casos simulados aleatoriamente cada uno. Un conjunto de datos contenía cinco variables de la escala cardíaca; otro, siete variables del TIMI; y el tercero, 44 variables seleccionadas aleatoriamente.
En los dos primeros conjuntos de datos, ChatGPT arrojó una evaluación de riesgo inconsistente entre el 45 % y el 48 % de las veces en los casos simulados individuales, en comparación con una puntuación constante de TIMI y HEART. Sin embargo, en el tercer conjunto de datos, a pesar de ejecutarlo varias veces, ChatGPT arrojó resultados diferentes para los mismos casos.
El Dr. Heston cree que existe un mayor potencial para la GenAI en la atención médica a medida que la tecnología avanza, a pesar de los resultados insatisfactorios del estudio . Según él, se pueden cargar los historiales médicos a los sistemas y, en caso de emergencia, los médicos podrían solicitar a ChatGPT que proporcione la información más importante sobre el paciente. También se le puede solicitar que genere posibles diagnósticos y el razonamiento para cada uno, lo que ayudará a los médicos a identificar un problema.
