La regulación de los chatbots de IA es imperativa para la seguridad del paciente en la atención médica

Las herramientas de chat generativas basadas en LLM, como ChatGPT y MedPaLM de Google, muestran un gran potencial en el campo médico. Sin embargo, el uso no regulado de chatbots de IA conlleva riesgos inherentes. Un artículo reciente profundiza en la urgente cuestión internacional de regular los Modelos de Lenguaje Grande (LLM) en general y específicamente dentro del sector sanitario. El profesor Stephen Gilbert, experto en Ciencias Regulatorias de Dispositivos Médicos, enfatiza la necesidad de desarrollar nuevos marcos que prioricen la seguridad del paciente al utilizar estos potentes chatbots.

Los LLM son modelos de lenguaje de redes neuronales conocidos por sus notables habilidades conversacionales. Pueden generar respuestas similares a las humanas y mantener conversaciones interactivas. Sin embargo, una de las principales preocupaciones es que a menudo proporcionan información altamente convincente pero incorrecta o inapropiada. Actualmente, no existe una forma fiable de determinar la calidad, el nivel de evidencia o la consistencia de la información clínica y la evidencia de apoyo proporcionada por estos chatbots. En consecuencia, confiar en ellos para obtener consejos médicos puede ser inseguro, lo que justifica el establecimiento de nuevos marcos para garantizar el bienestar del paciente.

Integración de chatbots con motores de búsqueda

La investigación muestra que muchas personas buscan síntomas en línea antes de buscar consejo médico, confiando a menudo en los resultados de los motores de búsqueda. La próxima integración de chatbots basados en LLM en los motores de búsqueda puede aumentar aún más la confianza de los usuarios en las respuestas proporcionadas por estas herramientas conversacionales. Sin embargo, los estudios han demostrado que los LLM pueden producir información profundamente peligrosa cuando se enfrentan a consultas médicas. Esto subraya la urgente necesidad de un control regulatorio sobre la integración de LLM con motores de búsqueda.

Un problema inherente de los LLM radica en su falta de un modelo de "verdad fundamental" médica, lo que los hace intrínsecamente riesgosos. Ya se han producido casos en los que los LLM con interfaz de chat proporcionaron respuestas médicas dañinas o fueron utilizados de manera no ética en experimentos con pacientes sin el consentimiento adecuado. Casi todos los casos de uso médico que implican LLM requieren supervisión regulatoria en la UE y EE. UU. En EE. UU., su falta de explicabilidad los descalifica para ser clasificados como "no dispositivos". Ningún LLM exhibe explicabilidad, bajo sesgo, predictibilidad, corrección y salidas verificables. En consecuencia, no están exentos de los enfoques de gobernanza actuales o futuros.

Aplicaciones potenciales bajo los marcos existentes

Los autores del artículo describen los escenarios limitados en los que los LLM podrían aplicarse bajo los marcos regulatorios actuales. También describen cómo los desarrolladores pueden esforzarse por crear herramientas basadas en LLM que podrían obtener la aprobación como dispositivos médicos. Sin embargo, es importante tener en cuenta que los chatbots basados en LLM actuales no cumplen los principios esenciales para la IA en la atención médica, como el control del sesgo, la explicabilidad, los sistemas de supervisión, la validación y la transparencia. Para ganar su lugar en el campo médico, los chatbots deben estar diseñados para mejorar la precisión, demostrando seguridad y eficacia clínica aprobadas por los reguladores.

Regular los chatbots de IA, particularmente los basados en LLM, como dispositivos médicos es vital para garantizar la seguridad del paciente en la atención médica. Los riesgos asociados con su uso no regulado destacan la necesidad de desarrollar marcos que aborden las preocupaciones sobre precisión, seguridad y eficacia clínica. Para establecer la confianza en las herramientas basadas en LLM, deben adherirse a los principios clave para la IA en la atención médica. La colaboración entre desarrolladores y reguladores es crucial para establecer directrices que promuevan la implementación responsable y ética de los chatbots basados en LLM dentro del ámbito médico.