El Departamento de Defensa de EE. UU., DoD, completa un programa piloto usando chatbots para la medicina militar

Uno de los últimos proyectos vinculados al DoD y bajo la administración de Biden ha llegado a un cierre exitoso. La Oficina de Inteligencia Digital y de Inteligencia Artificial (CDAO) del Departamento de Defensa de EE. UU. (DoD) ha completado el programa piloto de Aseguramiento de Red Teaming de IA Colaborativo (CAIRT). Esta iniciativa está dedicada a integrar chatbots de IA en los servicios médicos militares. 

Los chatbots de modelos de lenguaje grande (LLM) se implementaron en el programa CAIRT. Además, CAIRT asistió al DoD en el desarrollo de estrategias descentralizadas y colaborativas para la Mitigación de Riesgos de IA y la Aseguramiento de IA.

Más de 200 proveedores clínicos y analistas de salud contribuyeron a la identificación de posibles vulnerabilidades en el uso de chatbots de IA en aplicaciones médicas militares. Notablemente, el piloto identificó varios cientos de problemas potenciales, según informó el DoD.

A ese respecto, el DoD dijo: “Este ejercicio resultará en una salida repetible y escalable mediante el desarrollo de conjuntos de datos de referencia, que se pueden usar para evaluar futuros proveedores y herramientas para la alineación con las expectativas de rendimiento.” 

CAIRT programa detrás de escena

Según el DoD, una inteligencia humana sin fines de lucro realizó el piloto LLM de CAIRT. Logró esto en asociación con la Agencia de Salud de la Defensa (DHA) y la Oficina Ejecutiva de Programas de Sistemas de Gestión de Salud de la Defensa (PEO DHMS).

Además, la inteligencia humana utilizó la metodología de red teaming para identificar problemas específicos del sistema. Esto involucró la prueba interna de la resiliencia del sistema utilizando técnicas adversarias. 

Además, el red teaming atrajo a participantes interesados en interactuar con tecnologías emergentes y como posibles futuros beneficiarios. Se les permitió la oportunidad de contribuir a la mejora de los sistemas.

En este programa, la inteligencia humana utilizó el red teaming colaborativo para abordar dos aplicaciones potenciales en la medicina militar: la resumización de notas clínicas y un chatbot de asesoramiento médico.

Aunque se identificaron vulnerabilidades, el DoD destacó: “estos desempeñarán un papel crucial en la configuración de las políticas del DoD y las mejores prácticas para el uso responsable de IA Generativa (GenAI), mejorando finalmente la atención médica militar. Si, cuando se desplieguen, estos casos de uso prospectivos comprenden la IA cubierta definida en OMB M-24-10, se adherirán a todas las prácticas de gestión de riesgos requeridas.”

Sin embargo, el Departamento de Defensa (DoD) declaró que el Programa de Garantía CAIRT seguirá probando los modelos de lenguaje grande (LLM) y los sistemas de IA. Esto acelerará la Célula de Capacidades Rápidas de IA del CDAO, hará que el objetivo de IA generativa sea más efectivo y ayudará a generar confianza en todos los casos de uso del DoD.

El líder del CDAO para esta iniciativa, el Dr. Matthew Johnson, también dijo: “Dado que la aplicación de la IA generativa para tales propósitos dentro del DoD se encuentra en etapas tempranas de pilotaje y experimentación, este programa actúa como un explorador esencial para generar una gran cantidad de datos de prueba, identificar áreas a considerar y validar opciones de mitigación que darán forma a la futura investigación, desarrollo y garantía de sistemas de IA generativa que puedan desplegarse en el futuro,”

Se espera que la próxima administración continúe con estos proyectos. El equipo de Trump es abierto a la IA incluso mientras busca competir con China.

¿Qué tan segura es la IA en el ámbito médico? 

Aunque la IA tiene un impacto enormemente beneficioso en la ciencia médica, también conlleva varios riesgos y peligros significativos.

Para su funcionamiento, los sistemas de IA utilizan algoritmos específicos que requieren conjuntos de datos masivos para aumentar la precisión. Este método pone en riesgo los datos sensibles de los pacientes en cuanto a seguridad, privacidad y confidencialidad. Actualmente, dado que las corporaciones farmacéuticas y de seguros están interesadas en dichos conjuntos de datos, el hacking ha aumentado considerablemente. El hackeo de archivos médicos también puede ser parte de un ciberataque gubernamental.

Además, la envenenación de datos, la modificación intencional de datos médicos para inducir errores o sesgos en la atención médica, es otro riesgo importante del mal uso de los datos médicos. Esto afecta la precisión y confiabilidad de los consejos médicos. La IA que utiliza diferentes modelos de datos epidemiológicos, como en la pandemia de COVID-19, puede arrojar resultados diversos.

Otro problema sería un algoritmo médico defectuoso. Esto puede deberse a una prueba inadecuada del algoritmo, ya que no existen estándares establecidos para probar su validez. Por ejemplo, los ensayos doble ciego son la forma más efectiva de demostrar que un tratamiento funciona. 

Sin embargo, ¿quién sería responsable de tal error: el médico personal, el hospital, el proveedor de equipos o el desarrollador del algoritmo? Por lo tanto, los errores médicos causados por fallos de la máquina plantean serias cuestiones legales.

¿Chatbots de IA actuando como doctores? 🤖 Todavía no.

Un estudio revela que sus habilidades diagnósticas son, como mucho, cuestionables.

La IA en la salud aún necesita un impulso cerebral antes de que pueda ser confiable con tu salud. 🩺 pic.twitter.com/W2ast8S7iO

— CAD Black Ops (@CADBlackOps) enero 2, 2025

Además, la IA también podría deteriorar la relación médico-paciente. Por lo tanto, los médicos deben comprender la evaluación y el rendimiento de la IA para explicar su papel a los pacientes y reducir la ansiedad de estos.

Finalmente, existe un fenómeno conocido como el efecto del “médico perezoso”. Si el médico emplea exclusivamente algoritmos de IA para el diagnóstico y el tratamiento, esto puede resultar en una pérdida progresiva e irreversible de habilidades prácticas, creatividad intelectual y la capacidad de resolver problemas médicos.

Sin embargo, la gente se ha acostumbrado a los chatbots en sus vidas diarias. Con la investigación adecuada, los chatbots de IA pueden eliminar los pequeños errores que cometen los médicos, haciendo así el ámbito médico más seguro.