El Departamento de Defensa de EE. UU. (DoD) completa un programa piloto que utiliza chatbots para medicina militar

Uno de los últimos proyectos vinculados al Departamento de Defensa (DoD) bajo la administración de Biden ha culminado con éxito. La Oficina Principal de Inteligencia Digital y Artificial (CDAO) del Departamento de Defensa de EE. UU. (DoD) ha completado el programa piloto de Garantía de Equipos Rojos de Inteligencia Artificial (CAIRT) de Colaboración Colectiva. Esta iniciativa se dedica a integrar chatbots de IA en los servicios médicos militares. 

Los chatbots del modelo de lenguaje grande (LLM) se implementaron en el programa CAIRT. Además, CAIRT ayudó al Departamento de Defensa (DoD) a desarrollar estrategias descentralizadas y colaborativas para la mitigación y el aseguramiento de riesgos de la IA.

Más de 200 profesionales clínicos y analistas de salud contribuyeron a ladentde posibles vulnerabilidades en el uso de chatbots de IA en aplicaciones médicas militares. Cabe destacar que el pilotodentvarios cientos de problemas potenciales, según lo informado por el Departamento de Defensa.

Con ese fin, el Departamento de Defensa afirmó: "Este ejercicio dará como resultado una producción repetible y escalable mediante el desarrollo de conjuntos de datos de referencia, que podrán utilizarse para evaluar a futuros proveedores y herramientas y comprobar su adecuación a las expectativas de rendimiento". 

El programa CAIRT tras bambalinas

Según el Departamento de Defensa, una organización sin fines de lucro de inteligencia humanitaria llevó a cabo el programa piloto CAIRT LLM. Esto se logró en colaboración con la Agencia de Salud de Defensa (DHA) y la Oficina Ejecutiva del Programa de Sistemas de Gestión de la Atención Médica de Defensa (PEO DHMS).

Además, la inteligencia humanitaria empleó la metodología de trabajo en equipo paradentproblemas específicos del sistema. Esto implicó la realización de pruebas internas de la resiliencia del sistema mediante técnicas adversarias. 

Además, el trabajo en equipo atrajo a participantes interesados ​​en interactuar con tecnologías emergentes y como posibles beneficiarios futuros. Se les brindó la oportunidad de contribuir a la mejora de los sistemas.

En este programa, la inteligencia humana utilizó la colaboración colectiva para abordar dos posibles aplicaciones en la medicina militar: el resumen de notas clínicas y un chatbot de asesoramiento médico.

Aunque se identificaron vulnerabilidadesdentel Departamento de Defensa destacó que «estos hallazgos desempeñarán un papel crucial en la configuración de las políticas y las mejores prácticas del Departamento de Defensa para el uso responsable de la IA generativa (GenAI), lo que en última instancia mejorará la atención médica militar. Si, una vez implementados, estos posibles casos de uso comprenden IA cubierta defien la OMB M-24-10, cumplirán con todas las prácticas de gestión de riesgos requeridas».

Aun así, el Departamento de Defensa (DoD) declaró que el Programa de Garantía de CAIRT seguirá probando LLM y sistemas de IA. Esto agilizará la Célula de Capacidades Rápidas de IA del CDAO, aumentará la eficacia del objetivo de GenAI y contribuirá a generar confianza en todos los casos de uso del DoD.

El Dr. Matthew Johnson, responsable de esta iniciativa en CDAO, también afirmó: «Dado que la aplicación de la IA genómica para tales fines dentro del Departamento de Defensa se encuentra en las primeras etapas de pruebas piloto y experimentación, este programa actúa como un pionero esencial para generar una gran cantidad de datos de prueba, identificar áreas a considerar y validar opciones de mitigación que darán forma a la investigación, el desarrollo y la garantía futuros de los sistemas de IA genómica que puedan implementarse en el futuro».

Se espera que la próxima administración continúe con estos proyectos. El equipo de Trump mantiene una actitud abierta hacia la IA, incluso cuando busca competir con China.

¿Qué tan segura es la IA en el panorama médico? 

Si bien la IA tiene un impacto enormemente beneficioso en la ciencia médica, conlleva varios riesgos y peligros importantes.

Para el estado, los sistemas de IA utilizan algoritmos específicos que requieren conjuntos de datos masivos para aumentar la precisión. Este método pone en riesgo la seguridad, la privacidad y la confidencialidad de los datos confidenciales de los pacientesdentActualmente, dado el interés de las empresas farmacéuticas y aseguradoras en estos conjuntos de datos, la piratería informática se ha expandido enormemente. La piratería de archivos médicos también puede formar parte de un ciberataque gubernamental.

Además, el envenenamiento de datos, es decir, la modificación intencional de datos médicos para inducir errores o sesgos en la atención médica, constituye otro riesgo importante del uso indebido de datos médicos. Esto perjudica la precisión y la fiabilidad del asesoramiento médico. La IA que utiliza diferentes modelos de datos epidemiológicos, como en la pandemia de COVID-19, puede arrojar resultados diversos.

Otro problema sería un algoritmo médico defectuoso. Esto podría deberse a pruebas inadecuadas del algoritmo, ya que no existen estándares establecidos para comprobar su validez. Por ejemplo, los ensayos doble ciego son la forma más eficaz de demostrar la eficacia de un tratamiento. 

Aun así, ¿quién sería responsable de tal error: el médico de cabecera, el hospital, el proveedor del equipo o el desarrollador del algoritmo? Por lo tanto, los errores médicos causados ​​por un mal funcionamiento de las máquinas plantean graves problemas legales.

¿Chatbots de IA jugando al doctor? 🤖 Todavía no.

Un estudio revela que sus habilidades de diagnóstico son, en el mejor de los casos, precarias.

La IA en el sector sanitario aún necesita un impulso intelectual antes de que se pueda confiar en ella para el cuidado de tu salud. 🩺 pic.twitter.com/W2ast8S7iO

— CAD Black Ops (@CADBlackOps) 2 de enero de 2025

Además, la IA también puede perjudicar la relación médico-paciente. Por lo tanto, los médicos deben comprender la evaluación y el rendimiento de la IA para explicar su función a los pacientes y reducir su ansiedad.

Finalmente, existe un fenómeno conocido como el efecto del "médico perezoso". Si el médico utiliza exclusivamente algoritmos de IA para el diagnóstico y el tratamiento, esto puede resultar en una pérdida progresiva e irreversible de habilidades prácticas, creatividad intelectual y capacidad para resolver problemas médicos.

Sin embargo, las personas se han acostumbrado a los chatbots en su vida diaria. Con una investigación adecuada, los chatbots de IA pueden eliminar los pequeños errores que cometen los médicos, haciendo así más seguro el entorno médico.