Le département américain de la Défense (DoD) achève un programme pilote utilisant des chatbots pour la médecine militaire

L'un des derniers projets liés au département de la Défense et menés sous l'administration Biden s'est achevé avec succès. Le Bureau du chef du numérique et de l'intelligence artificielle (CDAO) du département de la Défense des États-Unis a finalisé le programme pilote d'assurance CAIRT (Crowdsourced AI Red-Teaming). Cette initiative vise à intégrer des chatbots d'IA dans les services médicaux militaires. 

Les chatbots basés sur le modèle de langage étendu (LLM) ont été mis en œuvre dans le cadre du programme CAIRT. Par ailleurs, CAIRT a aidé le département de la Défense américain à élaborer des stratégies décentralisées et participatives pour l'atténuation des risques liés à l'IA et l'assurance de l'IA.

Plus de 200 professionnels de santé et analystes du secteur médical ont contribué à l'dentdes vulnérabilités potentielles liées à l'utilisation des chatbots d'IA dans les applications médicales militaires. Notamment, le projet pilote adentd'identifier plusieurs centaines de problèmes potentiels, selon le département de la Défense américain.

À cette fin, le ministère de la Défense a déclaré : « Cet exercice permettra d'obtenir des résultats reproductibles et évolutifs grâce à l'élaboration d'ensembles de données de référence, qui pourront être utilisés pour évaluer les futurs fournisseurs et outils afin de vérifier leur adéquation aux attentes en matière de performance. » 

Les coulisses du programme CAIRT

Selon le ministère de la Défense, l'organisation à but non lucratif Humane Intelligence a mené le projet pilote CAIRT LLM. Ce projet a été réalisé en partenariat avec la Defense Health Agency (DHA) et le Program Executive Office of Defense Healthcare Management Systems (PEO DHMS).

De plus, l'équipe de renseignement a utilisé la méthode de test d'intrusion (red teaming) pourdentdes problèmes spécifiques au sein du système. Cela impliquait des tests internes de résilience du système à l'aide de techniques d'attaque. 

De plus, les exercices d'intelligence artificielle ont attiré des participants intéressés par l'interaction avec les technologies émergentes et susceptibles d'en être de futurs bénéficiaires. Ils ont ainsi eu l'opportunité de contribuer à l'amélioration des systèmes.

Dans le cadre de ce programme, Humane Intelligence a utilisé une équipe rouge participative pour étudier deux applications potentielles en médecine militaire : la synthèse de notes cliniques et un chatbot de conseil médical.

Bien que des vulnérabilités aient étédent, le ministère de la Défense a souligné : « Ces conclusions joueront un rôle crucial dans l’élaboration des politiques et des meilleures pratiques du ministère en matière d’utilisation responsable de l’IA générative (GenAI), contribuant ainsi à améliorer les soins médicaux militaires. Si, lors de leur déploiement, ces cas d’utilisation potentiels comprennent l’IA couverte définie defila directive OMB M-24-10, ils respecteront toutes les pratiques de gestion des risques requises. »

Le ministère de la Défense a toutefois indiqué que le programme d'assurance CAIRT poursuivra les tests des modèles linguistiques et des systèmes d'IA. Cela permettra d'accélérer les travaux de la cellule d'évaluation rapide des capacités d'IA du CDAO, de rendre l'objectif de l'IA générale plus efficace et de renforcer la confiance dans tous les cas d'utilisation au sein du ministère de la Défense.

Le Dr Matthew Johnson, responsable de cette initiative au sein du CDAO, a également déclaré : « Étant donné que l'application de l'IA générique à de telles fins au sein du ministère de la Défense n'en est qu'à ses débuts, au stade de la phase pilote et expérimentale, ce programme constitue un outil essentiel pour générer une masse de données de test, identifier les domaines à prendre en considération et valider les options d'atténuation qui façonneront les futures recherches, le développement et l'assurance des systèmes d'IA générique susceptibles d'être déployés à l'avenir. »

La prochaine administration devrait poursuivre ces projets. L'équipe de Trump se montre ouverte à l'intelligence artificielle, même si elle cherche à concurrencer la Chine.

L'IA est-elle sûre dans le domaine médical ? 

Bien que l'IA ait un impact extrêmement bénéfique sur les sciences médicales, elle s'accompagne de plusieurs risques et dangers importants.

Pour évaluer l'état des données, les systèmes d'IA utilisent des algorithmes spécifiques qui nécessitent d'immenses ensembles de données pour améliorer leur précision. Cette méthode expose les données sensibles des patients à des risques pour la sécurité, la confidentialité et la protection de leurdent. Actuellement, l'intérêt des entreprises pharmaceutiques et des compagnies d'assurance pour ces données a entraîné une forte augmentation des piratages. Le piratage des dossiers médicaux peut également s'inscrire dans le cadre de cyberattaques gouvernementales.

Par ailleurs, la manipulation des données, c'est-à-dire la modification intentionnelle de données médicales visant à induire des erreurs ou des biais dans les soins de santé, constitue un autre risque majeur lié à l'utilisation abusive des données médicales. Ce phénomène nuit à la précision et à la fiabilité des avis médicaux. L'intelligence artificielle utilisant différents modèles de données épidémiologiques, comme lors de la pandémie de COVID-19, peut produire des résultats divergents.

Un autre problème pourrait être un algorithme médical défectueux. Cela pourrait être dû à des tests insuffisants de l'algorithme, car il n'existe pas de normes établies pour en vérifier la validité. Par exemple, les essais en double aveugle constituent le moyen le plus efficace de prouver l'efficacité d'un traitement. 

Cependant, qui serait responsable d'une telle erreur ? Le médecin traitant, l'hôpital, le fournisseur de l'équipement ou le concepteur de l'algorithme ? Ainsi, les erreurs médicales dues à un dysfonctionnement d'une machine soulèvent de graves questions juridiques.

Des chatbots IA qui jouent au docteur ? 🤖 Pas encore tout à fait.

Une étude révèle que leurs compétences en matière de diagnostic sont, au mieux, très fragiles.

L'IA dans le domaine de la santé a encore besoin d'être perfectionnée avant qu'on puisse lui confier votre santé. 🩺 pic.twitter.com/W2ast8S7iO

— CAD Black Ops (@CADBlackOps) 2 janvier 2025

Par ailleurs, l'IA peut aussi nuire à la relation médecin-patient. Il est donc nécessaire que les médecins comprennent l'évaluation et les performances de l'IA afin d'en expliquer le rôle aux patients et de réduire leur anxiété.

Enfin, il existe un phénomène connu sous le nom d’« effet médecin paresseux ». Si le médecin utilise exclusivement des algorithmes d’IA pour le diagnostic et le traitement, cela peut entraîner une perte progressive et irréversible de ses compétences pratiques, de sa créativité intellectuelle et de sa capacité à résoudre les problèmes médicaux.

Cependant, les chatbots font désormais partie intégrante de la vie quotidienne. Grâce à des recherches approfondies, les chatbots basés sur l'IA peuvent éliminer les petites erreurs commises par les médecins, contribuant ainsi à une meilleure sécurité dans le secteur médical.