Le département de la Défense des États-Unis (DoD) achève un programme pilote utilisant des chatbots pour la médecine militaire
- Le ministère de la Défense a achevé l'initiative CAIRT qui intègre des chatbots d'IA aux services médicaux militaires.
- Plus de 200 prestataires cliniques et analystes en santé ont examiné le projet.
- L'exercice a révélé plus de 800 constats de vulnérabilités potentielles.
L’un des derniers projets liés au Département de la Défense (DoD) et sous l’administration Biden a pris fin avec succès. Le Bureau de l’Intelligence Artificielle et du Numérique (CDAO) du Département de la Défense des États-Unis (DoD) a achevé le pilote du programme d’assurance CAIRT (Crowdsourced AI Red-Teaming). Cette initiative est dédiée à l’intégration de chatbots IA dans les services médicaux militaires.
Des chatbots basés sur des grands modèles de langage (LLM) ont été mis en œuvre dans le programme CAIRT. De plus, CAIRT a assisté le DoD dans le développement de stratégies décentralisées et crowdsourcées pour l’atténuation des risques de l’IA et l’assurance de l’IA.
Plus de 200 prestataires cliniques et analystes de la santé ont contribué à l’identification des vulnérabilités potentielles dans l’utilisation des chatbots IA dans les applications médicales militaires. Notamment, le pilote a identifié plusieurs centaines de problèmes potentiels, selon le DoD.
À cet égard, le DoD a déclaré : « Cet exercice aboutira à une sortie répétable et évolutive via le développement de jeux de données de référence, qui peuvent être utilisés pour évaluer les futurs fournisseurs et outils pour leur alignement avec les attentes de performance. »
CAIRT programme en coulisses
Selon le DoD, une intelligence humaine non lucrative a réalisé le pilote LLM CAIRT. Elle y est parvenue en partenariat avec l’Agence de Santé de la Défense (DHA) et le Bureau Exécutif des Programmes des Systèmes de Gestion de la Santé de la Défense (PEO DHMS).
De plus, l’intelligence humaine a utilisé la méthodologie de red-teaming pour identifier des problèmes spécifiques du système. Cela impliquait des tests internes de résilience du système en utilisant des techniques adversariales.
En outre, le red-teaming a attiré des participants intéressés par l’interaction avec les technologies émergentes et en tant que bénéficiaires potentiels futurs. Ils ont eu l’opportunité de contribuer à l’amélioration des systèmes.
Dans ce programme, l’intelligence humaine a utilisé le red-teaming crowdsourcé pour adresser deux applications potentielles en médecine militaire : la synthèse des notes cliniques et un chatbot de conseil médical.
Bien que des vulnérabilités aient été identifiées, le DoD a souligné : « ces résultats joueront un rôle crucial dans l’élaboration des politiques et des meilleures pratiques du DoD pour une utilisation responsable de l’ IA Générative (GenAI), améliorant in fine les soins médicaux militaires. Si, lorsqu’elles seront déployées, ces cas d’utilisation prospectifs constituent une IA couverte définie dans OMB M-24-10, elles se conformeront à toutes les pratiques de gestion des risques requises. »
Cependant, le DoD a déclaré que le Programme d’Assurance CAIRT continuera de tester les LLM et les systèmes IA. Cela accélérera la Cellule de Capacités Rapides IA du CDAO, rendra l’objectif GenAI plus efficace et aidera à bâtir la confiance dans tous les cas d’utilisation du DoD.
Le responsable du CDAO pour cette initiative, le Dr Matthew Johnson, a également déclaré : « Puisque l’application de la GenAI à de tels usages au sein du DoD est à un stade plus précoce de pilotage et d’expérimentation, ce programme agit comme un chemin essentiel pour générer une masse de données de test, mettre en lumière des domaines à considérer et valider des options d’atténuation qui façonneront la recherche, le développement et l’assurance futurs des systèmes GenAI qui pourraient être déployés à l’avenir, »
L’administration à venir devrait poursuivre ces projets. L’équipe de Trump est ouverte d’esprit sur l’IA même alors qu’elle cherche à rivaliser avec la Chine.
Quelle est la sécurité de l’IA dans le paysage médical ?
Bien que l’IA ait un impact énormément bénéfique sur les sciences médicales, elle est suivie de plusieurs risques et dangers significatifs.
Pour l’état actuel, les systèmes IA utilisent des algorithmes spécifiques qui nécessitent d’énormes ensembles de données pour augmenter la précision. Cette méthode met les données sensibles des patients à risque en matière de sécurité, de confidentialité et de discrétion. Actuellement, puisque les corporations pharmaceutiques et d’assurance s’intéressent à de tels ensembles de données, le piratage s’est considérablement développé. Le piratage des dossiers médicaux peut également faire partie d’une cyberattaque gouvernementale.
De plus, l’empoisonnement des données, la modification intentionnelle des données médicales pour induire des erreurs ou des biais dans les soins de santé, est un autre risque majeur de mauvaise utilisation des données médicales. Cela nuit à la précision et à la fiabilité des conseils médicaux. L’IA utilisant différents modèles de données épidémiologiques, comme lors de la pandémie de COVID-19, peut produire des résultats divers.
Un autre problème serait un algorithme médical défectueux. Cela peut être dû à des tests d’algorithme inadéquats puisqu’il n’y a pas de normes établies pour tester sa validité. Par exemple, les essais en double aveugle sont le moyen le plus efficace de prouver qu’un traitement fonctionne.
Cependant, qui serait responsable d’une telle erreur – le médecin personnel, l’hôpital, le fournisseur d’équipement ou le développeur d’algorithme ? Ainsi, les erreurs médicales causées par un dysfonctionnement de la machine soulèvent de sérieux problèmes juridiques.
Des chatbots IA jouant au médecin ? 🤖 Pas encore tout à fait.
Une étude révèle que leurs compétences diagnostiques sont fragiles, pour le moins.
L’IA dans les soins de santé a encore besoin d’un coup de pouce cérébral avant de pouvoir être fiable pour votre santé. 🩺 pic.twitter.com/W2ast8S7iO
— CAD Black Ops (@CADBlackOps) le 2 janvier 2025
De plus, l’IA peut également altérer les relations médecin-patient. Par conséquent, les médecins sont tenus de comprendre l’évaluation et la performance de l’IA pour expliquer son rôle aux patients et réduire l’anxiété des patients.
Enfin, il existe un phénomène connu sous le nom d’effet « médecin paresseux ». Si le médecin emploie exclusivement des algorithmes IA pour le diagnostic et le traitement, cela peut entraîner une perte progressive et irréversible des compétences pratiques, de la créativité intellectuelle et de la capacité à résoudre des problèmes médicaux.
Cependant, les gens se sont habitués à les chatbots dans leur vie quotidienne. Avec une recherche appropriée, les chatbots IA peuvent éliminer les petites erreurs que les médecins commettent, rendant ainsi l’espace médical plus sûr.
Si vous lisez ceci, vous êtes déjà en avance. Restez ainsi grâce à notre newsletter.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Florence Muchai
Florence couvre depuis 6 ans l'actualité crypto, du jeu vidéo, de la technologie et de l'IA. Ses études en informatique à l'Université de sciences et technologies de Meru et sa formation en gestion des catastrophes et en diplomatie internationale à l'MMUST lui ont amplement permis de développer des compétences linguistiques, d'observation et techniques. Florence a travaillé au sein du groupe VAP et en tant qu'éditrice pour plusieurs médias spécialisés dans la crypto.
