US-Verteidigungsministerium (DoD) schließt Pilotprogramm mit Chatbots für die Militärmedizin ab
- Das Verteidigungsministerium hat die CAIRT-Initiative abgeschlossen, die KI-Chatbots in den militärischen medizinischen Dienst integriert.
- Über 200 klinische Anbieter und Gesundheitsanalysten haben sich mit dem Projekt befasst.
- Die Übung deckte über 800 potenzielle Schwachstellen auf.
Eines der letzten Projekte unter der Biden-Administration, das mit dem DoD verbunden ist, wurde erfolgreich abgeschlossen. Das Chief Digital and Artificial Intelligence Office (CDAO) des US-Verteidigungsministeriums (DoD) hat den Pilotversuch des Crowdsourced AI Red-Teaming (CAIRT) Assurance Programms abgeschlossen. Diese Initiative zielt darauf ab, KI-Chatbots in die militärischen medizinischen Dienste zu integrieren.
Im CAIRT-Programm wurden Large-Language-Model-Chatbots (LLM) eingesetzt. Darüber hinaus CAIRT unterstützte das DoD bei der Entwicklung dezentraler, crowdsourceter Strategien zur Risikominderung und Absicherung von KI.
Über 200 klinische Anbieter und Gesundheitsanalysten trugen zur Identifizierung potenzieller Schwachstellen bei der Nutzung von KI-Chatbots in militärischen medizinischen Anwendungen bei. Bemerkenswerterweise identifizierte der Pilotversuch mehrere hundert potenzielle Probleme, wie das DoD berichtete.
In diesem Zusammenhang sagte das DoD: „Diese Übung wird zu wiederholbaren und skalierbaren Ergebnissen führen, indem Benchmark-Datensätze entwickelt werden, die zur Bewertung zukünftiger Anbieter und Tools auf ihre Übereinstimmung mit den Leistungsanforderungen verwendet werden können.“
CAIRT-Programm hinter den Kulissen
Laut DoD führte eine gemeinnützige humane Intelligenz den CAIRT-LLM-Pilotversuch durch. Dies geschah in Partnerschaft mit der Defense Health Agency (DHA) und dem Program Executive Office of Defense Healthcare Management Systems (PEO DHMS).
Darüber hinaus nutzte die humane Intelligenz die Red-Teaming-Methodik, um spezifische Systemprobleme zu identifizieren. Dies umfasste die interne Testung der Systemresilienz unter Verwendung adversärer Techniken.
Darüber hinaus zogen Red-Teaming-Übungen Teilnehmer an, die daran interessiert sind, mit aufkommenden Technologien zu interagieren, und potenzielle zukünftige Nutzter. Ihnen wurde die Möglichkeit gegeben, zur Verbesserung der Systeme beizutragen.
In diesem Programm nutzte die humane Intelligenz crowdsourcetes Red-Teaming, um zwei potenzielle Anwendungen in der Militärmedizin zu adressieren: die Zusammenfassung klinischer Notizen und einen medizinischen Beratungs-Chatbot.
Obwohl Schwachstellen identifiziert wurden, hob das DoD hervor: „Diese Erkenntnisse werden eine entscheidende Rolle bei der Gestaltung von DoD-Richtlinien und Best Practices für den verantwortungsvollen Einsatz von Generative AI (GenAI), spielen und letztlich die medizinische Versorgung im Militär verbessern. Falls diese zukünftigen Anwendungsfälle, wenn sie eingeführt werden, als abgedeckte KI gemäß OMB M-24-10 gelten, werden sie alle erforderlichen Risikomanagementpraktiken einhalten.“
Trotzdem erklärte das DoD, dass das CAIRT Assurance Program weiterhin LLMs und KI-Systeme testen wird. Dies wird die KI-Rapid-Capabilities-Zelle des CDAO beschleunigen, das GenAI-Ziel wirksamer machen und dazu beitragen, das Vertrauen in alle DoD-Anwendungsfälle aufzubauen.
Dr. Matthew Johnson, der Leiter des CDAO für diese Initiative, sagte auch: „Da der Einsatz von GenAI für solche Zwecke innerhalb des DoD noch in den frühen Phasen des Pilotierens und Experimentierens steckt, dient dieses Programm als wesentlicher Wegbereiter zur Generierung einer großen Menge an Testdaten, zur Identifizierung von Berücksichtigungsbereichen und zur Validierung von Minderungsmaßnahmen, die die zukünftige Forschung, Entwicklung und Absicherung von GenAI-Systemen, die möglicherweise in der Zukunft eingesetzt werden, prägen werden.“
Es wird erwartet, dass die kommende Verwaltung diese Projekte fortsetzt. Trumps Team ist offen für KI, auch wenn es darum geht, mit China zu konkurrieren.
Wie sicher ist KI im medizinischen Bereich?
Obwohl KI einen enorm positiven Einfluss auf die medizinische Wissenschaft hat, geht sie mit mehreren erheblichen Risiken und Gefahren einher.
Für den Status quo nutzen KI-Systeme spezifische Algorithmen, die massive Datensätze erfordern, um die Genauigkeit zu erhöhen. Diese Methode bringt sensible Patientendaten in Bezug auf Sicherheit, Datenschutz und Vertraulichkeit in Gefahr. Da pharmazeutische und Versicherungsunternehmen derzeit an solchen Datensätzen interessiert sind, hat das Hacking stark zugenommen. Das Hacken von medizinischen Akten kann auch Teil eines staatlichen Cyberangriffs sein.
Darüber hinaus ist Data Poisoning, also die vorsätzliche Veränderung medizinischer Daten, um Fehler oder Verzerrungen in der Gesundheitsversorgung zu verursachen, ein weiteres großes Risiko des Missbrauchs medizinischer Daten. Dies beeinträchtigt die Genauigkeit und Zuverlässigkeit medizinischer Ratschläge. KI, die verschiedene epidemiologische Datenmodelle verwendet, wie während der COVID-19-Pandemie, kann unterschiedliche Ergebnisse liefern.
Ein weiteres Problem wäre ein fehlerhafter medizinischer Algorithmus. Dies kann auf unzureichende Algorithmentests zurückzuführen sein, da es keine etablierten Standards zur Überprüfung ihrer Gültigkeit gibt. Zum Beispiel sind doppelblinde Studien die effektivste Methode, um nachzuweisen, dass eine Behandlung wirkt.
Dennoch: Wer wäre für einen solchen Fehler haftbar – der persönliche Arzt, das Krankenhaus, der Geräteanbieter oder der Algorithmenentwickler? Somit werfen medizinische Fehler, die durch Maschinenausfälle verursacht werden, ernsthafte rechtliche Fragen auf.
KI-Chatbots als Ärzte? 🤖 Noch nicht ganz.
Eine Studie zeigt, dass ihre diagnostischen Fähigkeiten bestenfalls wackelig sind.
Healthcare-KI braucht noch einen Denkanstoß, bevor man ihr das Vertrauen in die eigene Gesundheit schenken kann. 🩺 pic.twitter.com/W2ast8S7iO
— CAD Black Ops (@CADBlackOps) Januar 2, 2025
Außerdem kann KI die Arzt-Patienten-Beziehung beeinträchtigen. Daher müssen Ärzte die Bewertung und Leistung von KI verstehen, um ihre Rolle den Patienten zu erklären und deren Angst zu reduzieren.
Schließlich gibt es ein Phänomen, das als „fauler Arzt“-Effekt bekannt ist. Wenn der Arzt ausschließlich KI-Algorithmen für Diagnose und Behandlung einsetzt, kann dies zu einem fortschreitenden, irreversiblen Verlust praktischer Fähigkeiten, intellektueller Kreativität und der Fähigkeit zur Lösung medizinischer Probleme führen.
Dennoch haben sich die Menschen daran gewöhnt, Chatbots in ihrem Alltag zu nutzen. Mit angemessener Forschung können KI-Chatbots die kleinen Fehler, die Ärzte machen, beseitigen und so den medizinischen Bereich sicherer machen.
Die klügsten Krypto-Köpfe lesen bereits unseren Newsletter. Lust dabei? Mach mit.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com Wir übernehmen keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor jeglichen Anlageentscheidungen eine unabhängige Recherche durchzuführen und/oder einen qualifizierten Fachmann zu konsultieren.
Florence Muchai
Florence berichtet seit sechs Jahren über Kryptowährungen, Gaming, Technologie und KI. Ihr Studium der Computerwissenschaften an der Meru University of Science and Technology sowie ihr Studium im Bereich Katastrophenmanagement und internationale Diplomatie an der MMUST haben sie umfassend mit Sprach-, Beobachtungs- und technischen Fähigkeiten ausgestattet. Florence war bei der VAP Group tätig und arbeitete als Redakteurin für mehrere Krypto-Medienhäuser.
