Das US-Verteidigungsministerium (DoD) hat ein Pilotprogramm zum Einsatz von Chatbots in der Militärmedizin abgeschlossen

Eines der letzten Projekte des US-Verteidigungsministeriums unter der Regierung von Joe Biden wurde erfolgreich abgeschlossen. Das Chief Digital and Artificial Intelligence Office (CDAO) des US-Verteidigungsministeriums hat das Pilotprojekt des Programms „Crowdsourced AI Red-Teaming (CAIRT) Assurance“ erfolgreich beendet. Ziel dieser Initiative war die Integration von KI-Chatbots in den Sanitätsdienst des Militärs. 

Im Rahmen des CAIRT-Programms wurden Chatbots mit großen Sprachmodellen (LLM) implementiert. Darüber hinaus CAIRT das US-Verteidigungsministerium bei der Entwicklung dezentraler, auf Crowdsourcing basierender Strategien zur Minderung von KI-Risiken und zur Gewährleistung von KI-Sicherheit.

Über 200 Kliniker und Gesundheitsanalysten trugen zurdentpotenzieller Schwachstellen beim Einsatz von KI-Chatbots in militärischen medizinischen Anwendungen bei. Insbesondere wurden im Rahmen des Pilotprojekts mehrere hundert potenzielle Problemedent, wie das US-Verteidigungsministerium berichtete.

Zu diesem Zweck erklärte das Verteidigungsministerium: „Diese Übung wird durch die Entwicklung von Benchmark-Datensätzen zu wiederholbaren und skalierbaren Ergebnissen führen, die zur Bewertung zukünftiger Anbieter und Tools hinsichtlich ihrer Übereinstimmung mit den Leistungserwartungen verwendet werden können.“ 

CAIRT-Programm hinter den Kulissen

Laut dem US-Verteidigungsministerium wurde das CAIRT LLM-Pilotprojekt von einer gemeinnützigen Organisation im Bereich humanitäre Aufklärung durchgeführt. Dies geschah in Zusammenarbeit mit der Defense Health Agency (DHA) und dem Program Executive Office of Defense Healthcare Management Systems (PEO DHMS).

Darüber hinaus nutzte der menschliche Nachrichtendienst die Red-Teaming-Methode, um spezifische Systemprobleme zudent. Dies umfasste interne Tests der Systemstabilität mithilfe von Angriffstechniken. 

Darüber hinaus zog das Red-Teaming Teilnehmer an, die an der Interaktion mit neuen Technologien interessiert sind und potenziell zukünftig davon profitieren könnten. Ihnen wurde die Möglichkeit gegeben, zur Verbesserung der Systeme beizutragen.

In diesem Programm nutzte die humane Intelligenz Crowdsourcing-Red-Teaming, um zwei potenzielle Anwendungen in der Militärmedizin zu untersuchen: die Zusammenfassung klinischer Notizen und einen medizinischen Beratungs-Chatbot.

Obwohl Schwachstellen identifiziert wurdendentbetonte das Verteidigungsministerium: „Diese Erkenntnisse werden eine entscheidende Rolle bei der Gestaltung der Richtlinien und bewährten Verfahren des Verteidigungsministeriums für den verantwortungsvollen Einsatz von generativer KI (GenAI) spielen und letztendlich die militärische medizinische Versorgung verbessern. Sollten diese potenziellen Anwendungsfälle bei ihrer Einführung unter die in OMB M-24-10 definierte KI fallen defiwerden sie alle erforderlichen Risikomanagementpraktiken einhalten.“

Dennoch erklärte das Verteidigungsministerium, dass das CAIRT-Sicherheitsprogramm weiterhin LLM- und KI-Systeme testen wird. Dies wird die KI-Schnellkapazitätszelle des CDAO beschleunigen, das GenAI-Ziel effektiver gestalten und dazu beitragen, Vertrauen in allen Anwendungsfällen des Verteidigungsministeriums aufzubauen.

Dr. Matthew Johnson, Leiter dieser Initiative bei CDAO, sagte außerdem: „Da sich die Anwendung von GenAI für solche Zwecke innerhalb des Verteidigungsministeriums noch in einem frühen Stadium der Pilotierung und Erprobung befindet, dient dieses Programm als wichtiger Wegbereiter, um eine große Menge an Testdaten zu generieren, Bereiche für die weitere Betrachtung aufzuzeigen und Abhilfemaßnahmen zu validieren, die die zukünftige Forschung, Entwicklung und Qualitätssicherung von GenAI-Systemen, die möglicherweise in Zukunft eingesetzt werden, prägen werden.“

Es wird erwartet, dass die kommende Regierung diese Projekte fortsetzen wird. Trumps Team zeigt sich KI gegenüber aufgeschlossen, auch im Hinblick auf den Wettbewerb mit China.

Wie sicher ist KI im medizinischen Bereich? 

Obwohl KI einen enorm positiven Einfluss auf die medizinische Wissenschaft hat, birgt sie auch einige bedeutende Risiken und Gefahren.

Zur Verbesserung der Genauigkeit nutzen KI-Systeme spezielle Algorithmen, die riesige Datensätze benötigen. Dadurch werden sensible Patientendaten hinsichtlich Sicherheit, Datenschutz und Vertraulichkeit gefährdetdentDa Pharma- und Versicherungsunternehmen an solchen Datensätzen interessiert sind, hat das Hacking stark zugenommen. Auch das Hacken von Patientendaten kann Teil eines staatlichen Cyberangriffs sein.

Darüber hinaus stellt die Datenvergiftung, also die absichtliche Manipulation medizinischer Daten, um Fehler oder Verzerrungen im Gesundheitswesen hervorzurufen, ein weiteres großes Risiko des Missbrauchs medizinischer Daten dar. Dies beeinträchtigt die Genauigkeit und Zuverlässigkeit medizinischer Empfehlungen. Künstliche Intelligenz, die unterschiedliche epidemiologische Datenmodelle verwendet, wie beispielsweise während der COVID-19-Pandemie, kann zu unterschiedlichen Ergebnissen führen.

Ein weiteres Problem wäre ein fehlerhafter medizinischer Algorithmus. Dies könnte auf unzureichende Tests des Algorithmus zurückzuführen sein, da es keine etablierten Standards zur Überprüfung seiner Validität gibt. Beispielsweise sind Doppelblindstudien die effektivste Methode, um die Wirksamkeit einer Behandlung nachzuweisen. 

Doch wer wäre für einen solchen Fehler haftbar – der behandelnde Arzt, das Krankenhaus, der Gerätehersteller oder der Algorithmenentwickler? Medizinische Fehler, die durch Maschinenfehlfunktionen verursacht werden, werfen daher ernsthafte rechtliche Fragen auf.

KI-Chatbots als Arzt? 🤖 Noch nicht ganz.

Eine Studie zeigt, dass ihre diagnostischen Fähigkeiten bestenfalls mangelhaft sind.

Die KI im Gesundheitswesen braucht noch einiges an Entwicklungspotenzial, bevor man ihr unsere Gesundheit anvertrauen kann. 🩺 pic.twitter.com/W2ast8S7iO

— CAD Black Ops (@CADBlackOps) 2. Januar 2025

Auch die Arzt-Patienten-Beziehung kann durch KI beeinträchtigt werden. Daher ist es für Ärzte wichtig, die Bewertung und Leistungsfähigkeit von KI zu verstehen, um Patienten deren Rolle zu erklären und Ängste abzubauen.

Schließlich gibt es noch das Phänomen des „faulen Arztes“. Wenn Ärzte ausschließlich KI-Algorithmen für Diagnose und Behandlung einsetzen, kann dies zu einem fortschreitenden, irreversiblen Verlust praktischer Fähigkeiten, intellektueller Kreativität und der Fähigkeit, medizinische Probleme zu lösen, führen.

an Chatbots gewöhnt im Alltag Mit entsprechender Forschung können KI-Chatbots die kleinen Fehler von Ärzten minimieren und so die Sicherheit im medizinischen Bereich erhöhen.