Die Regulierung von KI-Chatbots ist für die Patientensicherheit im Gesundheitswesen unerlässlich

LLM-basierte generative Chat-Tools wie ChatGPT und Googles MedPaLM versprechen viel im medizinischen Bereich. Die unregulierte Nutzung von KI-Chatbots birgt jedoch inhärente Risiken. Ein kürzlich erschienener Artikel befasst sich mit dem dringenden internationalen Problem der Regulierung von Large Language Models (LLMs) im Allgemeinen und speziell im Gesundheitswesen. Professor Stephen Gilbert, Experte für Regulatory Science im Bereich Medizinprodukte, betont die Notwendigkeit, neue Rahmenbedingungen zu entwickeln, die den Schutz der Patientensicherheit bei der Nutzung dieser leistungsstarken Chatbots priorisieren.

LLMs sind neuronale Sprachmodelle, die für ihre bemerkenswerten Konversationsfähigkeiten bekannt sind. Sie können menschenähnliche Antworten generieren und interaktive Gespräche führen. Eine der Hauptbedenken besteht jedoch darin, dass sie oft hochgradig überzeugende, aber falsche oder unangemessene Informationen liefern. Derzeit gibt es keine zuverlässige Möglichkeit, die Qualität, das Evidenzniveau oder die Konsistenz der von diesen Chatbots bereitgestellten klinischen Informationen und der unterstützenden Evidenz zu bestimmen. Folglich kann die reliance auf sie für medizinische Ratschläge unsicher sein, was die Einführung neuer Rahmenbedingungen zur Gewährleistung des Wohlergehens der Patienten erforderlich macht.

Integration von Chatbots mit Suchmaschinen

Forschungsergebnisse zeigen, dass viele Menschen online nach Symptomen suchen, bevor sie medizinischen Rat einholen, und sich dabei oft auf Suchmaschinenergebnisse verlassen. Die bevorstehende Integration von LLM-basierten Chatbots in Suchmaschinen könnte das Vertrauen der Nutzer in die von diesen Konversationstools bereitgestellten Antworten weiter stärken. Studien haben jedoch gezeigt, dass LLMs bei medizinischen Anfragen tiefgreifend gefährliche Informationen produzieren können. Dies unterstreicht den dringenden Bedarf an regulatorischer Kontrolle bei der Integration von LLMs mit Suchmaschinen.

Ein inhärentes Problem bei LLMs liegt in ihrem Mangel an einem medizinischen „Ground-Truth“-Modell, was sie intrinsisch riskant macht. Es gab bereits Vorfälle, bei denen chat-schnittstellenbasierte LLMs schädliche medizinische Antworten gaben oder unethisch in Experimenten an Patienten ohne ordnungsgemäße Einwilligung eingesetzt wurden. Fast jeder medizinische Anwendungsfall, der LLMs beinhaltet, erfordert in der EU und den USA eine regulatorische Aufsicht. In den USA schließt ihr Mangel an Erklärbarkeit sie von der Einstufung als „Non-Devices“ aus. Keine LLMs weisen Erklärbarkeit, geringe Verzerrung, Vorhersagbarkeit, Korrektheit und überprüfbare Ausgaben auf. Folglich sind sie von aktuellen oder zukünftigen Governance-Ansätzen nicht ausgenommen.

Potenzielle Anwendungen unter bestehenden Rahmenbedingungen

Die Autoren des Papiers skizzieren die begrenzten Szenarien, in denen LLMs unter aktuellen regulatorischen Rahmenbedingungen angewendet werden könnten. Sie beschreiben auch, wie Entwickler darauf hinarbeiten können, LLM-basierte Tools zu erstellen, die als Medizinprodukte zugelassen werden könnten. Es ist jedoch wichtig zu beachten, dass aktuelle LLM-basierte Chatbots die wesentlichen Prinzipien für KI im Gesundheitswesen, wie z. B. Bias-Kontrolle, Erklärbarkeit, Überwachungssysteme, Validierung und Transparenz, nicht erfüllen. Um ihren Platz im medizinischen Bereich zu verdienen, müssen Chatbots für eine verbesserte Genauigkeit konzipiert sein und Sicherheit sowie klinische Wirksamkeit nachweisen, die von den Aufsichtsbehörden genehmigt wurden.

Die Regulierung von KI-Chatbots, insbesondere LLM-basierter, als Medizinprodukte ist von entscheidender Bedeutung, um die Patientensicherheit im Gesundheitswesen zu gewährleisten. Die Risiken, die mit ihrer unregulierten Nutzung verbunden sind, unterstreichen die Notwendigkeit, Rahmenbedingungen zu entwickeln, die Bedenken hinsichtlich Genauigkeit, Sicherheit und klinischer Wirksamkeit adressieren. Um Vertrauen in LLM-basierte Tools zu schaffen, müssen sie sich an Schlüsselprinzipien für KI im Gesundheitswesen halten. Die Zusammenarbeit zwischen Entwicklern und Aufsichtsbehörden ist entscheidend für die Erstellung von Richtlinien, die die verantwortungsvolle und ethische Implementierung von LLM-basierten Chatbots im medizinischen Bereich fördern.