Eine bahnbrechende Studie von Forschern der australischen Forschungsorganisation CSIRO und der University of Queensland (UQ) liefert nun einen entscheidenden Befund zur Vertrauenswürdigkeit künstlicher Intelligenz, insbesondere großer Sprachmodelle (LLMs) wie ChatGPT, bei der Generierung von Gesundheitsinformationen. Dies verdeutlicht die komplexen Herausforderungen, die sich im Zusammenhang mit der zunehmenden Integration von Technologien in die Verbreitung von Gesundheitsinformationen ergeben können.
Vereinfachen Sie für mehr Genauigkeit
Das Experiment, in dem ChatGPT auf 100 gesundheitsbezogene Fragen aus dem TREC- traczu Fehlinformationen im Gesundheitswesen getestet wurde, zeigte deutliche Unterschiede in der Genauigkeit der Antworten je nach Frageformat. Bei einfach formulierten Fragen ohne weitere Belege konnte ChatGPT in 80 % der Fälle korrekt antworten, basierend auf aktuellem medizinischem Wissen. Waren die Fragen jedoch so formuliert, dass sie die Aussage entweder befürworteten oder widerlegten, sank die Trefferquote auf 63 %.
Die Studie stellte weiterhin fest, dass die Genauigkeit auf bemerkenswerte 28 % sank, wenn ChatGPT Unsicherheit in seinen Antworten ausdrücken durfte. Es wird daher angenommen, dass solche verzerrten Aussagen, unabhängig von ihrem Wahrheitsgehalt, das System „stören“ und seine Fähigkeit zu fundierten Antwortentrackönnen. Dieses Verhalten der Sprachmodelle stellt nun eine ernsthafte Bedrohung für die Verarbeitung komplexer Informationen in gesundheitsbezogenen Anfragen und Fehlinformationen durch KI dar.
Die Herausforderung der Integration von KI in Gesundheitsinformationen
Diese Fähigkeit von LLMs und Suchtechnologien, die Bestandteil der großen Suchmaschinen sind, wird in Kombination mit Retrieval Augmented Generation (RAG)-Prozessen genutzt – einem der wichtigsten Schritte beim Online-Zugriff auf Gesundheitsinformationen. Forschungen von Dr. Bevan Koopman, leitender Wissenschaftler bei CSIRO und außerordentlicher Professor an der UQ, und Guido Zuccon vom Queensland Digital Health Center haben diese Annahme jedoch widerlegt und gezeigt, dass das Verständnis der Interaktion von LLMs mit der Suchkomponente – wenn überhaupt vorhanden – nur teilweise gegeben ist, was zu unvollständigen Datenabrufen führt.
Dies ist daher bei fortgeschrittener Nutzung von großer Bedeutung, während bei gesundheitsbezogenen Anfragen webbasierte Quellen genutzt werden können. Die Studie unterstreicht den dringenden Bedarf an weiterer Forschung, die zumindest die Wissenslücke darüber schließen soll, wie Sprachmittler Gesundheitsinformationen verarbeiten und abrufen, um die Zuverlässigkeit und Genauigkeit der Antworten für die Öffentlichkeit zu gewährleisten.
Der Weg nach vorn
Daraus folgt eindeutig, dass dringend weitere Untersuchungen zu den Fähigkeiten und Grenzen von LLMs im Kontext von Gesundheitsinformationen erforderlich sind. Die Forscher schlugen daher vor, die Öffentlichkeit für die potenziellen Risiken der Suche nach Gesundheitsratschlägen mithilfe von KI-Plattformen und Mechanismen zu sensibilisieren, die die Qualität und Genauigkeit der abgerufenen Informationen verbessern sollen.
Mit der Weiterentwicklung der Technologielandschaft verändern sich auch die Art und Weise, wie wir auf Gesundheitsinformationen zugreifen und diese interpretieren. Dies verdeutlicht eindrücklich die entscheidende Bedeutung von Einfachheit und Klarheit bei KI-gestützten Abfragen sowie das Potenzial für Fehlinformationen bei der Einbeziehung komplexer Erkenntnisse. Ziel ist es daher, KI optimal einzusetzen, beispielsweise um den Zugang zu glaubwürdigen Gesundheitsinformationen zu verbessern. Dies erfordert ein besseres Verständnis der komplexen Wechselwirkungen zwischen KI-Verarbeitungskapazitäten und gesundheitsbezogenen Anfragen.
Die Studie von CSIRO und UQ unterstreicht erneut, dass die Kombination von KI und Gesundheitsinformationsabfrage äußerst komplex ist und das Risiko von Fehlinterpretationen sehr hoch. Angesichts der zunehmend zentralen Rolle von KI in unserem Alltag, insbesondere im Bereich der Gesundheitsinformationen, ist es höchste Zeit, die Grenzen dieser Systeme zu verstehen und ihre Zuverlässigkeit zu verbessern.
Dies wird die Verfügbarkeit von Gesundheitsinformationen für alle Bürger sicherlich verbessern und sie zumindest vor Betrug schützen. Trotz dieser Entwicklung bleibt das Potenzial der KI, den Bereich der Gesundheitsinformationen grundlegend zu verändern, immens, vorausgesetzt, ihre Anwendung erfolgt mit Bedacht, Achtsamkeit und dem Anspruch auf Genauigkeit.
