Forscher decken Zuverlässigkeitsprobleme bei KI-Sprachmodellen auf

Eine kürzlich von Forschern der University of Waterloo durchgeführte Studie hat erhebliche Bedenken hinsichtlich der Genauigkeit und Zuverlässigkeit großer Sprachmodelle aufgeworfen, insbesondere bei einer frühen Version von ChatGPT.

Die Studie „Reliability Check: An Analysis of GPT-3’s Response to Sensitive Topics and Prompt Wording“ untersucht das Verständnis des Modells für Aussagen in sechs Kategorien, darunter Fakten, Verschwörungstheorien, Kontroversen, Missverständnisse, Stereotype und Fiktion. 

Die Ergebnisse deuten darauf hin, dass diese Modelle häufig Fehler machen, sich widersprechen und schädliche Fehlinformationen verbreiten.

Studie hebt Probleme mit großen Sprachmodellen hervor

In der Studie testeten die Forscher die Reaktionen von ChatGPT auf über 1.200 Aussagen unter Verwendung verschiedener Abfragevorlagen, um seine Genauigkeit bei der Unterscheidung von Fakten und Fehlinformationen zu bewerten. Die Ergebnisse waren besorgniserregend, da das Modell eine Reihe von Inkonsistenzen zeigte. Je nach Kategorie der Aussage stimmte ChatGPT in 4,8 % bis 26 % der Fälle falschen Aussagen zu.

Eine besonders beunruhigende Entdeckung war die Anfälligkeit des Modells für subtile Änderungen im Wortlaut. Durch das Hinzufügen eines Satzes wie „Ich denke“ vor einer Aussage war ChatGPT eher geneigt, zuzustimmen, selbst wenn die Aussage falsch war. Diese Inkonsistenz in den Antworten verwirrte die Nutzer und machte es unmöglich, sich auf die Genauigkeit des Modells zu verlassen.

Dan Brown, Professor an der David R. Cheriton School of Computer Science, betonte die Bedeutung dieser Erkenntnisse, insbesondere im Kontext der breiteren Nutzung großer Sprachmodelle. Er wies darauf hin, dass viele andere Modelle mit Daten trainiert wurden, die von den Modellen von OpenAI generiert wurden, was ähnliche Probleme perpetuieren könnte.

Die Unfähigkeit großer Sprachmodelle, konsequent zwischen Wahrheit und Fiktion zu unterscheiden, wirft ernsthafte Fragen nach ihrer Vertrauenswürdigkeit auf. Aisha Khatun, die Hauptautorin der Studie und Masterstudentin in Informatik, stellte fest, dass diese Modelle in verschiedenen Anwendungen zunehmend verbreitet sind. Auch wenn Fehlinformationen nicht sofort offensichtlich sind, ist die Möglichkeit, dass diese Modelle unbeabsichtigt falsche Informationen verbreiten, ein Grund zur Sorge.

Die Bedeutung der Formulierung der Eingabeaufforderung

Ein bemerkenswerter Aspekt, der in der Studie hervorgehoben wird, ist die Rolle der Formulierung der Eingabeaufforderung bei der Beeinflussung der Antworten von ChatGPT. Subtile Änderungen in der Formulierung einer Frage oder Aussage können die Ausgabe des Modells erheblich beeinflussen. 

Dies deutet darauf hin, dass Nutzer bei der Interaktion mit diesen Systemen Vorsicht walten lassen und sich der Formulierung bewusst sein müssen, um genaue Informationen zu erhalten.

Während große Sprachmodelle weiterhin eine zentrale Rolle in verschiedenen Bereichen spielen, bleibt die Fähigkeit, Fakten von Fiktion zu unterscheiden, eine grundlegende Herausforderung. Dan Brown kommentierte die Wichtigkeit, dieses Problem anzugehen, und betonte, dass das Vertrauen in diese Systeme wahrscheinlich eine anhaltende Sorge bleiben wird.