Das Denkmodell von OpenAI „denkt“ oft auf Chinesisch – niemand kann erklären, warum

Nutzer von OpenAI haben eine Sicherheitslückedent. Kurz nach der Veröffentlichung von o1, dem ersten KI-Modell mit „logischem Denken“ von OpenAI, wurde ein ungewöhnliches Verhalten beobachtet. Offenbar beginnt das Modell bei Anfragen in englischer Sprache gelegentlich in einer anderen Sprache, beispielsweise Chinesisch oder Persisch, zu „denken“. 

Ein Nutzer schrieb: „[O1] hat mitten im Gespräch plötzlich angefangen, auf Chinesisch zu denken.“ Außerdem fragte ein ganz anderer Nutzer auf X : „Warum hat [o1] plötzlich angefangen, auf Chinesisch zu denken?“

Warum hat o1 pro plötzlich angefangen, auf Chinesisch zu denken? Kein einziger Teil der Unterhaltung (über 5 Nachrichten) war auf Chinesisch… sehr interessant… Einfluss der Trainingsdaten. pic.twitter.com/yZWCzoaiit

– Rishab Jain (@RishabJainK) 9. Januar 2025

Den Beobachtungen zufolge beginnt o1 bei der Konfrontation mit einem zu lösenden Problem seinen Denkprozess, der eine Abfolge von Schlussfolgerungsschritten umfasst, die zu einer Antwort führen. Die endgültige Antwort von o1 wäre auf Englisch, wenn die Anfrage in dieser Sprache formuliert wäre.

Dennoch würde das Modell bestimmte Verfahren in einer anderen Sprache durchführen, bevor es zu seinem Ergebnis kommt.

Bemerkenswerterweise hat OpenAI weder eine Erklärung für das merkwürdige Verhalten von o1 geliefert noch es überhaupt zur Kenntnis genommen. Was könnte also die Ursache dafür sein?

Hier sind einige Theorien von KI-Experten.

Clément Delangue, CEO von Hugging Face, erwähnte auf X , dass Schlussfolgerungsmodelle wie o1 mit Datensätzen trainiert werden, die eine große Anzahl chinesischer Schriftzeichen enthalten. 

Laut Ted Xiao, einem Forscher bei Google DeepMind, nutzen Organisationen wie OpenAI zudem chinesische Datenkennzeichnungsdienste von Drittanbietern, und der Übergang zum Chinesischen sei ein Beispiel für den „chinesischen sprachlichen Einfluss auf das Denken“

Ted Xiao schrieb in einem X-Beitrag: „AGI-Labore wie OpenAI und Anthropic nutzen Datenkennzeichnungsdienste von Drittanbietern für Daten, die auf Doktorandenniveau für Wissenschaft, Mathematik und Programmierung ausgelegt sind; aufgrund der Verfügbarkeit von Fachkräften und aus Kostengründen haben viele dieser Datenanbieter ihren Sitz in China.“

Offenbar helfen Labels, die auchdentIdentifikatoren oder Annotationen bezeichnet werden, den Modellen während des Trainingsprozesses dabei, Daten zu verstehen und zu interpretieren.

 Beispielsweise können die zum Trainieren eines Bilderkennungsmodells verwendeten Labels aus Bildunterschriften bestehen, die sich auf jede auf einem Bild dargestellte Person, jeden Ort oder jedes Objekt beziehen, oder aus Markierungen, die Objekte umgeben.

Darüber hinaus hat die Forschung gezeigt, dass verzerrte Klassifizierungen zu verzerrten Modellen führen können. Beispielsweise neigt der durchschnittliche Annotator eher dazu, Ausdrücke im afroamerikanischen Englisch (AAVE) zu kennzeichnen. 

Dies ist als die informelle Grammatik bekannt, die von einigen Afroamerikanern als toxisch angesehen wird. Daher stufen KI-gestützte Toxizitätsdetektoren, die auf diese Bezeichnungen trainiert wurden, AAVE als übermäßig toxisch ein.

Die Theorie der o1-Datenkennzeichnung in chinesischer Sprache wird von anderen Experten jedoch nicht akzeptiert. Sie betonen, dass o1 mit gleicher Wahrscheinlichkeit ins Hindi, Thailändische oder eine andere Sprache als Chinesisch übergehen wird, während sie versuchen, eine Lösung zu finden.

Diese Experten argumentieren vielmehr, dass o1 und andere Denkmodelle möglicherweise die effizientesten Sprachen verwenden, um ein Ziel zu erreichen.

Matthew Guzdial, ein KI-Forscher, erklärte dazu: „Das Modell weiß nicht, was Sprache ist oder dass Sprachen unterschiedlich sind.“ Dies liegt daran, dass Token, ähnlich wie Etiketten, das Potenzial haben, Verzerrungen zu erzeugen. 

Insbesondere gehen diverse Wort-zu-Token-Übersetzer davon aus, dass ein Leerzeichen in einem Satz ein neues Wort signalisiert. Dies geschieht ungeachtet der Tatsache, dass nicht alle Sprachen Leerzeichen zur Trennung von Wörtern verwenden.

Luca Soldaini, Wissenschaftler am gemeinnützigen Allen Institute for AI, betonte jedoch, dass dies nicht mit Sicherheit festgestellt werden könne. Er erklärte: „Solche Beobachtungen an einem implementierten KI-System lassen sich aufgrund der Intransparenz dieser Modelle nicht belegen. […] Dies ist nur eines von vielen Beispielen, die die Bedeutung von Transparenz beim Aufbau von KI-Systemen unterstreichen.“

OpenAI-Probleme

Das Jahr 2024 war für OpenAI eine Achterbahnfahrt der Gefühle. Das Unternehmen und sein CEO, Sam Altman, begannen das Jahr mit einer Klage von Elon Musk. Dieser argumentierte, dass das Unternehmen von seinem ursprünglichen gemeinnützigen Ziel abgewichen sei und den Profit über das Gemeinwohl gestellt habe.

Im vergangenen Jahr haben acht US-amerikanische Zeitungen, darunter die New York Daily News, die Chicago Tribune und die Denver Post, OpenAI und Microsoft verklagt. Sie warfen dem Unternehmen vor, Millionen urheberrechtlich geschützter Publikationen ohne Genehmigung und ohne Bezahlung zum Trainieren von KI-Chatbots verwendet zu haben. Sie behaupteten, dieses Vorgehen verletze ihre Urheberrechte.

Auch Mira Murati, Chief Technology Officer von OpenAI, gab ihren Abschied bekannt. Dies war ein kritischer Zeitpunkt, da ihre technologischen Fähigkeiten für die Entwicklung des Unternehmens von entscheidender Bedeutung waren.

Darüber hinaus stieß OpenAI bei ChatGPT auf mehrere Schwierigkeiten, darunter gelegentliche Ausfälle, Fehler, die zu ungenauen oder sinnlosen Antworten des Chatbots führten, und Bedenken hinsichtlich des Datenschutzes der Nutzer. Es gab auch Fälle, in denen die KI voreingenommene oder anstößige Inhalte generierte.