OpenAIs neue ChatGPT-Modelle „halluzinieren“ häufiger

OpenAIs neueste Reasoning-Modelle, o3 und o4‑mini, produzieren erfundene Antworten häufiger als die früheren Modelle des Unternehmens, wie interne und externe Tests zeigen. 

Der Anstieg der sogenannten Halluzinationen durchbricht ein langjähriges Muster, bei dem jede neue Veröffentlichung tendenziell weniger erfundene Inhalte als das vorherige Modell enthielt.

OpenAI’s eigene Zahlen stellen das Problem in greller Schärfe dar. Bei PersonQA, einem Unternehmens-Benchmark, der prüft, wie gut ein Modell Fakten über Personen abrufen kann, erfand o3 in 33 Prozent der Antworten Material, etwa doppelt so hoch wie die Raten von o1 und o3‑mini, die 16 Prozent bzw. 14,8 Prozent erreichten. O4‑mini schnitt noch schlechter ab und halluzinierte 48 Prozent der Zeit.

Ein technischer Bericht erläutert die Ergebnisse. Ingenieure schreiben, dass die neuen Modelle frühere Versionen bei Coding und Mathematik übertreffen, aber da sie „insgesamt mehr Behauptungen aufstellen“, machen sie auch „sowohl genauere als auch ungenaue/halluzinierte Behauptungen“. Das Dokument fügt hinzu, dass „mehr Forschung erforderlich ist“, um den Rückgang der Zuverlässigkeit zu erklären.

OpenAI klassifiziert o‑Series-Systeme als Reasoning-Modelle, eine Linie, die das Unternehmen und ein Großteil der Branche im vergangenen Jahr übernommen haben. Traditionelle, nicht-reasoning Modelle wie GPT‑4o mit Websuche schneiden bei der Wahrheitsfindung besser ab als das neueste Duo: GPT‑4o mit Suche erreicht 90 Prozent Genauigkeit bei SimpleQA, einem weiteren hauseigenen Benchmark.

OpenAIs o3-Modell erfindet Schritte

Transluce, ein KI-NPO-Labor, berichtete, dass das o3-Modell Schritte erfindet. In einem Durchlauf sagte das Modell, es habe Code auf einem MacBook Pro von 2021 „außerhalb von ChatGPT“ ausgeführt und dann die Zahlen kopiert. Das Modell ist einfach nicht in der Lage, das zu tun.

„Unsere Hypothese ist, dass die Art des Reinforcement Learnings, das für o‑Series-Modelle verwendet wird, Probleme verstärken kann, die normalerweise durch Standard-Post-Training-Pipelines gemildert (aber nicht vollständig beseitigt) werden“, sagte Neil Chowdhury, ein Transluce-Forscher und ehemaliger OpenAI-Mitarbeiter, in einer E-Mail.

Transluce-Mitbegründerin Sarah Schwettmann sagte, die höhere Fehlerrate könnte o3 weniger hilfreich machen, als es seine rohen Fähigkeiten vermuten lassen.

Kian Katanforoosh, ein außerordentlicher Professor an der Stanford University, sagte TechCrunch, sein Team teste o3 bereits für Coding-Aufgaben und sehe es als „einen Schritt über der Konkurrenz“. Dennoch berichtete er von einem weiteren Mangel: Das Modell gibt oft Web-Links zurück, die beim Anklicken nicht funktionieren.

Halluzinationen können Kreativität anregen, aber sie machen die Systeme für Unternehmen, die Genauigkeit benötigen, schwer verkäuflich. Eine Anwaltskanzlei, die Verfassungen entwirft, wird beispielsweise keine häufigen faktischen Fehler tolerieren.

Echtzeit-Suche könnte Halluzinationen in KI-Modellen reduzieren

Eine mögliche Lösung ist die Echtzeit-Suche. OpenAIs GPT‑4o-Version, die das Web konsultiert, schneidet bei SimpleQA bereits besser ab. Der Bericht schlägt vor, dass dieselbe Taktik Halluzinationen in Reasoning-Modellen reduzieren könnte, zumindest wenn Nutzer bereit sind, Prompts an eine Drittanbieter-Engine zu senden.

„Die Bekämpfung von Halluzinationen in all unseren Modellen ist ein fortlaufender Forschungsbereich, und wir arbeiten kontinuierlich daran, ihre Genauigkeit und Zuverlässigkeit zu verbessern“, sagte OpenAI-Sprecher Niko Felix in einer E-Mail.

Ob die Echtzeit-Suche das Problem allein lösen kann, bleibt unklar. Der Bericht warnt, dass die Suche nach Lösungen dringender wird, wenn das Hochskalieren von Reasoning-Modellen die Halluzinationen weiter verschlimmert. Forscher haben Halluzinationen seit Langem als eines der schwierigsten Probleme in der KI bezeichnet, und die neuesten Erkenntnisse unterstreichen, wie weit es noch ist.

Für OpenAI ist Glaubwürdigkeit wichtig, da ChatGPT an Arbeitsplätzen, in Klassenzimmern und in kreativen Studios genutzt wird. Ingenieure sagen, sie werden das Reinforcement Learning, die Datenauswahl und die Tool-Nutzung weiter optimieren, um die Zahlen zu senken. Bis dahin müssen Nutzer schärfere Fähigkeiten gegen eine höhere Wahrscheinlichkeit abwägen, getäuscht zu werden.