OpenAIs neuestes „Reasoning“-Modell bei grundlegenden Fehlern

OpenAI hat kürzlich ein „Reasoning“-KI-Modell – o1 – veröffentlicht, das jedoch bereits von grundlegenden Fehlern erschüttert ist, so die neue Werbung des Unternehmens.

Der Hersteller von ChatGPT hat sein bisher fortschrittlichstes Modell für zahlende Abonnenten veröffentlicht und damit seine „12 Days of OpenAI“-Veranstaltung gestartet, eine Reihe von Veröffentlichungen zur Feier der Weihnachtszeit.

Ein OpenAI-Demovideo deutet darauf hin, dass das Modell fehleranfällig ist

Laut einem von OpenAI veröffentlichten Video, das die Stärken des Modells zeigen sollte, lädt ein Nutzer ein Bild eines hölzernen Vogelhauses hoch und bittet das Modell dann um Ratschläge, wie man ein ähnliches baut. Das „Reasoning“-Modell scheint einen Moment zu „denken“, bevor es eine Reihe von Anweisungen ausgibt, die wie eine Anleitung aussehen.

Bei genauerem Hinsehen erweisen sich die Anweisungen als Zeitverschwendung. Das Modell misst das für die Aufgabe erforderliche Material wie Farbe, Kleber und Versiegelung, liefert jedoch nur Maße für die Frontplatte des Vogelhauses.

Das Modell schlägt vor, ein Stück Schleifpapier auf ein anderes, nicht notwendiges Maß zu schneiden. Darüber hinaus behauptet das Modell, „die exakten Maße“ zu liefern, gibt jedoch keine exakten Maße an, im Widerspruch zu seinen früheren Aussagen.

James Filus, Direktor des Institute of Carpenters, einer britischen Handelsvertretung, legte ebenfalls die Fehler des Modells offen, wie zum Beispiel fehlende Werkzeuge, die benötigt werden, aber nicht in der Liste von o1 enthalten sind, wie etwa ein Hammer.

„Man würde genauso viel über den Bau des Vogelhauses aus dem Bild wissen wie aus dem Text, was den ganzen Zweck des KI-Tools zunichtemacht.“

Filus.

Darüber hinaus enthüllte Filus auch, dass die Kosten für den Bau desselben Vogelhauses „bei weitem nicht“ bei den vom Modell geschätzten 20 bis 50 Dollar liegen würden.

Das OpenAI-Modell tut das Gegenteil des beabsichtigten Zwecks

Der o1-Fall fügt sich in andere Beispiele für Produkt-Demos von KI-Modellen ein, die das Gegenteil des beabsichtigten Zwecks bewirken. Im Jahr 2023 wies eine Google-Werbung für ein KI-unterstütztes Suchtool fälschlicherweise darauf hin, dass das James-Webb-Teleskop eine Entdeckung gemacht habe, die es nicht gemacht hatte. Dieser Fehler führte zu einem Rückgang des Aktienkurses des Unternehmens.

Das war nicht alles vom Suchmaschinenriesen: Kürzlich sagte eine aktualisierte Version eines ähnlichen Google-Tools den Nutzern, dass es sicher sei, Steine zu essen. Es behauptete auch, Nutzer könnten Kleber verwenden, um Käse auf ihre Pizza zu kleben.

Trotz der Fehler bleibt das o1-Modell laut öffentlichen Benchmarks das fähigste Modell von OpenAI bis heute. Es geht auch bei der Beantwortung von Fragen einen anderen Ansatz als ChatGPT.

Laut Time ist o1 immer noch ein sehr fortschrittlicher Next-Word-Predictor, da er mit maschinellem Lernen auf Milliarden von Wörtern aus dem Internet und darüber hinaus trainiert wurde.

Das Modell verwendet eine Technik namens „Chain-of-Thought“-Reasoning, um im Hintergrund einen Moment lang über eine Antwort nachzudenken, und gibt seine Antwort erst danach ab. Dies unterscheidet sich davon, einfach Wörter als Antwort auf einen Prompt auszugeben.

Dies hilft dem Modell, genauere Antworten zu geben, im Gegensatz zu Fällen, in denen es einfach Wörter als Antwort auf Benutzeranfragen ausspuckt.