Das neueste „Schlussfolgerungsmodell“ von OpenAI bei grundlegenden Fehlern

OpenAI hat vor Kurzem ein KI-Modell mit „logischem Denken“ – o1 – herausgebracht, das jedoch laut der neuen Werbung des Unternehmens bereits von grundlegenden Fehlern durchzogen ist.

Der Hersteller von ChatGPT hat für zahlende Abonnenten sein nach eigenen Angaben bisher fortschrittlichstes Modell veröffentlicht und damit den Auftakt zu seinem Event „12 Days of OpenAI“ gegeben, einer Reihe von Veröffentlichungen zur Feier der Feiertage.

Ein Demo-Video von OpenAI legt nahe, dass das Modell fehleranfällig ist

In einem von OpenAI veröffentlichten Video, das die Stärken des Modells demonstrieren soll, lädt ein Nutzer ein Bild eines hölzernen Vogelhauses hoch und bittet das Modell anschließend um Tipps zum Bau eines ähnlichen Vogelhauses. Das „logische“ Modell scheint kurz nachzudenken, bevor es eine Reihe von Anweisungen ausgibt.

Bei genauerer Betrachtungerweist sich die Anleitung als Zeitverschwendung. Das Modell gibt zwar die benötigten Materialien wie Farbe, Klebstoff und Dichtmittel an, liefert aber nur die Maße für die Vorderseite des Vogelhauses.

Das Modell schlägt vor, ein Stück Schleifpapier auf andere, unnötige Maße zuzuschneiden. Außerdem behauptet es, „die genauen Maße“ anzugeben, nennt aber entgegen seinen vorherigen Aussagen keine genauen Maße.

James Filus, der Direktor des Institute of Carpenters, eines britischen Berufsverbandes, deckte auch die Fehler des Modells auf, wie zum Beispiel Werkzeuge, die benötigt werden, aber in der Liste von o1 fehlen, zum Beispiel ein Hammer.

„Man würde anhand des Bildes genauso viel über den Bau des Vogelhauses erfahren wie anhand des Textes, was den ganzen Zweck des KI-Tools im Grunde ad absurdum führt.“

Filus.

Darüber hinaus gab Filus bekannt, dass die Kosten für den Bau eines solchen Vogelhauses „bei Weitem nicht“ die vom Modell geschätzten 20 bis 50 Dollar betragen würden.

Das OpenAI-Modell bewirkt genau das Gegenteil des beabsichtigten Verwendungszwecks

Der Fall o1 reiht sich in die Liste von Beispielen für Produktdemos von KI-Modellen ein, bei denen diese genau das Gegenteil des beabsichtigten Zwecks bewirken. So behauptete beispielsweise eine Google- Werbung für ein KI-gestütztes Suchtool im Jahr 2023 fälschlicherweise, das James-Webb-Teleskop habe eine Entdeckung gemacht, die es gar nicht getan hatte. Dieser Fehler führte zu einem Kursverfall der Google-Aktie.

Doch das war noch nicht alles, was der Suchmaschinenriese von sich gab: Kürzlich teilte eine aktualisierte Version eines ähnlichen Google-Tools den Nutzern mit, dass es unbedenklich sei, Steine ​​zu essen. Außerdem wurde behauptet, man könne Klebstoff verwenden, um Käse auf Pizza zu kleben.

Trotz der Fehler bleibt das o1-Modell laut öffentlichen Benchmarks das bisher leistungsfähigste Modell von OpenAI. Es verfolgt bei der Beantwortung von Fragen auch einen anderen Ansatz als ChatGPT.

Laut Time ist o1 immer noch ein sehr fortschrittlicher Vorhersagealgorithmus für das nächste Wort, da er mithilfe von maschinellem Lernen auf Milliarden von Wörtern aus dem Internet und darüber hinaus trainiert wurde.

Das Modell verwendet eine Technik namens „Gedankenkettenlogik“, um im Hintergrund kurz über eine Antwort nachzudenken und diese erst danach zu geben. Dies unterscheidet sich vom bloßen Antworten auf eine Frage.

Dies hilft dem Modell, genauere Antworten zu geben, im Gegensatz zu einem Fall, in dem es einfach nur Wörter als Antwort auf Benutzeranfragen ausspuckt.