Studie enthüllt ChatGPTs Schwierigkeiten mit grundlegenden mathematischen Fähigkeiten

In der sich rasant entwickelnden Technologiewelt haben sich Chatbots mit künstlicher Intelligenz (KI) als bedeutender Durchbruch erwiesen. OpenAIs ChatGPT sticht dabei besonders hervor und begeistert seit seiner öffentlichen Vorstellung im letzten Jahr ein breites Publikum. Seine Fähigkeit zu flüssigen Gesprächen hat ihm viel Lob eingebracht und einen globalen Wettlauf um die Entwicklung noch fortschrittlicherer KI-Modelle entfacht. Doch inmitten des Beifalls und der Bedenken hinsichtlich der potenziellen Dominanz der KI haben jüngste Erkenntnisse eine unerwartete Entwicklung offenbart: ChatGPTs Fähigkeiten in grundlegender Mathematik nehmen ab.

Das Phänomen des KI-„Drifts“ verstehen

Der Begriff „Drift“ in der KI ist nicht nur ein Modewort. Es handelt sich um ein reales, beobachtetes Phänomen, das die Aufmerksamkeit der akademischen Gemeinschaft auf sich gezogen hat. Ein gemeinsames Forschungsprojekt der Stanford University und der University of California, Berkeley, hat diesen faszinierenden Aspekt des KI-Verhaltens beleuchtet.

Das Wesen des „Drifts“ liegt in den unbeabsichtigten Folgen der Modelloptimierung. Während Forscher und Entwickler bestrebt sind, bestimmte Funktionalitäten dieser komplexen KI-Modelle zu verbessern, können andere Bereiche unbeabsichtigt darunter leiden. Genau dies geschieht bei ChatGPT.

James Zou, ein renommierter Professor an der Stanford University und einer der Hauptforscher auf diesem Gebiet, erläuterte: „Wenn man das Modell optimiert, um es in einer bestimmten Richtung zu verbessern, besteht ein konkretes Risiko, dass es sich in anderen Bereichen verschlechtert.“ Diese inhärente Herausforderung unterstreicht die Komplexität, kontinuierliche Fortschritte bei KI-Modellen zu erzielen.

Eine eingehende Untersuchung des Niedergangs

Die Studie war keine oberflächliche Betrachtung der Fähigkeiten von ChatGPT. Es handelte sich um eine sorgfältige Analyse unter der Leitung von Lingjiao Chen, einer engagiertendent der Informatik aus Stanford, und Matei Zaharia, einer angesehenen Persönlichkeit aus Berkeley. Ihr Ziel war klar: die Leistungsfähigkeit zweier unterschiedlicher Versionen von ChatGPT über einen längeren Zeitraum zu bewerten.

Ihre Ergebnisse waren verblüffend. Man würde annehmen, dass dasdentvon Primzahlen, eine für Computer relativ einfache Aufgabe, für eine so hochentwickelte KI ein Kinderspiel wäre. Die Ergebnisse erzählten jedoch eine andere Geschichte.

In einem Test im März wurden GPT-4, die Premium-Version von ChatGPT, 1.000 verschiedene Zahlen präsentiert. 84 % der Zahlen erkannten korrekt, ob es sich um Primzahlen handelte. Im Juni sank die Genauigkeit jedoch auf nur noch 51 %. Dies war keindent. Von acht verschiedenen Aufgaben verschlechterte sich die Leistung von GPT-4 in sechs Bereichen. Obwohl sich GPT-3.5 in sechs Bereichen verbesserte, blieb es insgesamt hinter seinem Nachfolger zurück.

Die Auswirkungen der schnellen Drift

Obwohl „Drift“ unter KI-Experten ein bekanntes Konzept ist, war die Geschwindigkeit, mit der er sich bei ChatGPT manifestierte, unerwartet. Die Beobachtungen des Forschungsteams beschränkten sich nicht nur aufmaticAufgaben. Sie stellten einen deutlichen Rückgang der Reaktionsfähigkeit von GPT-4 auf meinungsbasierte Anfragen fest. Von einer beachtlichen Antwortrate von 98 % im März sank diese bis Juni auf 23 %.

Dieser Rückschritt könnte mit dem zunehmenden Trend des „Prompt Engineering“ zusammenhängen. Dabei formulieren Nutzer gezielte Eingabeaufforderungen, um bestimmte und mitunter kontroverse KI-Antworten zutrac. Die Verschlechterung dermaticFähigkeiten von ChatGPT könnte eine unbeabsichtigte Folge von Maßnahmen sein, die ergriffen wurden, um solchen manipulativen Eingabeaufforderungen entgegenzuwirken.

Die Zukunft der KI gestalten

Trotz der Hürden herrscht, insbesondere in der Forschungsgemeinschaft, Einigkeit darüber, die Technologie nicht zu verwerfen. Stattdessen liegt der Schwerpunkt auf Wachsamkeit. Zou plädiert leidenschaftlich für einen strengeren Überwachungsansatz. Ganz in diesem Sinne bereitet sich das gemeinsame Team aus Stanford und Berkeley darauf vor, KI-Modelle, darunter ChatGPT, einer Reihe von Tests zu unterziehen. Ihr Ziel? Ihre Entwicklung im Laufe der Zeit empirisch zu erfassen.

Die Entwicklung der KI verläuft nicht linear. Es ist eine dynamische Reise, geprägt von Fortschritten, gelegentlichen Stolpersteinen und unerwarteten Umwegen. Während die globale Gemeinschaft sich weiterhin durch das komplexe Labyrinth der KI navigiert, ist einesdent: Das Verständnis und die Weiterentwicklung dieser Systeme sind noch lange nicht abgeschlossen.