Studie zeigt: ChatGPT hat Schwierigkeiten mit grundlegender Mathematik

Foto 2023 08 06 23 22 19
- Drift' in KI-Modellen stellt eine Herausforderung dar und führt zu unbeabsichtigten Konsequenzen, da bestimmte Funktionen auf Kosten anderer verbessert werden.
- Der Rückgang von ChatGPT bei grundlegenden mathematischen Aufgaben und anderen Tätigkeiten unterstreicht die Komplexität konsistenter Fortschritte in KI-Modellen.
- Wachsamkeit und strenge Überwachung sind entscheidend, um KI-Systeme zu verstehen und zu verfeinern, während sie sich im Laufe der Zeit weiterentwickeln.
In der sich schnell entwickelnden Welt der Technologie haben sich KI-Chatbots als bedeutender Durchbruch erwiesen. Unter ihnen hat sich OpenAIs ChatGPT als herausragend erwiesen und das Publikum seit seiner öffentlichen Einführung im vergangenen Jahr fasziniert. Seine Fähigkeit, flüssige Gespräche zu führen, hat ihm Anerkennung eingebracht und einen harten globalen Wettlauf um die Entwicklung noch fortschrittlicherer KI-Modelle ausgelöst. Doch inmitten des Applauses und der Bedenken hinsichtlich der potenziellen Dominanz der KI haben jüngste Erkenntnisse eine unerwartete Entwicklung ans Licht gebracht: ChatGPTs nachlassende Kompetenz in grundlegender Mathematik.
Das Phänomen des KI-‚Drifts‘ verstehen
Der Begriff ‚Drift‘ in der KI ist nicht nur ein Schlagwort. Es ist ein reales, beobachtetes Phänomen, das die Aufmerksamkeit der akademischen Gemeinschaft auf sich gezogen hat. Eine gemeinsame Forschungsanstrengung zwischen der Stanford University und der University of California, Berkeley, hat dieses faszinierende Aspekt des KI-Verhaltens beleuchtet.
Das Wesen des ‚Drifts‘ liegt in den unbeabsichtigten Folgen der Modelloptimierung. Während Forscher und Entwickler bestrebt sind, bestimmte Funktionen dieser komplexen KI-Modelle zu verbessern, können andere Bereiche unbemerkt leiden. Genau das geschieht derzeit mit ChatGPT.
James Zou, ein renommierter Professor an der Stanford University und ein entscheidender Beitragender zur Forschung, erläuterte: „Wenn Sie das Modell in einer bestimmten Richtung optimieren, besteht ein greifbares Risiko, dass es in anderen Bereichen zurückfällt.“ Diese inhärente Herausforderung unterstreicht die Komplexität bei der Erzielung konsistenter Fortschritte in KI-Modellen.
Eintauchen in den Rückgang
Die Forschung war kein oberflächlicher Blick auf die Fähigkeiten von ChatGPT. Es war eine sorgfältige Analyse, angeführt von Lingjiao Chen, einer fleißigen Computer-Wissenschafts-Doktorandin der Stanford University, und Matei Zaharia, einer prominenten Persönlichkeit von Berkeley. Ihr Ziel war klar: zu bewerten, wie zwei verschiedene Versionen von ChatGPT über einen Zeitraum abschnitten.
Ihre Ergebnisse waren erschütternd. Man würde annehmen, dass das Identifizieren von Primzahlen, eine für Computer relativ einfache Aufgabe, für eine so fortschrittliche KI ein Kinderspiel wäre. Die Ergebnisse erzählten jedoch eine andere Geschichte.
Bei einem im März durchgeführten Test wurde GPT-4, die Premium-Version von ChatGPT, 1.000 verschiedenen Zahlen ausgesetzt. Es gelang ihm, die Primzahl-Eigenschaft von 84 % dieser Zahlen korrekt zu bestimmen. Ein Sprung nach Juni zeigte, dass die Genauheit auf bloße 51 % einbrach. Dies war kein Einzelfall. Von acht verschiedenen Aufgaben verschlechterte sich die Leistung von GPT-4 in sechs. Obwohl GPT-3.5 in sechs Bereichen verbesserte, lag es in den meisten Fällen hinter seinem Nachfolger zurück.
Die Auswirkungen des schnellen Drifts
Während ‚Drift‘ unter KI-Enthusiasten ein bekanntes Konzept ist, war die Geschwindigkeit, mit der es sich in ChatGPT manifestierte, unerwartet. Die Beobachtungen des Forschungsteams erstreckten sich über mathematische Aufgaben hinaus. Sie stellten einen deutlichen Rückgang der Reaktionsfähigkeit von GPT-4 auf meinungszentrierte Anfragen fest. Von einer lobenswerten Reaktionsrate von 98 % im März sank sie bis Juni auf 23 %.
Dieser Rückgang könnte mit dem aufkommenden Trend des ‚Prompt-Engineerings‘ verknüpft sein. Dabei erstellen Nutzer spezifische Prompts, um bestimmte und manchmal kontroverse KI-Antworten zu extrahieren. Der Abbau der mathematischen Fähigkeiten von ChatGPT könnte eine unbeabsichtigte Folge von Maßnahmen sein, die ergriffen wurden, um solchen manipulativen Prompts entgegenzuwirken.
Die Zukunft der KI navigieren
Trotz der Hürden ist der Konsens, insbesondere in der Forschungsgemeinschaft, nicht, die Technologie abzulehnen. Stattdessen liegt der Schwerpunkt auf Wachsamkeit. Zou plädiert leidenschaftlich für einen strengeren Überwachungsansatz. In diesem Sinne bereitet sich das gemeinsame Team von Stanford und Berkeley darauf vor, KI-Modelle, einschließlich ChatGPT, einer Reihe von Tests zu unterziehen. Ihr Ziel? Die empirische Bewertung ihrer Entwicklung im Laufe der Zeit.
Der Weg des KI-Fortschritts ist nicht linear. Es ist eine dynamische Reise, gekennzeichnet durch vorwärtstreibende Schritte, gelegentliche Stolperer und unerwartete Umwege. Während die globale Gemeinschaft weiterhin das komplexe Labyrinth der KI navigiert, ist eines offensichtlich: Die Reise des Verstehens und Verfeinerns dieser Systeme ist noch lange nicht abgeschlossen.
Lesen Sie nicht nur Krypto-Nachrichten. Verstehen Sie sie. Abonnieren Sie unseren Newsletter. Es ist kostenlos.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com übernimmt keine Haftung für Investitionen, die auf Basis der auf dieser Seite bereitgestellten Informationen getätigt werden. Wir empfehlen dringend eine unabhängige Recherche und/oder Beratung durch einen qualifizierten Fachmann, bevor Sie eine Investitionsentscheidung treffen.

John Palmer
John Murangiri kam mit Kenntnissen in Marktanalyse zu Cryptopolitan. John (auch bekannt als JP) hat an der Universität Nairobi einen Bachelorabschluss in Massenkommunikation und Medienstudien erworben. Er hat zuvor Crypto-Markt-Einblicke für InsideBitcoins.com und Metacoingraph beigesteuert.















