„Gedankenketten“-Methode unterstützt KI beim Lösen von Vokabelrätseln

Besitzt KI dieselben Fähigkeiten wie Menschen und kann sie subtile Hinweise in Vokabeln erkennen? Forscher der NYU Tandon School of Engineering sind nicht überrascht, dass die beliebteste Aktivität der Menschen (die Teilnahme am täglichen Connections-Rätsel der New York Times) laut dem Artikel darin enthalten ist. 

Bewertung von KI-Sprachmodellen

Die Untersuchung brachte eine kontroverse Frage für die kommende IEEE-Konferenz 2024 in Mailand zum Thema Spieleforschung und Austausch von verfügbarem und gemeinsamem Wissen ans Licht: Ist es mit modernen Methoden der natürlichen Sprachverarbeitung (NLP) möglich, sprachbasierte Rätsel zu lösen? 

Gemeinsam mit Julian Togelius, Assistenzprofessor für Informatik und Leiter des Game Innovation Lab an der NYU Tandon School of Engineering, konzentrierte sich das Team auf zwei KI-Methoden: maschinelles Lernen und das Lernen von Repräsentationen auf höherer Ebene. Ersteres nutzte GPT-3.5, während die neueste Version, GPT-4, die herausragenden Sprachmodelle . von OpenAI mit offener Domänenarchitektur und menschenähnlichem Sprachverständnis, zum Einsatz kam

Der nächste Mechanismus basiert auf Satz-Embedding-Modellen, insbesondere BERT, RoBERTa, MPNet und MiniLM. Diese Modelle repräsentieren die semantischen Daten als Vektordarstellung, verfügen aber nicht über die vollständigen Sprachverständnis- und Generierungsfähigkeiten der LLMs.

Es wurde jedoch festgestellt, dass die Herausforderung trotz der Fähigkeit aller KI-Systeme, einige der Aufgaben im Zusammenhang mit Connections zu bewältigen, weiterhin nahezu unüberwindbar bleibt. Im Vergleich zu anderen Systemen der vorherigen Kategorie, einschließlich bemerkenswerter Errungenschaften wie Einbettungsmethoden und GPT-3, schneidet es tendenziell besser ab.

Eine der wichtigsten Erkenntnisse ist, dass die Modelle eine sehr enge Verbindung zur menschlichen Fähigkeit aufweisen, den Schwierigkeitsgrad von Rätseln schnell von „einfach“ bis „anspruchsvoll“ zu kategorisieren. LLMs werden immer häufiger eingesetzt, und die Untersuchung, in welchen Kontexten sie im Hinblick auf das Verbindungsproblem versagen, kann eine allgemeine Einschränkung in der semantischen Verarbeitung natürlicher Sprache aufdecken, fügte Graham Todd, Doktoranddent Game Innovation Lab und Hauptautor der Studie, hinzu.

Mit GPT-4 die Grenzen erweitern

Die Forscher stellten fest, dass die schrittweise Herangehensweise von GPT-4 an die Rätsel die Fähigkeit, die Rätsel zu lösen, erheblich verbesserte, insbesondere mit einer Genauigkeit von etwas über 39 % bei den Rätseln.

Ein weiterer Beweis für den Nutzen der „Gedankenketten-Anregungen“, wie frühere Forschungen gezeigt haben und unsere Untersuchung nun bestätigt, ist, dass sie zu strukturiertem Denken im Bereich des Vokabulars führen, so Timothy Merino,dent am Game Innovation Lab und einer der Autoren diesestrac. Die Frage, wie Sprachmodelle Aufgaben besser bewältigen und abschließen können, wird dadurch gelöst, dass sie über ihre jeweilige Arbeit nachdenken. Die Forscher nutzten ein Online-Puzzle-Archiv mit 250 Rätseln, die die täglichen Rätsel vom 12. Juni 2023 bis zum 16. Februar 2024 repräsentierten.