„Chain of Thought“-Prompting hilft KI bei der Lösung von Vokabelrätseln

Hat KI denselben Fähigkeitenkatalog wie Menschen, und können sie subtile Hinweise in Vokabeln finden? Forscher der NYU Tandon School of Engineering sind nicht überrascht, die Nummer-eins-Aktivität von Menschen (Teilnahme am täglichen Connections-Rätsel) der New York Times zu sehen, wie im Papier erwähnt.

Bewertung von KI-Sprachmodellen

Die Untersuchung ergab eine kontroverse Frage für die kommende IEEE 2024 Mailand-Konferenz über Spielstudien und den Austausch verfügbaren und gemeinsamen Wissens: Ist es möglich, dass moderne Techniken der natürlichen Sprachverarbeitung (NLP) sprachbasierte Rätsel lösen? 

Mit Julian Togelius, Assistenzprofessor für CSE und Direktor des Game Innovation Lab an der NYU Tandon, als Co-Autor, konzentrierte sich das Team auf zwei KI-Methoden – maschinelles Lernen und hochrangiges Repräsentationslernen. Das erste nutzte GPT-3.5 und das zuletzt veröffentlichte GPT-4, die herausragenden Sprachmodelle mit offenem Bereich und menschlicher Sprache gefühl von OpenAI, ist ein weiteres.

Der nächste Mechanismus stützt sich auf Satz-Embedding-Modelle, insbesondere BERT, RoBERTa, MPNet und MiniLM. Diese Modelle stellen semantische Daten als Vektordarstellung dar, verfügen jedoch nicht über die vollständigen Sprachverständnis- und Generierungsfähigkeiten der LLMs.

Es wurde jedoch der Schluss gezogen, dass, obwohl alle KI-Maschinen einige der mit Connections verbundenen Aufgaben ausführen konnten, die Herausforderung fast unüberwindlich blieb. Sie tendiert dazu, in der früheren Kategorie besser zu sein, einschließlich bemerkenswerter Leistungen wie Embedding-Methoden und GPT-3.

Eine der wichtigsten Erkenntnisse hier ist, dass die Modelle eine sehr enge Verbindung zur menschlichen Fähigkeit zeigen, Rätselschwierigkeitsgrade schnell von „einfach“ bis „herausfordernd“ zu kategorisieren. LLMs werden häufiger eingesetzt, und die Untersuchung, in welchen Kontexten sie beim Connections-Problem versagen, kann eine allgemeine Einschränkung bei der semantischen Verarbeitung natürlicher Sprache aufdecken, fügte Graham Todd, ein Doktorand im Game Innovation Lab und Hauptautor der Studie, hinzu.

Grenzen mit GPT-4 erweitern

Die Forscher stellten fest, dass die Bitte an GPT-4, die Rätsel durch einen stückweisen Ansatz zu lösen, die Fähigkeit zur Lösung der Rätsel erheblich verbesserte, insbesondere mit einer Genauigkeit von etwas mehr als 39 % der Rätsel.

Ein weiterer Beweis dafür, wofür die „Chain-of-Thought-Prompts“ gut sind, wie frühere Forschungen gezeigt haben, wurde nun in unserer Untersuchung bestätigt, nämlich dass sie zu strukturiertem Denken in der Vokabel führen, wie Timothy Merino, Ph.D., Student an der Game Innovation Lab und einer der Autoren dieses Abstracts, feststellte. Die Frage, ob Sprachmodelle die Arbeit besser erledigen und die Aufgaben abschließen, wird gut gelöst, indem man sie über die jeweilige Arbeit nachdenken lässt, die sie ausführen. Die Forscher verwendeten ein Online-Jigsaw-Archiv mit 250 Rätseln, die die täglichen Rätsel vom 12. Juni 2023 bis zum 16. Februar 2024 repräsentieren.