Einblicke in die KI-Prompt-Meisterschaft aus Googles Studie über LLMs

Anfang September war die KI-Community in Aufregung versetzt, als der russische Tech-Riese Yandex eine private Mini-Konferenz zur generativen KI veranstaltete. Die Veranstaltung, die sich auf das Eintauchen in die Feinheiten der KI konzentrierte, nahm eine unerwartete Wendung, als Enthüllungen über YandexGPT 2 und dessen vergleichende Analyse mit GPT-4 an die Öffentlichkeit gelangten.

YandexGPT 2, ein proprietäres Modell, sollte die Spitze von Yandex’ Fortschritten präsentieren. Doch die Enthüllung brachte eine unvorhergesehene Offenbarung zutage – das Modell schnitt, selbst mit umfangreichem Training auf einem Jahrzehnt interner Yandex-Daten, im Vergleich zum formidable GPT-4 schlechter ab. Diese unerwartete Wendung unterstrich die bemerkenswerten Fortschritte, die GPT-4 erzielt hat, und festigte seine Überlegenheit gegenüber sowohl proprietären Entwicklungen als auch früheren Open-Source-Iterationen.

Auf dieser Grundlage nutzte Google die Gelegenheit, eine bahnbrechende Studie über die Genauigkeit der Antworten von Large Language Models (LLMs) durchzuführen, die in Suchmaschinen integriert sind. Die Komplexität, wie Google feststellte, liegt in der sorgfältigen Bewertung und Validierung dieser Modelle, die von den Feinheiten des Prompt-Designs und den inhärenten Fähigkeiten von LLMs abhängt.

Googles LLM-Testmethodik

Ein kuratiertes Korpus von 600 Fragen diente als Schlachtfeld zur Bewertung von LLMs. Diese Fragen wurden strategisch in vier verschiedene Gruppen unterteilt, die jeweils die faktische Genauigkeit betonen. Eine Gruppe, But, stach mit Fragen hervor, die auf falschen Prämissen basierten und die Modelle mit ungenauen Prämissen herausforderten.

Die Analyse ergab eine faszinierende Dominanz von GPT-4 und ChatGPT, insbesondere bei der Widerlegung falscher Prämissen. Vergleichende Bewertungen zeigten die Stärke dieser Modelle im Vergleich zu Google-Suche und PPLX.AI. Googles Suche, basierend auf Textschnipseln oder Antworten auf der ersten Seite, lieferte in durchschnittlich 40 % der Fälle korrekte Antworten über die Gruppen hinweg. Bemerkenswerterweise schnitten ChatGPT und GPT-4 bei der Bearbeitung von Fragen mit falschen Prämissen besser ab, wobei GPT-4 eine beeindruckende Präzision von 42 % erreichte. PPLX.AI zeigte eine lobenswerte Erfolgsquote von 52 %, was sein Potenzial bei der Nutzung von ChatGPT zur Aggregation von Googles Antworten andeutet.

In einer einzigartigen Wendung integrierte die Studie einen neuartigen Ansatz – jede Frage löste eine Google-Suche aus, wobei die Ergebnisse in den Prompt integriert wurden. Diese Few-Shot-Lernmethode ermöglichte es LLMs, diese Informationen zu „lesen“, bevor sie Antworten generierten. Die Ergebnisse zeigten GPT-4’s außergewöhnliche Qualitätsbewertung von 77 %, mit einer Genauigkeit von 96 % bei der Beantwortung von „ewigen“ Fragen und einer lobenswerten Präzision von 75 % bei der Behandlung von Fragen mit falschen Prämissen.

Meisterschaft und Design von KI-Prompts

Die Fähigkeit, Large Language Models effektiv durch ein Labyrinth von Informationen zu führen, war eine formidable Herausforderung. Jüngste Enthüllungen aus der KI-Prompt-Erforschung beleuchten Schlüsselstrategien zur Verbesserung der Qualität von LLM-generierten Antworten und bieten Einblicke in die nuancierten Mechaniken der KI-Unterstützung.

Die Grundlage liegt in der sorgfältigen Strukturierung des Prompts, die aus mehreren Komponenten besteht. Illustrative Beispiele dienen als Leitmarkierungen für LLMs, die sie zu präzisen Antworten basierend auf kontextuellen Hinweisen führen. Die zweite Ebene besteht darin, die eigentliche Abfrage zusammen mit 10-15 Suchergebnissen vorzulegen, was eine umfassende Wissensbibliothek für die KI schafft. Die Raffinesse erstreckt sich auf die chronologische Anordnung von Links innerhalb des Prompts, was die sich entwickelnde Natur der Informationen widerspiegelt.

Mehrere Erkenntnisse ergeben sich aus dieser Erforschung

PPLX.AI, das ChatGPT nutzt, um Googles Antworten zu aggregieren, erweist sich als vielversprechende Option und erhält sogar Zustimmung von Google-Mitarbeitern.

Experimente mit verschiedenen Elementen verbessern die Antwortmetriken. Präzision bei der Prompt-Erstellung ist eine Kunst, die die Effektivität von LLMs erheblich beeinflusst.

GPT-4 zeigt eine lobenswerte Kompetenz bei der Verarbeitung umfangreicher Satze von Nachrichten und Texten und demonstriert seine Anpassungsfähigkeit selbst in sich schnell ändernden Nachrichtenszenarien, wobei die Metriken um die 60-%-Marke schwanken.

Während das KI-Ökosystem expandiert, sind LLMs, die in Suchmaschinen integriert sind, darauf vorbereitet, allgegenwärtig zu werden. Die transformative Verschiebung in der alltäglichen Sucherfahrung bedeutet eine breitere Akzeptanz von KI beim Zugriff auf und der Verarbeitung von Informationen.

Der vielschichtige Ansatz eines effektiven Prompt-Designs bietet einen vielversprechenden Weg zu genauen Antworten von ausgefeilten Sprachmodellen. Die chronologische Anordnung von Links innerhalb von Prompts, gepaart mit kontextuellen Hinweisen, bereichert das Verständnis dynamischer Informationen und ebnet den Weg für präzisere und kontextbewusstere Antworten.