GPT-2 integriert in Microsoft Excel: Ein unkonventioneller Ansatz zur KI-Modellierung

Dem Softwareentwickler und bekennenden Tabellenkalkulations-Enthusiasten Ishan Anand ist es auf bemerkenswerte Weise gelungen, das Sprachmodell GPT-2 in Microsoft Excel zu integrieren. Diese bahnbrechende Leistung demonstriert nicht nur die Vielseitigkeit von Tabellenkalkulationsprogrammen, sondern bietet auch einzigartige Einblicke in die Funktionsweise großer Sprachmodelle (LLMs), insbesondere in die zugrundeliegende Transformer-Architektur, die für die intelligente Vorhersage des nächsten Tokens verantwortlich ist.

Anands bahnbrechender Ansatz

Anand ist sich der Komplexität von KI-Systemen bewusst und glaubt, dass das Verständnis von Tabellenkalkulationen die Geheimnisse der künstlichen Intelligenz entschlüsseln kann. „Wer Tabellenkalkulationen versteht, versteht auch KI“, erklärt erdent. Der innovative Ansatz des Entwicklers hat zu einer 1,25 GB großen Tabellenkalkulation geführt, die er großzügigerweise auf GitHub zum Download und zur Erkundung zur Verfügung gestellt hat.

Anands Tabellenkalkulationsimplementierung von GPT-2 mag zwar nicht mit den hochmodernen Fähigkeiten heutiger LLMs mithalten können, bietet aber einen wertvollen Einblick in das bahnbrechende GPT-2-Modell, das 2019 aufgrund seiner herausragenden Leistungsfähigkeit große Aufmerksamkeit erregte. Es ist wichtig zu erwähnen, dass GPT-2 vor der Ära der dialogorientierten KI entstand; ChatGPT entwickelte sich erst 2022 aus den Bemühungen, GPT-3 zu dialogorientierten Interaktionen anzuregen.

Die Transformatorarchitektur erforschen

Kernstück von Anands Excel-Implementierung ist das GPT-2 Small-Modell mit seinen 124 Millionen Parametern. Im Vergleich dazu nutzte die Vollversion von GPT-2 beeindruckende 1,5 Milliarden Parameter, während der Nachfolger GPT-3 mit bis zu 175 Milliarden Parametern die Messlatte noch höher legte. Trotz seiner vergleichsweise geringen Größe demonstriert Anands Implementierung die Fähigkeit der Transformer-Architektur zur intelligenten „Nächste-Token-Vorhersage“, bei der das Sprachmodell eine Eingabesequenz intelligent mit dem wahrscheinlichsten Folgeglied vervollständigt.

Obwohl die Tabelle nur 10 Eingabe-Tokens verarbeiten kann – ein verschwindend geringer Anteil im Vergleich zu den 128.000 Tokens von GPT-4 Turbo –, stellt Anands Arbeit eine wertvolle Bildungsressource dar. Er ist überzeugt, dass seine „Einführung in Low-Code“ ideal für Führungskräfte aus der Technologiebranche, Marketingfachleute, Produktmanager, KI-Politiker, Ethiker, Entwickler und Wissenschaftler ist, die die Grundlagen von LLMs besser verstehen möchten.

Eine Grundlage für moderne LLM-Studiengänge

Anand behauptet, dass die in seiner GPT-2-Implementierung verwendete Transformer-Architektur weiterhin „die Grundlage für OpenAIs ChatGPT, Anthropics Claude, Googles Bard/Gemini, Metas Llama und viele andere LLMs“ bildet. Seine mehrseitige Arbeit führt die Nutzer durch die Wort-Tokenisierung, die Textpositionierung und -gewichtung, die iterative Verfeinerung der Vorhersage des nächsten Wortes und schließlich die Auswahl des Ausgabetokens – des vorhergesagten letzten Wortes der Sequenz.

Ein wesentlicher Vorteil von Anands Excel-basierter Implementierung ist die Möglichkeit, das LLM vollständig lokal auf einem PC auszuführen, ohne auf Cloud-Dienste oder API-Aufrufe angewiesen zu sein. Er warnt jedoch davor, diese Excel-Datei auf einem Mac oder in cloudbasierten Tabellenkalkulationsprogrammen zu verwenden, da dies zu Abstürzen und Leistungsproblemen führen kann. Zudem empfiehlt Anand für optimale Leistung die Verwendung der neuesten Excel-Version.

Anands GPT-2-Implementierung mag zwar nicht mit den Fähigkeiten moderner Sprachmodelle mithalten können, dient aber dennoch als bemerkenswertes Lehrmittel und beweist die Vielseitigkeit von Tabellenkalkulationsprogrammen. Indem er die Funktionsweise von Sprachmodellen verständlich macht, ermöglicht Anands Arbeit Menschen unterschiedlichster Herkunft, ein tieferes Verständnis von künstlicher Intelligenz und ihren zugrunde liegenden Architekturprinzipien zu erlangen.