GPT-2 intégré dans Microsoft Excel : une approche non conventionnelle de la modélisation IA

Dans un exploit remarquable, le développeur de logiciels et autodidacte enthousiaste des feuilles de calcul Ishan Anand a réussi à intégrer le modèle de langage GPT-2 dans Microsoft Excel. Cette réalisation révolutionnaire démontre non seulement la polyvalence des feuilles de calcul, mais offre également une perspective unique sur le fonctionnement des grands modèles de langage (LLM), en particulier l'architecture Transformer sous-jacente responsable de la prédiction intelligente du prochain jeton.

L'approche pionnière d'Anand

Reconnaissant la complexité inhérente des systèmes d'IA, Anand estime que comprendre une feuille de calcul peut dévoiler les secrets de l'intelligence artificielle. « Si vous pouvez comprendre une feuille de calcul, alors vous pouvez comprendre l'IA », affirme-t-il avec confiance. L'approche innovante du développeur a abouti à une feuille de calcul de 1,25 Go, qu'il a généreusement mise à disposition sur GitHub pour que quiconque puisse la télécharger et l'explorer.

Bien que l'implémentation de GPT-2 sous forme de feuille de calcul d'Anand ne puisse pas rivaliser avec les capacités de pointe des LLM contemporains, elle offre un aperçu précieux du modèle révolutionnaire GPT-2, qui a suscité une attention significative en 2019 pour ses performances de pointe. Il est important de noter que GPT-2 précède l'ère de l'IA conversationnelle, ChatGPT étant né d'efforts pour inviter GPT-3 à converser en 2022.

Explorer l'architecture Transformer

Au cœur de l'implémentation Excel d'Anand se trouve le modèle GPT-2 Small, qui compte 124 millions de paramètres. En comparaison, la version complète de GPT-2 utilisait un impressionnant 1,5 milliard de paramètres, tandis que son successeur, GPT-3, a encore relevé la barre avec jusqu'à 175 milliards de paramètres. Malgré sa taille relativement modeste, l'implémentation d'Anand met en évidence la capacité de l'architecture Transformer à effectuer une prédiction intelligente du « prochain jeton », où le modèle de langage complète intelligemment une séquence d'entrée avec la partie suivante la plus probable.

Bien que la feuille de calcul ne puisse gérer que 10 jetons d'entrée, une fraction infime par rapport à la capacité de 128 000 jetons de GPT-4 Turbo, le travail d'Anand sert de ressource éducative précieuse. Il estime que son « introduction à faible code » est idéale pour les cadres technologiques, les marketeurs, les chefs de produit, les responsables de la politique de l'IA, les éthiciens, les développeurs et les scientifiques souhaitant mieux comprendre les fondements des LLM.

Une base pour les LLM modernes

Anand affirme que l'architecture Transformer utilisée dans son implémentation GPT-2 reste « la base du ChatGPT d'OpenAI, du Claude d'Anthropic, du Bard/Gemini de Google, du Llama de Meta et de nombreux autres LLM ». Son travail à plusieurs feuilles guide les utilisateurs à travers le tokenisation des mots, les positions et pondérations du texte, le raffinement itératif de la prédiction du mot suivant et, enfin, la sélection du jeton de sortie – le dernier mot prédit de la séquence.

L'un des avantages notables de l'implémentation basée sur Excel d'Anand est la possibilité d'exécuter le LLM entièrement en local sur un PC, sans dépendre de services cloud ou d'appels API. Cependant, il met en garde contre l'utilisation de ce fichier Excel sur Mac ou sur des applications de feuilles de calcul basées sur le cloud, car cela pourrait entraîner des plantages et des problèmes de performance. De plus, Anand recommande d'utiliser la dernière version d'Excel pour des performances optimales.

Bien que l'implémentation GPT-2 d'Anand ne puisse pas rivaliser avec les capacités des LLM contemporains, elle sert d'outil éducatif remarquable et témoigne de la polyvalence des feuilles de calcul. En démystifiant le fonctionnement interne des modèles de langage, le travail d'Anand permet aux personnes de divers horizons de mieux comprendre l'intelligence artificielle et ses principes architecturaux sous-jacents.