GPT-2 intégré à Microsoft Excel : une approche non conventionnelle de la modélisation par IA

Dans une prouesse remarquable, Ishan Anand, développeur de logiciels et passionné de tableurs, a réussi à intégrer le modèle de langage GPT-2 à Microsoft Excel. Cette avancée majeure démontre non seulement la polyvalence des tableurs, mais offre également un éclairage unique sur le fonctionnement des grands modèles de langage (LLM), et plus particulièrement sur l'architecture Transformer sous-jacente, responsable de la prédiction intelligente du prochain jeton.

L'approche novatrice d'Anand

Conscient d'une complexité inhérente aux systèmes d'IA, Anand est convaincu que la maîtrise d'un tableur peut révéler les secrets de l'intelligence artificielle. « Si vous comprenez un tableur, vous comprenez l'IA », affirme-t-ildent. Cette approche novatrice a abouti à un tableur de 1,25 Go, qu'il met généreusement à disposition sur GitHub pour que chacun puisse le télécharger et l'explorer.

Bien que l'implémentation de GPT-2 par Anand dans un tableur ne rivalise pas avec les capacités de pointe des modèles de langage modernes, elle offre un aperçu précieux du modèle révolutionnaire GPT-2, qui a suscité un vif intérêt en 2019 grâce à ses performances exceptionnelles. Il est important de noter que GPT-2 est antérieur à l'ère de l'IA conversationnelle, ChatGPT étant né en 2022 des efforts déployés pour interagir avec GPT-3 de manière conversationnelle.

Exploration de l'architecture du transformateur

Au cœur de l'implémentation Excel d'Anand se trouve le modèle GPT-2 Small, qui compte 124 millions de paramètres. À titre de comparaison, la version complète de GPT-2 utilisait un nombre impressionnant de 1,5 milliard de paramètres, tandis que son successeur, GPT-3, a placé la barre encore plus haut avec jusqu'à 175 milliards de paramètres. Malgré sa taille relativement modeste, l'implémentation d'Anand illustre la capacité de l'architecture Transformer à effectuer une « prédiction du jeton suivant » intelligente : le modèle de langage complète intelligemment une séquence d'entrée avec la partie suivante la plus probable.

Bien que la feuille de calcul ne puisse traiter que 10 jetons d'entrée, une fraction infime comparée à la capacité de 128 000 jetons de GPT-4 Turbo, le travail d'Anand constitue une ressource pédagogique précieuse. Il estime que son introduction au low-code est idéale pour les dirigeants du secteur technologique, les responsables marketing, les chefs de produit, les décideurs politiques en matière d'IA, les éthiciens, les développeurs et les scientifiques qui souhaitent mieux comprendre les fondements des modèles low-code.

Une base pour les LLM modernes

Anand affirme que l'architecture Transformer utilisée dans son implémentation de GPT-2 reste « la base de ChatGPT d'OpenAI, de Claude d'Anthropic, de Bard/Gemini de Google, de Llama de Meta et de nombreux autres modèles de langage ». Son travail multi-feuilles guide les utilisateurs à travers la tokenisation des mots, les positions et les pondérations du texte, le raffinement itératif de la prédiction du mot suivant et, finalement, la sélection du jeton de sortie – le dernier mot prédit de la séquence.

L'un des principaux avantages de l'implémentation d'Anand basée sur Excel est la possibilité d'exécuter le LLM entièrement en local sur un PC, sans recourir à des services cloud ni à des appels API. Cependant, il déconseille fortement d'utiliser ce fichier Excel sur Mac ou avec des applications de tableur en ligne, car cela pourrait entraîner des plantages et des problèmes de performance. De plus, Anand recommande d'utiliser la dernière version d'Excel pour des performances optimales.

Bien que l'implémentation de GPT-2 par Anand ne rivalise pas avec les performances des modèles de langage actuels, elle constitue un outil pédagogique remarquable et témoigne de la polyvalence des tableurs. En démystifiant le fonctionnement interne des modèles de langage, le travail d'Anand permet à des personnes d'horizons divers d'acquérir une compréhension plus approfondie de l'intelligence artificielle et de ses principes architecturaux sous-jacents.