GPT-2 integrado en Microsoft Excel: Un enfoque no convencional para el modelado de IA

En una hazaña notable, el desarrollador de software y autoproclamado entusiasta de las hojas de cálculo Ishan Anand ha integrado con éxito el modelo de lenguaje GPT-2 en Microsoft Excel. Este logro innovador no solo demuestra la versatilidad de las hojas de cálculo, sino que también proporciona una perspectiva única sobre cómo operan los modelos de lenguaje grandes (LLM), particularmente la arquitectura Transformer subyacente responsable de la predicción inteligente del siguiente token.

El enfoque pionero de Anand

Reconociendo la complejidad inherente de los sistemas de IA, Anand cree que entender una hoja de cálculo puede desbloquear los secretos de la inteligencia artificial. «Si puedes entender una hoja de cálculo, entonces puedes entender la IA», afirma con confianza. El enfoque innovador del desarrollador ha resultado en una hoja de cálculo de 1,25 GB, que ha puesto generosamente a disposición en GitHub para que cualquiera la descargue y explore.

Si bien la implementación de GPT-2 en la hoja de cálculo de Anand puede no igualar las capacidades de vanguardia de los LLM contemporáneos, ofrece una visión valiosa del innovador modelo GPT-2, que recibió una atención significativa en 2019 por su rendimiento de última generación. Es importante tener en cuenta que GPT-2 precede a la era de la IA conversacional, con ChatGPT surgiendo de esfuerzos para interactuar con GPT-3 de manera conversacional en 2022.

Explorando la arquitectura Transformer

En el núcleo de la implementación de Excel de Anand se encuentra el modelo GPT-2 Small, que cuenta con 124 millones de parámetros. En contraste, la versión completa de GPT-2 empleaba una asombrosa cantidad de 1.500 millones de parámetros, mientras que su sucesor, GPT-3, elevó aún más la barra con hasta 175.000 millones de parámetros. A pesar de su tamaño relativamente modesto, la implementación de Anand muestra la capacidad de la arquitectura Transformer para realizar una «predicción del siguiente token» inteligente, donde el modelo de lenguaje completa inteligentemente una secuencia de entrada con la parte siguiente más probable.

Si bien la hoja de cálculo solo puede manejar 10 tokens de entrada, una fracción minúscula en comparación con la capacidad de 128.000 tokens de GPT-4 Turbo, el trabajo de Anand sirve como un recurso educativo valioso. Cree que su «introducción de bajo código» es ideal para ejecutivos tecnológicos, marketers, gerentes de producto, legisladores de IA, éticos, desarrolladores y científicos que buscan comprender mejor los fundamentos de los LLM.

Una base para los LLM modernos

Anand afirma que la arquitectura Transformer empleada en su implementación de GPT-2 sigue siendo «la base para ChatGPT de OpenAI, Claude de Anthropic, Bard/Gemini de Google, Llama de Meta y muchos otros LLM». Su trabajo de múltiples hojas guía a los usuarios a través de la tokenización de palabras, las posiciones y ponderaciones de texto, el refinamiento iterativo de la predicción de la siguiente palabra y, finalmente, la selección del token de salida: la última palabra predicha de la secuencia.

Uno de los beneficios notables de la implementación basada en Excel de Anand es la capacidad de ejecutar el LLM completamente de forma local en una PC, sin depender de servicios en la nube o llamadas a API. Sin embargo, advierte contra intentar usar este archivo de Excel en Mac o en aplicaciones de hojas de cálculo basadas en la nube, ya que podría provocar bloqueos y problemas de rendimiento. Además, Anand recomienda usar la última versión de Excel para un rendimiento óptimo.

Si bien la implementación de GPT-2 de Anand puede no igualar las capacidades de los LLM contemporáneos, sirve como una herramienta educativa notable y un testimonio de la versatilidad de las hojas de cálculo. Al desmitificar el funcionamiento interno de los modelos de lenguaje, el trabajo de Anand empodera a personas de diversos orígenes para obtener una comprensión más profunda de la inteligencia artificial y sus principios arquitectónicos subyacentes.