GPT-2 integrado en Microsoft Excel: un enfoque poco convencional para el modelado de IA

En una hazaña extraordinaria, el desarrollador de software y autoproclamado entusiasta de las hojas de cálculo, Ishan Anand, ha integrado con éxito el modelo de lenguaje GPT-2 en Microsoft Excel. Este logro revolucionario no solo demuestra la versatilidad de las hojas de cálculo, sino que también ofrece una perspectiva única sobre el funcionamiento de los grandes modelos de lenguaje (LLM, por sus siglas en inglés), en particular la arquitectura Transformer subyacente, responsable de la predicción inteligente del siguiente token.

El enfoque pionero de Anand

Reconociendo la complejidad inherente de los sistemas de IA, Anand cree que comprender una hoja de cálculo puede revelar los secretos de la inteligencia artificial. «Si puedes entender una hoja de cálculo, entonces puedes entender la IA», afirmadent. El enfoque innovador del desarrollador ha dado como resultado una hoja de cálculo de 1,25 GB, que ha compartido generosamente en GitHub para que cualquiera pueda descargarla y explorarla.

Si bien la implementación de GPT-2 en una hoja de cálculo por parte de Anand puede no alcanzar las capacidades de vanguardia de los modelos LLM contemporáneos, ofrece una valiosa perspectiva del innovador modelo GPT-2, que atrajo gran atención en 2019 por su rendimiento de última generación. Es importante destacar que GPT-2 es anterior a la era de la IA conversacional, ya que ChatGPT surgió en 2022 de los esfuerzos por inducir el comportamiento conversacional de GPT-3.

Explorando la arquitectura del transformador

La implementación de Anand en Excel se basa en el modelo GPT-2 Small, que cuenta con 124 millones de parámetros. En contraste, la versión completa de GPT-2 empleaba la asombrosa cantidad de 1.500 millones de parámetros, mientras que su sucesor, GPT-3, elevó aún más el listón con hasta 175.000 millones de parámetros. A pesar de su tamaño relativamente modesto, la implementación de Anand demuestra la capacidad de la arquitectura Transformer para realizar una predicción inteligente del siguiente token, donde el modelo de lenguaje completa de forma inteligente una secuencia de entrada con la parte subsiguiente más probable.

Si bien la hoja de cálculo solo admite 10 tokens de entrada, una fracción minúscula en comparación con la capacidad de GPT-4 Turbo de 128 000 tokens, el trabajo de Anand constituye un valioso recurso educativo. Él considera que su "introducción al bajo código" es ideal para ejecutivos de tecnología, profesionales del marketing, gerentes de producto, responsables políticos de IA, especialistas en ética, desarrolladores y científicos que buscan comprender mejor los fundamentos de los modelos de bajo código.

Una base para los másteres en Derecho modernos

Anand afirma que la arquitectura Transformer empleada en su implementación de GPT-2 sigue siendo "la base de ChatGPT de OpenAI, Claude de Anthropic, Bard/Gemini de Google, Llama de Meta y muchos otros algoritmos de aprendizaje por voz". Su trabajo, que consta de varias hojas, guía a los usuarios a través de la tokenización de palabras, las posiciones y ponderaciones del texto, el refinamiento iterativo de la predicción de la siguiente palabra y, en última instancia, la selección del token de salida: la última palabra predicha de la secuencia.

Una de las ventajas más destacadas de la implementación de Anand basada en Excel es la posibilidad de ejecutar el LLM completamente de forma local en un PC, sin depender de servicios en la nube ni llamadas a la API. Sin embargo, advierte que no se debe intentar usar este archivo de Excel en Mac ni en aplicaciones de hojas de cálculo en la nube, ya que podría provocar fallos y problemas de rendimiento. Además, Anand recomienda usar la última versión de Excel para un rendimiento óptimo.

Si bien la implementación de GPT-2 de Anand puede no alcanzar las capacidades de los modelos de lenguaje actuales, constituye una herramienta educativa excepcional y una prueba de la versatilidad de las hojas de cálculo. Al desmitificar el funcionamiento interno de los modelos de lenguaje, el trabajo de Anand permite a personas de diversos orígenes comprender mejor la inteligencia artificial y sus principios arquitectónicos subyacentes.