GPT-2 Integrado ao Microsoft Excel: Uma Abordagem Não Convencional para Modelagem de IA

Em uma façanha notável, o desenvolvedor de software e autoproclamado entusiasta de planilhas Ishan Anand integrou com sucesso o modelo de linguagem GPT-2 no Microsoft Excel. Esta conquista inovadora não apenas demonstra a versatilidade das planilhas, mas também oferece uma perspectiva única sobre como os grandes modelos de linguagem (LLMs) operam, particularmente a arquitetura Transformer subjacente responsável pela previsão inteligente do próximo token.

A abordagem pioneira de Anand

Reconhecendo a complexidade inerente dos sistemas de IA, Anand acredita que entender uma planilha pode desbloquear os segredos da inteligência artificial. “Se você pode entender uma planilha, então pode entender a IA”, afirma ele com confiança. A abordagem inovadora do desenvolvedor resultou em uma planilha de 1,25 GB, que ele disponibilizou generosamente no GitHub para qualquer pessoa baixar e explorar.

Embora a implementação do GPT-2 em planilhas de Anand possa não corresponder às capacidades de ponta dos LLMs contemporâneos, ela oferece um vislumbre valioso do modelo GPT-2 inovador, que ganhou atenção significativa em 2019 por seu desempenho de ponta. É importante notar que o GPT-2 antecede a era da IA conversacional, com o ChatGPT emergindo de esforços para interagir com o GPT-3 de forma conversacional em 2022.

Explorando a arquitetura Transformer

No cerne da implementação do Excel de Anand está o modelo GPT-2 Small, que possui 124 milhões de parâmetros. Em contraste, a versão completa do GPT-2 empregava um impressionante 1,5 bilhão de parâmetros, enquanto seu sucessor, GPT-3, elevou ainda mais a barra com até 175 bilhões de parâmetros. Apesar de seu tamanho relativamente modesto, a implementação de Anand mostra a capacidade da arquitetura Transformer de realizar uma previsão inteligente do “próximo token”, onde o modelo de linguagem completa inteligentemente uma sequência de entrada com a parte subsequente mais provável.

Embora a planilha possa lidar apenas com 10 tokens de entrada, uma fração minúscula em comparação com a capacidade do GPT-4 Turbo de 128.000 tokens, o trabalho de Anand serve como um recurso educacional valioso. Ele acredita que sua “introdução de baixo código” é ideal para executivos de tecnologia, profissionais de marketing, gerentes de produto, formuladores de políticas de IA, éticos, desenvolvedores e cientistas que buscam entender melhor as bases dos LLMs.

Uma base para LLMs modernos

Anand afirma que a arquitetura Transformer empregada em sua implementação do GPT-2 permanece “como a base para o ChatGPT da OpenAI, Claude da Anthropic, Bard/Gemini do Google, Llama da Meta e muitos outros LLMs.” Seu trabalho em múltiplas planilhas guia os usuários pela tokenização de palavras, posições e ponderações de texto, refinamento iterativo da previsão da próxima palavra e, finalmente, selecionando o token de saída – a última palavra prevista da sequência.

Um dos benefícios notáveis da implementação baseada em Excel de Anand é a capacidade de executar o LLM inteiramente localmente em um PC, sem depender de serviços em nuvem ou chamadas de API. No entanto, ele adverte contra tentar usar este arquivo Excel no Mac ou em aplicativos de planilha baseados em nuvem, pois isso pode levar a travamentos e problemas de desempenho. Além disso, Anand recomenda usar a versão mais recente do Excel para um desempenho ideal.

Embora a implementação do GPT-2 de Anand possa não corresponder às capacidades dos LLMs contemporâneos, ela serve como uma ferramenta educacional notável e um testemunho da versatilidade das planilhas. Ao desmistificar o funcionamento interno dos modelos de linguagem, o trabalho de Anand capacita indivíduos de diversas origens a obter uma compreensão mais profunda da inteligência artificial e de seus princípios arquitetônicos subjacentes.