GPT-2 integrado ao Microsoft Excel: uma abordagem não convencional para modelagem de IA

Em um feito notável, o desenvolvedor de software e autoproclamado entusiasta de planilhas, Ishan Anand, integrou com sucesso o modelo de linguagem GPT-2 ao Microsoft Excel. Essa conquista inovadora não apenas demonstra a versatilidade das planilhas, mas também oferece uma perspectiva única sobre o funcionamento de grandes modelos de linguagem (LLMs), em particular a arquitetura Transformer subjacente, responsável pela previsão inteligente do próximo token.

A abordagem pioneira de Anand

Reconhecendo a complexidade inerente dos sistemas de IA, Anand acredita que entender uma planilha pode desvendar os segredos da inteligência artificial. "Se você consegue entender uma planilha, então consegue entender IA", afirma eledent. A abordagem inovadora do desenvolvedor resultou em uma planilha de 1,25 GB, que ele generosamente disponibilizou no GitHub para que qualquer pessoa possa baixar e explorar.

Embora a implementação do GPT-2 em planilha feita por Anand possa não corresponder aos recursos de ponta dos modelos de linguagem natural contemporâneos, ela oferece uma visão valiosa do inovador modelo GPT-2, que atraiu atenção significativa em 2019 por seu desempenho de última geração. É importante notar que o GPT-2 é anterior à era da IA ​​conversacional, com o ChatGPT surgindo dos esforços para estimular o GPT-3 a interagir de forma conversacional em 2022.

Explorando a arquitetura do transformador

No núcleo da implementação do Excel de Anand está o modelo GPT-2 Small, que possui 124 milhões de parâmetros. Em contraste, a versão completa do GPT-2 empregava impressionantes 1,5 bilhão de parâmetros, enquanto seu sucessor, o GPT-3, elevou ainda mais o patamar, com até 175 bilhões de parâmetros. Apesar de seu tamanho relativamente modesto, a implementação de Anand demonstra a capacidade da arquitetura Transformer de realizar uma "previsão do próximo token" inteligente, onde o modelo de linguagem completa de forma inteligente uma sequência de entrada com a parte subsequente mais provável.

Embora a planilha suporte apenas 10 tokens de entrada, uma fração minúscula em comparação com a capacidade de 128.000 tokens do GPT-4 Turbo, o trabalho de Anand serve como um valioso recurso educacional. Ele acredita que sua "introdução ao low-code" é ideal para executivos de tecnologia, profissionais de marketing, gerentes de produto, formuladores de políticas de IA, especialistas em ética, desenvolvedores e cientistas que buscam compreender melhor os fundamentos dos Modelos de Aprendizado de Máquina de Baixo Código (LLMs).

Uma base para mestrados em Direito modernos

Anand afirma que a arquitetura Transformer empregada em sua implementação do GPT-2 continua sendo “a base para o ChatGPT da OpenAI, o Claude da Anthropic, o Bard/Gemini do Google, o Llama da Meta e muitos outros LLMs”. Seu trabalho com várias planilhas guia os usuários pela tokenização de palavras, posições e ponderações do texto, refinamento iterativo da previsão da próxima palavra e, finalmente, pela seleção do token de saída – a última palavra prevista da sequência.

Uma das vantagens notáveis ​​da implementação do Excel proposta por Anand é a capacidade de executar o LLM inteiramente em um PC, sem depender de serviços em nuvem ou chamadas de API. No entanto, ele alerta para os riscos de usar esse arquivo do Excel em Macs ou aplicativos de planilha na nuvem, pois isso pode causar travamentos e problemas de desempenho. Além disso, Anand recomenda o uso da versão mais recente do Excel para obter o melhor desempenho.

Embora a implementação do GPT-2 por Anand possa não corresponder às capacidades dos modelos de linguagem contemporâneos, ela serve como uma ferramenta educacional notável e uma prova da versatilidade das planilhas eletrônicas. Ao desmistificar o funcionamento interno dos modelos de linguagem, o trabalho de Anand capacita indivíduos de diversas origens a obter uma compreensão mais profunda da inteligência artificial e de seus princípios arquitetônicos subjacentes.