GPT-2 integrato in Microsoft Excel: un approccio non convenzionale al modeling AI

In una realizzazione straordinaria, lo sviluppatore software e autodichiarato appassionato di fogli di calcolo Ishan Anand ha integrato con successo il modello linguistico GPT-2 in Microsoft Excel. Questo traguardo rivoluzionario non solo dimostra la versatilità dei fogli di calcolo, ma offre anche una prospettiva unica su come operano i grandi modelli linguistici (LLM), in particolare l'architettura Transformer sottostante responsabile della previsione intelligente del prossimo token.

L'approccio pionieristico di Anand

Riconoscendo la complessità intrinseca dei sistemi AI, Anand crede che comprendere un foglio di calcolo possa sbloccare i segreti dell'intelligenza artificiale. "Se puoi capire un foglio di calcolo, allora puoi capire l'AI", afferma con sicurezza. L'approccio innovativo dello sviluppatore ha portato a un foglio di calcolo di 1,25 GB, che ha generosamente reso disponibile su GitHub per chiunque possa scaricarlo ed esplorarlo.

Mentre l'implementazione di GPT-2 di Anand in un foglio di calcolo potrebbe non eguagliare le capacità all'avanguardia degli LLM contemporanei, offre uno sguardo prezioso al rivoluzionario modello GPT-2, che ha attirato molta attenzione nel 2019 per le sue prestazioni all'avanguardia. È importante notare che GPT-2 precede l'era dell'AI conversazionale, con ChatGPT emerso da sforzi per interrogare GPT-3 in modo conversazionale nel 2022.

Esplorare l'architettura transformer

Al centro dell'implementazione Excel di Anand si trova il modello GPT-2 Small, che vanta 124 milioni di parametri. In confronto, la versione completa di GPT-2 impiegava uno sbalorditivo 1,5 miliardi di parametri, mentre il suo successore, GPT-3, ha alzato l'asticella ancora più in alto con fino a 175 miliardi di parametri. Nonostante le sue dimensioni relativamente modeste, l'implementazione di Anand mostra la capacità dell'architettura Transformer di eseguire una "previsione del prossimo token" intelligente, in cui il modello linguistico completa intelligentemente una sequenza di input con la parte successiva più probabile.

Sebbene il foglio di calcolo possa gestire solo 10 token in input, una frazione minuscola rispetto alla capacità di 128.000 token di GPT-4 Turbo, il lavoro di Anand costituisce una preziosa risorsa educativa. Egli ritiene che la sua "introduzione low-code" sia ideale per dirigenti tecnologici, marketer, product manager, responsabili delle politiche sull'IA, eticisti, sviluppatori e scienziati che desiderano comprendere meglio le fondamenta dei LLM.

Una base per i moderni LLM

Anand afferma che l'architettura Transformer impiegata nella sua implementazione di GPT-2 rimane "la base per ChatGPT di OpenAI, Claude di Anthropic, Bard/Gemini di Google, Llama di Meta e molti altri LLM." Il suo lavoro a più fogli guida gli utenti attraverso la tokenizzazione delle parole, le posizioni e i pesi del testo, il perfezionamento iterativo della previsione della parola successiva e, in definitiva, la selezione del token di output – l'ultima parola prevista della sequenza.

Uno dei vantaggi degni di nota dell'implementazione basata su Excel di Anand è la possibilità di eseguire il LLM interamente in locale su un PC, senza fare affidamento su servizi cloud o chiamate API. Tuttavia, sconsiglia di tentare di utilizzare questo file Excel su Mac o applicazioni di fogli di calcolo basate sul cloud, poiché ciò potrebbe causare crash e problemi di prestazioni. Inoltre, Anand raccomanda di utilizzare l'ultima versione di Excel per ottenere prestazioni ottimali.

Sebbene l'implementazione di GPT-2 di Anand possa non eguagliare le capacità dei LLM contemporanei, essa rappresenta uno straordinario strumento educativo e una testimonianza della versatilità dei fogli di calcolo. Smistificando il funzionamento interno dei modelli linguistici, il lavoro di Anand consente a persone di diversi background di acquisire una comprensione più profonda dell'intelligenza artificiale e dei suoi principi architetturali sottostanti.