GPT-2 integrato in Microsoft Excel: un approccio non convenzionale alla modellazione dell'intelligenza artificiale

Con un'impresa straordinaria, lo sviluppatore software e autoproclamato appassionato di fogli di calcolo Ishan Anand ha integrato con successo il modello linguistico GPT-2 in Microsoft Excel. Questo risultato rivoluzionario non solo dimostra la versatilità dei fogli di calcolo, ma offre anche una prospettiva unica sul funzionamento dei modelli linguistici di grandi dimensioni (LLM), in particolare sull'architettura Transformer sottostante, responsabile della previsione intelligente del token successivo.

L'approccio pionieristico di Anand

Riconoscendo la complessità intrinseca dei sistemi di intelligenza artificiale, Anand ritiene che comprendere un foglio di calcolo possa svelare i segreti dell'intelligenza artificiale. "Se riesci a capire un foglio di calcolo, allora puoi capire l'intelligenza artificiale", affermadent. L'approccio innovativo dello sviluppatore ha portato alla creazione di un foglio di calcolo da 1,25 GB, che ha generosamente reso disponibile su GitHub affinché chiunque possa scaricarlo ed esplorarlo.

Sebbene l'implementazione di GPT-2 in formato foglio di calcolo da parte di Anand potrebbe non essere all'altezza delle funzionalità all'avanguardia degli LLM contemporanei, offre un prezioso sguardo al rivoluzionario modello GPT-2, che ha suscitato notevole attenzione nel 2019 per le sue prestazioni all'avanguardia. È importante notare che GPT-2 precede l'era dell'intelligenza artificiale conversazionale, con ChatGPT che emerge dagli sforzi per implementare GPT-3 in modalità conversazionale nel 2022.

Esplorazione dell'architettura del trasformatore

Al centro dell'implementazione Excel di Anand c'è il modello GPT-2 Small, che vanta 124 milioni di parametri. Al contrario, la versione completa di GPT-2 impiegava ben 1,5 miliardi di parametri, mentre il suo successore, GPT-3, ha alzato ulteriormente l'asticella, arrivando a 175 miliardi di parametri. Nonostante le sue dimensioni relativamente modeste, l'implementazione di Anand mette in mostra la capacità dell'architettura Transformer di eseguire una "previsione intelligente del token successivo", in cui il modello linguistico completa in modo intelligente una sequenza di input con la parte successiva più probabile.

Sebbene il foglio di calcolo possa gestire solo 10 token di input, una frazione minuscola rispetto alla capacità di GPT-4 Turbo di 128.000 token, il lavoro di Anand rappresenta una preziosa risorsa didattica. Ritiene che la sua "introduzione al low-code" sia ideale per dirigenti tecnologici, addetti al marketing, product manager, responsabili delle politiche di intelligenza artificiale, esperti di etica, sviluppatori e scienziati che desiderano comprendere meglio i fondamenti degli LLM.

Una base per gli LLM moderni

Anand sostiene che l'architettura Transformer impiegata nella sua implementazione GPT-2 rimane "la base per ChatGPT di OpenAI, Claude di Anthropic, Bard/Gemini di Google, Llama di Meta e molti altri LLM". Il suo lavoro multi-foglio guida gli utenti attraverso la tokenizzazione delle parole, le posizioni e le ponderazioni del testo, il perfezionamento iterativo della previsione della parola successiva e, infine, la selezione del token di output, ovvero l'ultima parola prevista della sequenza.

Uno dei vantaggi più degni di nota dell'implementazione basata su Excel di Anand è la possibilità di eseguire LLM interamente in locale su un PC, senza dover ricorrere a servizi cloud o chiamate API. Tuttavia, Anand sconsiglia di utilizzare questo file Excel su Mac o su applicazioni di fogli di calcolo basate su cloud, poiché potrebbe causare arresti anomali e problemi di prestazioni. Inoltre, Anand consiglia di utilizzare la versione più recente di Excel per prestazioni ottimali.

Sebbene l'implementazione del GPT-2 di Anand possa non essere all'altezza delle capacità degli attuali LLM, rappresenta uno straordinario strumento didattico e una testimonianza della versatilità dei fogli di calcolo. Demistificando il funzionamento interno dei modelli linguistici, il lavoro di Anand consente a persone con background diversi di acquisire una comprensione più approfondita dell'intelligenza artificiale e dei principi architetturali che la caratterizzano.