La Norvegia è sulla buona strada per far progredire il suo LLM

Il Language Technology Group (LTG) dell'Università di Oslo ha preparato tre modelli linguistici di grandi dimensioni (LLM) norvegesi. Ciò è stato possibile grazie al tempo concesso ai ricercatori di accedere al computer più potente d'Europa, Lumi, situato in Finlandia. I ricercatori dell'LTG hanno addestrato i loro modelli linguistici di grandi dimensioni (LLM) su Lumi prima di Natale ed elaborato una notevole quantità di dati per lanciare tre diversi modelli linguistici norvegesi che sfidassero ChatGPT. L'accesso a Lumi non è facile da ottenere, poiché i ricercatori devono presentare domanda in anticipo e poi attendere il proprio turno, ma la potenza del computer accelera il processo di addestramento dei dati.

Perché i norvegesi vogliono il loro modello linguistico di grandi dimensioni (LLM)

I norvegesi volevano costruire un proprio modello linguistico, poiché, oltre a essere nella lingua madre, offriva molti altri utilizzi per una più ampia adozione. Sottolineando i diversi problemi associati alle soluzioni commerciali, Erik Velldal, professore dimaticdell'Università di Oslo, ha affermato:

"Ci sono molti problemi associati ai modelli linguistici dei giganti della tecnologia. Appaiono come scatole nere per il mondo esterno. Abbiamo bisogno di alternative norvegesi."

Fonte: Erik Velldal.

In precedenza, la Biblioteca nazionale norvegese e l'Università di Oslo avevano lavorato su una manciata di modelli linguistici norvegesi, ma quelli sviluppati ora sono i più grandi finora, con oltre 30 miliardi di parole di addestramento. 

Il ruolo di Lumi è importante poiché l'addestramento dei modelli di intelligenza artificiale richiede una notevole potenza di calcolo, comprese numerose unità GPU. Il processo di addestramento può essere accelerato aumentando il numero di GPU, e Lumi offre una buona opportunità, poiché ne integra oltre 10.000. 

Il professore associato Andrey Kutuzov afferma che, tra le molte ragioni per un modello linguistico norvegese, c'era il fatto che modelli come ChatGPT non si adattano bene alle conoscenze e ai valori della Norvegia. Questi modelli sono addestrati principalmente su lingue americane e sull'inglese, quindi defianche la cultura e i valori americani, mentre ciò di cui i norvegesi avevano bisogno era qualcosa che corrispondesse alle loro preferenze. Dice:

“Un modello linguistico norvegese rifletterà in misura molto maggiore la società così come la conosciamo in Norvegia.”

Fonte: Andrey Kutuzov.

Limitazioni dei modelli linguistici norvegesi di grandi dimensioni

I modelli norvegesi, destinati essenzialmente a sviluppatori e ricercatori, sono già stati lanciati e scaricati da diverse migliaia di persone. Kutuzov spiega che questi modelli non sono disponibili online. Poiché l'interfaccia web è considerata facile da usare dal grande pubblico, secondo il professore, questi modelli sono ancora lontani dai modelli commerciali in termini di possibilità offerte. Trattandosi di modelli di base generalisti,... 

Il gruppo tecnologico norvegese ritiene di dover disporre di modelli proprietari per competere con ChatGPT di OpenAI o LaMDA di Google. Oltre a molte altre osservazioni, i modelli commerciali consentono l'accesso solo tramite la loro interfaccia web e il modello alla base del sistema è chiuso all'accesso. Quindi, in molti contesti, può essere rischioso fornire dati a un fornitore di servizi terzo. Come nel caso dei dati medici, dove la privacy è la preoccupazione principale.

I modelli di lingua norvegese sono piuttosto limitati rispetto a ChatGPT. Poiché vengono addestrati solo sullo 0,1% dei dati utilizzati per ChatGPT, questi modelli non sono chiusi né limitati, quindi possono essere più utili ai ricercatori.

Raggiungere le qualità e gli standard dei modelli linguistici americani è ancora un compito arduo, e i modelli norvegesi necessitano di ulteriore sviluppo. Per essere al pari di ChatGPT o Bard, necessitano di formazione didattica per poter risolvere problemi un po' più complessi. Si dice che verranno lanciate nuove versioni dei modelli e che il processo continuerà.