I modelli linguistici piccoli (SLM) sono considerati la prossima grande novità nell'IA

Mentre le aziende stanno investendo ingenti somme nei modelli linguistici di grandi dimensioni (LLM), alcuni esperti del settore dell'IA ritengono che i modelli linguistici piccoli (SLM) diventeranno la prossima grande novità.

Questo avviene mentre l'attività nel settore continua a crescere con l'avvicinarsi della stagione festiva, con le aziende tecnologiche che investono maggiori fondi per sviluppare la loro tecnologia.

Il futuro è nei modelli linguistici piccoli

Aziende come xAI, guidata dal miliardario Elon Musk, sono riuscite a raccogliere ulteriori 5 miliardi da Andreessen Horowitz, Qatar Investment Authority, Sequoia e Valor Equity Partners, mentre Amazon ha investito ulteriori 4 miliardi in Anthropic, un concorrente di OpenAI.

Mentre queste grandi aziende tecnologiche e altre stanno investendo miliardi di dollari concentrandosi sullo sviluppo di grandi LLM per gestire molti compiti diversi, la realtà dell'IA è che non esiste una soluzione unica per tutti, poiché vi è la necessità di modelli specifici per i compiti delle aziende.

Secondo il CEO di AWS Matt Garman in un comunicato sulla loro partnership in espansione e sugli investimenti, c'è già una risposta schiacciante dai clienti AWS che stanno sviluppando IA generativa alimentata da Anthropic.

Gli LLM per la maggior parte delle aziende sono ancora la scelta numero uno per determinati progetti, ma per altri, questa scelta può essere costosa in termini di costi, energia e risorse di calcolo.

Steven McMillan, presidente e CEO di Teradata, che ha offerto un percorso alternativo per alcune aziende, ha anche altre opinioni. È convinto che il futuro sia negli SLM.

“Mentre guardiamo al futuro, pensiamo che i modelli linguistici piccoli e medi e gli ambienti controllati come gli LLM specifici per il dominio offriranno soluzioni molto migliori.”

~ McMillan

Gli SLM producono output personalizzati su tipi specifici di dati poiché i modelli linguistici sono specificamente addestrati per farlo. Poiché i dati generati dagli SLM vengono mantenuti internamente, i modelli linguistici vengono quindi addestrati su dati potenzialmente sensibili.

Con gli LLM che consumano molta energia, le versioni linguistiche piccole sono addestrate per scalare sia l'uso del calcolo che quello energetico in base alle effettive esigenze del progetto. Con tali regolazioni, significa che gli SLM sono efficienti a un costo inferiore rispetto ai modelli grandi attuali.

Per gli utenti che vogliono utilizzare l'IA per conoscenze specifiche, esiste l'opzione di LLM specifici per il dominio, poiché non offrono conoscenze ampie. Sono addestrati a comprendere profondamente solo una categoria di informazioni e a rispondere in modo più accurato, ad esempio un CMO rispetto a un CFO, in quel dominio.

Perché gli SLM sono un'opzione preferita

Secondo l'Associazione degli Scienziati dei Dati (ADaSci), lo sviluppo completo di un SLM con 7 miliardi di parametri per un milione di utenti richiederebbe solo 55,1 MWh (Megawattora).

ADaSci ha scoperto che l'addestramento di GPT-3 con 175 miliardi di parametri ha consumato una stima di 1.287 MWh di elettricità, e questa potenza non include l'utilizzo quando diventa ufficialmente disponibile al pubblico. Pertanto, un SLM utilizza circa il 5% dell'energia consumata per l'addestramento di un LLM.

I modelli grandi vengono solitamente eseguiti su computer cloud perché utilizzano più potenza di calcolo di quanto sia mai disponibile su un dispositivo individuale. Questo comporta complicazioni per le aziende, poiché perdono il controllo sulle loro informazioni quando vengono trasferite nel cloud, e risposte lente mentre viaggiano attraverso Internet.

Guardando al futuro, l'adozione dell'IA da parte delle aziende non sarà una soluzione unica per tutti, poiché l'efficienza e la selezione dello strumento migliore ed economico per completare i compiti saranno al centro dell'attenzione, il che significa scegliere la dimensione giusta del modello per ogni progetto.

Questo verrà fatto per tutti i modelli, sia un LLM a scopo generale, sia LLM più piccoli e specifici per il dominio, a seconda di quale modello offrirà risultati migliori, richiederà meno risorse e ridurrà la necessità di migrare i dati verso il cloud.

Per la prossima fase, l'IA sarà vitale per le decisioni aziendali poiché il pubblico ha alta fiducia nelle risposte generate dall'IA.

“Quando pensi all'addestramento dei modelli di IA, devono essere costruiti sulle fondamenta di ottimi dati.”

~ McMillan

“Questo è ciò che facciamo, fornendo quel set di dati affidabile e poi fornendo le capacità e le capacità analitiche in modo che i clienti e i loro clienti possano fidarsi degli output”, ha aggiunto McMillan.

Con l'efficienza e l'accuratezza molto richieste nel mondo, gli LLM più piccoli e specifici per il dominio offrono un'altra opzione per fornire risultati su cui aziende e il pubblico più ampio possono fare affidamento.