I modelli di linguaggio piccolo (SLM) sono considerati la prossima grande novità nell'intelligenza artificiale

Mentre le aziende investono in modelli linguistici di grandi dimensioni (LLM), alcuni esperti del settore dell'intelligenza artificiale ritengono che i modelli linguistici di piccole dimensioni (SLM) diventeranno la prossima grande novità.

Ciò avviene mentre l'attività nel settore continua a crescere con l'avvicinarsi delle festività e con le aziende tecnologiche che investono maggiori fondi per sviluppare la loro tecnologia.

Il futuro è nei modelli linguistici di piccole dimensioni

Società come xAI, gestita dal multimiliardario Elon Musk, sono riuscite a raccogliere altri 5 miliardi di dollari da Andreessen Horowitz, Qatar Investment Authority, Sequoia e Valor Equity Partners, mentre Amazon ha investito altri 4 miliardi di dollari in Anthropic, un concorrente di OpenAI.

Mentre queste grandi aziende tecnologiche e altre stanno investendo miliardi di dollari concentrandosi sullo sviluppo di grandi LLM per gestire molte attività diverse, la realtà dell'intelligenza artificiale è che non esiste una soluzione unica adatta a tutti, poiché sono necessari modelli di attività specifici per le aziende.

Secondo quanto affermato dal CEO di AWS, Matt Garman, in un comunicato stampa sull'espansione della partnership e degli investimenti, si sta già riscontrando una risposta travolgente da parte dei clienti AWS che stanno sviluppando un'intelligenza artificiale generativa basata su Anthropic.

Per la maggior parte delle aziende, gli LLM rappresentano ancora la scelta numero uno per determinati progetti, ma per altre questa scelta può essere costosa in termini di costi, energia e risorse informatiche.

Steven McMillan,dent e CEO di Teradata, che ha proposto un percorso alternativo per alcune aziende, ha anche opinioni diverse. È convinto che il futuro sia nelle SLM.

"Guardando al futuro, pensiamo che modelli linguistici di piccole e medie dimensioni e ambienti controllati, come gli LLM specifici per dominio, forniranno soluzioni decisamente migliori."

~ McMillan

Gli SLM producono output personalizzati su specifiche tipologie di dati, poiché i modelli linguistici sono specificamente addestrati per farlo. Poiché i dati generati dagli SLM sono conservati internamente, i modelli linguistici vengono addestrati su dati potenzialmente sensibili.

Poiché gli LLM consumano molta energia, le versioni ridotte del linguaggio vengono addestrate per adattare sia l'elaborazione che il consumo energetico alle effettive esigenze del progetto. Grazie a tali adattamenti, gli SLM risultano efficienti a un costo inferiore rispetto agli attuali modelli di grandi dimensioni.

Per gli utenti che desiderano utilizzare l'IA per competenze specifiche, è possibile optare per LLM , poiché non offrono una conoscenza approfondita. L'IA è progettata per comprendere a fondo una sola categoria di informazioni e rispondere in modo più accurato, ad esempio per un CMO rispetto a un CFO, in quel dominio.

Perché gli SLM sono un'opzione preferita

Secondo l'Association of Data Scientists (ADaSci), lo sviluppo completo di un SLM con 7 miliardi di parametri per un milione di utenti richiederebbe solo 55,1 MWh (Megawattora).

ADaSci ha scoperto che l'addestramento di GPT-3 con 175 miliardi di parametri ha consumato circa 1.287 MWh di elettricità, e la potenza non include il momento in cui entra ufficialmente in uso al pubblico. Pertanto, un SLM consuma circa il 5% dell'energia consumata durante l'addestramento di un LLM.

I modelli di grandi dimensioni vengono solitamente eseguiti su computer cloud perché utilizzano una potenza di calcolo superiore a quella disponibile su un singolo dispositivo. Ciò comporta complicazioni per le aziende, che perdono il controllo sulle informazioni trasferite nel cloud e rallentano i tempi di risposta durante il trasferimento su Internet.

In futuro, l'adozione dell'intelligenza artificiale da parte delle aziende non sarà una soluzione unica per tutti, poiché l'efficienza e la scelta dello strumento migliore e meno costoso per completare le attività saranno al centro dell'attenzione, il che significa scegliere il modello delle dimensioni giuste per ogni progetto.

Ciò verrà fatto per tutti i modelli, sia che si tratti di un LLM generico, sia di LLM più piccoli e specifici per un dominio, a seconda del modello che fornirà risultati migliori, richiederà meno risorse e ridurrà la necessità di migrare i dati sul cloud.

Nella fase successiva, l'intelligenza artificiale sarà fondamentale per le decisioni aziendali, poiché il pubblico ha grande fiducia nelle risposte generate dall'intelligenza artificiale.

"Quando si pensa all'addestramento di modelli di intelligenza artificiale, è necessario basarli su dati di qualità."

~ McMillan

"Questo è ciò che facciamo: fornire un set di dati affidabile e poi fornire le capacità e le capacità analitiche affinché i clienti e i loro consumatori possano fidarsi dei risultati", ha aggiunto McMillan.

Poiché efficienza e precisione sono molto richieste in tutto il mondo, gli LLM più piccoli e specializzati in un determinato settore offrono un'altra opzione per fornire risultati su cui le aziende e il pubblico in generale possono fare affidamento.