I modelli di intelligenza artificiale più piccoli superano quelli più grandi in termini di efficienza, secondo uno studio di Google

Tra tutti gli studi che hanno cercato di sistematizzare il campo dell'intelligenza artificiale (IA) e si sono confrontati con la questione se esista un punto in cui i modelli di IA più piccoli possano superare quelli più grandi in termini di efficacia, lo studio di Google Research e della Johns Hopkins University ha finalmente smentito tale argomentazione. Ha dimostrato che, nel contesto della generazione di immagini, i modelli più piccoli tendono a funzionare meglio delle loro controparti più grandi. Il 2 maggio, lo studio condotto da Kangfu Mei e Zhengzhong Tu ha rivelato le proprietà di scalabilità dei modelli a diffusione latente (LDM). Hanno scoperto che le variazioni nella risoluzione dell'immagine di output non comportano alterazioni significative, tuttavia l'aumento delle dimensioni del modello può portare a miglioramenti sostanziali. 

Ripensare l'efficienza del modello di intelligenza artificiale

Gli studi hanno utilizzato LDM con un numero di parametri compreso tra 39 milioni e 5 miliardi, con diverse tipologie di compiti, tra cui la generazione di testo in immagini, la super-risoluzione e la super-risoluzione guidata dal soggetto, mentre i partecipanti si sottoponevano a processi di addestramento e valutazione attentamente praticati e valutati. Il fatto comprovato che i modelli più piccoli reggono ampiamente il confronto, anche se non sono più grandi di quelli a confronto, dimostra che quando la capacità di calcolo è limitata, i modelli più piccoli possono persino superare i modelli più grandi.

Le esplorazioni condotte da questo studio si sono rivelate complesse. Il primo punto degno di nota è che i modelli di piccole dimensioni sono altamente performanti e offrono un'efficienza di campionamento uguale o elevata su tutti i tipi di campionatori a diffusione, anche dopo la distillazione del modello. 

Questa robustezza spiega quindi che la scala dei chip dei modelli inferiori è parte integrante dei loro meriti e non è una conseguenza diretta di un algoritmo o metodo di addestramento. Tuttavia, ammette anche che modelli più grandi possono essere utili per lo stesso scopo, soprattutto nei casi in cui non si presentano problemi di allocazione delle risorse (come la potenza di calcolo), perché possono creare immagini con dettagli migliori.

Risultati chiave e implicazioni

Tali scoperte non solo sono rivoluzionarie per l'attuale panorama tecnologico, ma hanno anche conseguenze significative per lo sviluppo dell'IA. Svolgono un ruolo fondamentale nello sviluppo di sistemi di IA che consentano una generazione di immagini più accessibile, potente e a basso consumo di risorse, con capacità di fascia alta. Ciò è particolarmente importante in un'epoca in cui si è fatta sempre più forte la richiesta di uno sviluppo dell'intelligenza artificiale aperto e accessibile, in modo che possa essere offerto agli sviluppatori e, in ultima analisi, agli utenti.

Ciò è in linea con una certa tendenza della società dell'intelligenza artificiale che prevale oggigiorno e ciò dimostra la superiorità di modelli più piccoli come LLaMa e Falcon rispetto agli altri in vari compiti. 

La tendenza ad applicare codici open source, efficienti in termini di velocità e risparmio energetico, aumenterà il livello di democrazia nel mondo dell'intelligenza artificiale, consentendo al sistema di funzionare senza richiedere la sensibilità di sistemi informatici avanzati. Le implicazioni di questo tipo di studio sono piuttosto sconvolgenti e potrebbero portare a un cambiamento radicale nel modo in cui l'intelligenza artificiale viene applicata alle tecnologie quotidiane e rendere disponibili soluzioni di intelligenza artificiale di alto livello a un numero maggiore di utenti.

Un cambiamento di paradigma

Gli studi di ricerca di Google Research e della Johns Hopkins University hanno ora creato un punto critico nello sviluppo dell'intelligenza artificiale, poiché mettono in discussione gli attuali approcci allo sviluppo dell'intelligenza artificiale e guidano i professionisti verso l'implementazione di processi di intelligenza artificiale più economici e rispettosi dell'ambiente. 

La comunità dell'intelligenza artificiale si sposta nell'ambito della ricerca sui modelli minuscoli; questa ricerca non riassume tutte le attuali conoscenze della prospettiva, ma offre anche spazio a innovazioni creative riguardanti l'efficienza, le prestazioni e la praticità della creazione di sistemi di intelligenza artificiale.

Questo sviluppo non rappresenta solo un cambiamento di paradigma nello sviluppo della tecnologia dell'IA, ma anche un movimento del settore verso l'inclusività e l'accessibilità tecnologica. Tra i fattori che caratterizzano la crescente presenza dell'IA, la possibilità di realizzare modelli implementabili su una miriade di dispositivi in ​​grado di funzionare in modo efficiente e accurato è una delle poche cose che possono ampliare notevolmente la gamma di applicazioni dell'IA una volta che queste tecnologie saranno disponibili sul mercato. 

La novità di questo studio risiede nelle proprietà di scalabilità del modello che tengono conto dei compromessi tra dimensioni e prestazioni del modello, rendendolo una ricerca innovativa che promette un futuro dell'intelligenza artificiale più efficiente e accessibile.