Ricercatori cinesi svelano una svolta nella compressione LLM

Ricercatori cinesi hanno introdotto una tecnica di compressione rivoluzionaria volta ad affrontare i vincoli hardware associati all'implementazione di modelli linguistici di grandi dimensioni (LLM). Questo nuovo approccio, denominato ShortGPT, è stato sviluppato da esperti di Baichuan Inc. e del Chinese Information Processing Laboratory Institute of Software, Accademia Cinese delle Scienze. Il metodo si basa su tecniche di pruning esistenti, offrendo una soluzione per mitigare i costi di inferenza degli LLM senza richiedere ulteriore formazione.

Rivoluzionare la compressione dei modelli

Il metodo ShortGPT introduce una nuova metrica nota come Block Influence (BI) per valutare le trasformazioni di stato nascoste all'interno dei LLM. Utilizzando i punteggi BI, il sistemadented elimina i parametri ridondanti, ottimizzando così il modello per l'implementazione su hardware con risorse limitate. Questo approccio prevede la potatura dei livelli in base al loro impatto sulle prestazioni del modello, garantendo che vengano mantenuti solo i componenti essenziali.

Esperimenti approfonditi hanno dimostrato la superiorità di ShortGPT rispetto ai metodi di potatura allo stato dell'arte (SOTA) esistenti. A differenza degli approcci convenzionali che spesso si basano su metodi di quantizzazione, ShortGPT opera in mododent, consentendo una significativa riduzione dei parametri e un'efficienza computazionale senza compromettere la precisione del modello. Questa innovazione sottolinea la notevole ridondanza all'interno delle architetture LLM e mette in mostra il potenziale per tecniche di compressione semplificate.

Le ambizioni della Cina in materia di intelligenza artificiale

Negli ultimi anni, la Cina ha adottato un atteggiamento positivo nei confronti dell'adozione dell'intelligenza artificiale, per tenere il passo con il ritmo dell'innovazione negli Stati Uniti e in Europa. Il Paese sta attivamente migliorando le capacità dei fornitori locali di servizi di intelligenza artificiale, tecnologia blockchain e calcolo quantistico, nel bel mezzo di una guerra fredda in corso con gli Stati Uniti.

Nonostante la posizione lungimirante, le autorità cinesi sono desiderose di prevenire l'uso improprio dell'IA attraverso l'introduzione di normative severe e tattiche di controllo severe. L'ecosistema dell'IA nella Cina continentale è un alveare di attività, sottolineato da una avalanche di lanci commerciali di offerte di IA generativa da parte di aziende tecnologiche.

L'introduzione di ShortGPT rappresenta una pietra miliare significativa nel campo della compressione dell'intelligenza artificiale, promettendo maggiore efficienza e prestazioni per modelli linguistici di grandi dimensioni. Mentre la Cina continua a guidare l'innovazione nell'intelligenza artificiale, i suoi investimenti strategici e le iniziative di ricerca posizionano il Paese come un attore di rilievo nel panorama tecnologico globale.