- L'hardware per l'IA generativa innova con architetture di memoria per ridurre i costi, rendendo i modelli linguistici di grandi dimensioni più accessibili.
- SambaNova introduce la "composizione di esperti" per democratizzare i modelli di grandi dimensioni, offrendo efficienza senza costi proibitivi.
- Tenstorrent punta all'efficienza disaccoppiando l'architettura del modello dall'hardware di addestramento, garantendo che i modelli siano adatti all'uso pratico e non solo alla fase di training.
Le innovazioni nell'hardware per l'IA generativa stanno compiendo progressi verso l'accessibilità, l'efficienza e la riduzione dei costi, sfidando i vincoli posti dalla crescita esponenziale delle dimensioni dei grandi modelli linguistici (LLM). In una recente tavola rotonda, i leader del settore hanno condiviso le loro strategie per affrontare queste sfide urgenti.
Marshall Choy, Vicepresidente Senior dei Prodotti di SambaNova Systems, ha sottolineato il ruolo cruciale dell'architettura della memoria nel ridurre i costi di utilizzo degli LLM. Con i conteggi dei parametri degli LLM che raggiungono miliardi o trilioni, l'attenzione si è spostata sulla memoria come collo di bottiglia. SambaNova Systems ha adottato un'architettura di memoria a tre livelli, affrontando latenza, larghezza di banda e capacità all'interno di un unico framework. Questo approccio innovativo mira a scalare economicamente l'utilizzo degli LLM, dove l'efficienza della memoria è il punto cruciale.
Democratizzare i modelli di grandi dimensioni
L'esplosione delle dimensioni degli LLM presenta una significativa sfida di accessibilità. Una volta che un modello supera un trilione di parametri, i costi associati all'hardware e alle operazioni diventano proibitivi, limitandone l'utilizzo a un numero ristretto di soggetti. Per rendere i modelli di grandi dimensioni accessibili a un pubblico più ampio, SambaNova Systems ha introdotto un concetto innovativo noto come "composizione di esperti".
Questo approccio si discosta dal paradigma convenzionale della "mixture-of-experts" (miscela di esperti), in cui problemi complessi di modellazione predittiva vengono suddivisi in sotto-compiti. Invece, SambaNova addestra modelli di esperti di dominio per precisione e pertinenza al compito, assemblando un modello di composizione di esperti da un trilione di parametri. Questo modello può essere continuamente addestrato su nuovi dati senza sacrificare l'apprendimento precedente, riducendo al contempo la latenza di calcolo e i costi associati ad addestramento, affinamento e inferenza.
Efficienza attraverso le tecniche di modello
L'efficienza nell'hardware per l'IA generativa va oltre l'hardware stesso; si estende alla relazione tra l'architettura del modello e l'hardware su cui viene eseguito. Matt Mattina, Vicepresidente di Hardware e Modelli per l'IA presso Tenstorrent, ha sottolineato l'importanza di interrompere il ciclo di feedback in cui l'architettura del modello è plasmata dall'hardware su cui viene addestrato.
Tenstorrent adotta tecniche come la ricerca dell'architettura di rete con hardware in loop, consentendo agli addestratori di specificare l'hardware per l'inferenza durante l'addestramento. Questo cambiamento di paradigma garantisce che i modelli siano progettati non per la macchina di addestramento, ma per la macchina di inferenza definitiva, portando a modelli più efficienti per l'uso pratico.
Specializzazione a livello di sistema
L'IA è un campo in continua evoluzione, che pone sfide nel bilanciare chip dedicati e silicio personalizzato con la flessibilità del sistema. Jeff Wittich, Chief Product Officer di Ampere Computing, offre una prospettiva che favorisce la specializzazione a livello di sistema. Afferma che questo approccio fornisce la flessibilità di combinare e abbinare componenti, creando soluzioni versatili in grado di adattarsi al rapido cambiamento del panorama dell'hardware per l'IA.
Tradizionalmente, la creazione e la commercializzazione di nuovo hardware richiedono diversi anni. La partnership di Ampere con aziende che sviluppano vari acceleratori per addestramento e inferenza mira a raggiungere il giusto equilibrio. Ampere prevede migliori prestazioni ed efficienza accoppiando CPU a uso generale con acceleratori specializzati in compiti specifici.
Vantaggi e flessibilità dell'integrazione
Wittich sottolinea l'importanza dell'integrazione, che idealmente dovrebbe migliorare prestazioni ed efficienza senza sacrificare la flessibilità. La fusione di CPU a uso generale con acceleratori specializzati è considerata una promettente via da seguire. Nel tempo, l'integrazione stretta di questi acceleratori con le CPU dovrebbe ottimizzare ulteriormente i carichi di lavoro dell'IA. Il principio chiave rimane: l'integrazione dovrebbe potenziare le capacità senza imporre restrizioni.
I cervelli più intelligenti del crypto leggono già la nostra newsletter. Vuoi unirti a loro? Unisciti a loro.
Dichiarazione di responsabilità. Le informazioni fornite non costituiscono consigli di trading. Cryptopolitan.com non si assume alcuna responsabilità per eventuali investimenti effettuati sulla base delle informazioni fornite in questa pagina. Si consiglia vivamente di effettuare ricerche indipendenti e/o consultare un professionista qualificato prima di prendere qualsiasi decisione di investimento.
Brenda Kanana
Brenda vanta oltre 4 anni di esperienza specializzata in criptovalute, intelligenza artificiale e tecnologie emergenti. Ha lavorato presso Zycrypto, Blockchain Reporter e The Coin Republic e ora ha fatto di Cryptopolitan la sua casa. La sua laurea in Sociologia presso l'Università Tecnica di Mombasa la mantiene in sintonia con il pubblico dei lettori.
