Cerebras sfida Nvidia lanciando un servizio di inferenza AI

Cerebras Systems ha annunciato martedì una soluzione di inferenza AI per gli sviluppatori. Secondo l'azienda, si tratta di una soluzione di inferenza molto più veloce, 20 volte più veloce delle soluzioni Nvidia.

Cerebras fornirà l'accesso ai suoi chip più grandi per eseguire applicazioni di intelligenza artificiale, che, secondo l'azienda, sono anche più economiche delle GPU Nvidia. Le GPU Nvidia, standard del settore, sono spesso accessibili tramite provider di servizi cloud per eseguire modelli di linguaggio complessi come ChatGPT. Ottenere l'accesso non è solitamente facile per molte piccole aziende ed è costoso. 

Cerebras afferma che i suoi nuovi chip possono offrire prestazioni che vanno oltre le GPU

L'inferenza dell'IA è il processo di utilizzo di un modello di IA già addestrato per ottenere un output, come risposte da chatbot e la risoluzione di diversi compiti. I servizi di inferenza sono la spina dorsale delle applicazioni di IA odierne, poiché si basano su di essi per le operazioni quotidiane volte a facilitare gli utenti.

Cerebras ha affermato che l'inferenza è il segmento in più rapida crescita nel settore dell'intelligenza artificiale, poiché rappresenta il 40% di tutti i carichi di lavoro correlati all'intelligenza artificiale nel cloud computing. Il CEO di Cerebras, Andrew Feldman, ha affermato che i chip sovradimensionati dell'azienda offrono prestazioni superiori a quelle di una GPU. Le GPU non possono raggiungere questo livello, ha affermato. Feldman ha parlato con Reuters in un'intervista.

Ha aggiunto:

"Lo facciamo con la massima precisione e lo offriamo al prezzo più basso." Fonte: Reuters.

L'amministratore delegato ha affermato che gli attuali servizi di inferenza di intelligenza artificiale non sono soddisfacenti per tutti i clienti. Ha dichiarato a un gruppo di giornalisti a San Francisco che l'azienda sta "riscontrando un interesse di ogni tipo" per soluzioni più rapide ed economiche. 

Finora, Nvidia ha dominato il mercato dell'intelligenza artificiale con i suoi chip di riferimento e l'ambiente di programmazione Compute Unified Device Architecture (CUDA). Questo ha permesso a Nvidia di consolidare il ruolo degli sviluppatori nel suo ecosistema, offrendo una vasta gamma di strumenti.

I chip Cerbras hanno 7000 volte più memoria delle GPU Nvidia H100

Cerebras ha affermato che il suo servizio di inferenza ad alta velocità rappresenta una svolta per il settore dell'intelligenza artificiale. I nuovi chip dell'azienda, grandi quanto piatti da portata, si chiamano Wafer Scale Engine. Possono elaborare 1000 token al secondo, una velocità paragonabile, secondo l'azienda, all'introduzione di Internet a banda larga.

Secondo l'azienda, i nuovi chip offrono diverse quantità di output per i vari modelli di intelligenza artificiale. Per Llama 3.1 8B, i nuovi chip possono elaborare fino a 1800 token al secondo, mentre per Llama 3.1 70B, possono elaborare 450 token al secondo.

Cerebras offre servizi di inferenza a 10 centesimi per milione di token, una cifra inferiore a quella dei servizi basati su GPU. Secondo le convinzioni del settore, solitamente gli approcci alternativi compromettono l'accuratezza a scapito delle prestazioni, mentre i nuovi chip di Cerebras sono in grado di mantenere l'accuratezza, secondo quanto dichiarato dall'azienda.

Cerebras ha affermato che offrirà prodotti di inferenza AI in diverse forme. L'azienda prevede di introdurre un servizio di inferenza tramite il suo cloud e una chiave per sviluppatori. L'azienda venderà inoltre i nuovi chip ai clienti dei data center e a coloro che desiderano gestire i propri sistemi.

I nuovi chip Wafer Scale Engine sono dotati di moduli integrati per il raffreddamento e l'alimentazione e fanno parte di un sistema per data center di Cerebras chiamato CS-3. Secondo diverse fonti, il sistema Cerebras CS-3 costituisce la spina dorsale del servizio di inferenza dell'azienda. 

Il sistema vanta una capacità di memoria 7000 volte superiore rispetto alle GPU Nvidia H100. Questo risolve anche il problema fondamentale della larghezza di banda della memoria, che molti produttori di chip stanno cercando di risolvere.

Cerbras sta inoltre lavorando per diventare una società quotata in borsa. Per raggiungere questo obiettivo, ha depositato questo mese un prospetto informativodentpresso la Securities and Exchange Commission (SEC).