Amazon utilizza chip wafer-scale di Cerebras per potenziare i modelli AI su AWS

Amazon Web Services ha annunciato venerdì che inserirà i processori di Cerebras nei suoi data center nell'ambito di una partnership pluriennale focalizzata sull'inferenza AI.

L'accordo offre ad Amazon un nuovo modo per accelerare la risposta dei modelli AI ai prompt, la scrittura di codice e la gestione delle richieste utente in tempo reale. AWS ha dichiarato che utilizzerà la tecnologia Cerebras, incluso il Wafer-Scale Engine, per le attività di inferenza.

Le società non hanno condiviso i termini finanziari. L'infrastruttura è prevista per Amazon Bedrock all'interno dei data center di AWS, inserendo la partnership direttamente in uno dei principali prodotti AI di Amazon.

AWS ha dichiarato che il sistema combinerà server alimentati da Amazon Trainium, sistemi Cerebras CS-3 e la rete Elastic Fabric Adapter di Amazon.

Più tardi quest'anno, AWS prevede anche di offrire i principali modelli linguistici di grandi dimensioni open-source e Amazon Nova su hardware Cerebras. David Brown, vicepresidente di Compute e ML Services presso AWS, ha affermato che la velocità rimane un problema significativo nell'inferenza AI, specialmente per l'assistenza alla codifica in tempo reale e le applicazioni interattive.

David ha dichiarato: "L'inferenza è il punto in cui l'AI offre un valore reale ai clienti, ma la velocità rimane un collo di bottiglia critico per carichi di lavoro impegnativi come l'assistenza alla codifica in tempo reale e le applicazioni interattive."

Amazon separa prefill e decode su chip diversi

AWS ha dichiarato che il design utilizza un metodo chiamato disaggregazione dell'inferenza. Ciò significa dividere l'inferenza AI in due parti. La prima parte è l'elaborazione del prompt, chiamata anche prefill. La seconda parte è la generazione dell'output, chiamata anche decode.

AWS ha dichiarato che i due compiti si comportano in modo molto diverso. Il prefill è parallelo, intensivo dal punto di vista computazionale e richiede una larghezza di banda di memoria moderata. Il decode è seriale, meno intensivo dal punto di vista computazionale e molto più dipendente dalla larghezza di banda di memoria. Il decode richiede anche la maggior parte del tempo in questi casi, poiché ogni token di output deve essere prodotto uno alla volta.

Ecco perché AWS sta assegnando hardware diverso a ciascuna fase. Trainium gestirà il prefill. Cerebras CS-3 gestirà il decode.

AWS ha dichiarato che la rete EFA a bassa latenza e alta larghezza di banda collegherà entrambi i lati, in modo che il sistema possa funzionare come un unico servizio mentre ogni processore si concentra su un compito separato.

David ha dichiarato: "Quello che stiamo costruendo con Cerebras risolve questo problema: dividendo il carico di lavoro di inferenza tra Trainium e CS-3 e collegandoli con l'Elastic Fabric Adapter di Amazon, ogni sistema fa ciò per cui è più adatto. Il risultato sarà un'inferenza un ordine di grandezza più veloce e con prestazioni superiori rispetto a quanto disponibile oggi."

AWS ha anche dichiarato che il servizio verrà eseguito su AWS Nitro System, che è lo strato base della sua infrastruttura cloud.

Ciò significa che si prevede che i sistemi Cerebras CS-3 e le istanze alimentate da Trainium opereranno con la stessa sicurezza, isolamento e coerenza che i clienti AWS utilizzano già.

Amazon spinge di più su Trainium mentre Nvidia affronta un'altra minaccia

L'annuncio dà anche ad Amazon un'altra opportunità per spingere Trainium contro i chip di Nvidia, AMD e altre grandi aziende di chip. AWS descrive Trainium come il suo chip AI interno costruito per prestazioni scalabili ed efficienza dei costi in addestramento e inferenza.

AWS ha dichiarato che due importanti laboratori di AI si sono già impegnati. Anthropic ha nominato AWS il suo partner principale per l'addestramento e utilizza Trainium per addestrare e distribuire modelli. OpenAI consumerà 2 gigawatt di capacità Trainium attraverso l'infrastruttura AWS per Stateful Runtime Environment, modelli all'avanguardia e altri carichi di lavoro avanzati.

AWS ha aggiunto che Trainium3 ha visto una forte adozione dalla sua recente uscita, con clienti di vari settori che si impegnano per una capacità significativa.

Cerebras gestisce il lato decode dell'infrastruttura. AWS ha dichiarato che CS-3 è dedicato all'accelerazione del decoding, il che gli dà più spazio per token di output veloci. Cerebras afferma che CS-3 è il sistema di inferenza AI più veloce al mondo e offre una larghezza di banda di memoria migliaia di volte superiore rispetto alla GPU più veloce.

L'azienda ha dichiarato che i modelli di ragionamento ora rappresentano una quota maggiore del lavoro di inferenza e generano più token per richiesta mentre lavorano sui problemi. Cerebras ha anche dichiarato che OpenAI, Cognition, Mistral e altri utilizzano i suoi sistemi per carichi di lavoro impegnativi, specialmente per la codifica agenziale.

Andrew Feldman, fondatore e amministratore delegato di Cerebras Systems, ha dichiarato: "La partnership con AWS per costruire una soluzione di inferenza disaggregata porterà l'inferenza più veloce a una base di clienti globale."

Andrew ha aggiunto: "Ogni azienda in tutto il mondo sarà in grado di beneficiare di un'inferenza incredibilmente veloce all'interno del proprio ambiente AWS esistente."

L'accordo aggiunge ulteriore pressione su Nvidia, che a dicembre ha firmato un accordo di licenza da 20 miliardi di dollari con Groq e prevede di svelare la prossima settimana un nuovo sistema di inferenza che utilizza la tecnologia Groq.