Amazon lancia un chip AI per sfidare il dominio di Nvidia e Google

Amazon ha lanciato questa settimana il suo più recente chip di addestramento AI, Trainium3, mentre si muove direttamente contro il controllo hardware detenuto da Nvidia e Google.

L'acceleratore è già in esecuzione all'interno di un piccolo gruppo di data center AWS e sarà aperto ai clienti martedì, secondo un'intervista con Dave Brown, vicepresidente di Amazon Web Services. Dave ha detto che l'azienda non sta entrando gradualmente in questo mercato.

"Man mano che entriamo all'inizio del prossimo anno, inizieremo a scalare molto, molto rapidamente", ha detto. L'obiettivo è semplice. Vendere più potenza di calcolo direttamente dai rack di Amazon invece di guardare gli sviluppatori spendere altrove.

AWS guida ancora il cloud globale per potenza di calcolo e storage noleggiati. Questo vantaggio non si è tradotto in un dominio pulito nell'addestramento AI su larga scala. Alcuni sviluppatori si affidano a Microsoft a causa del suo legame con OpenAI.

Altri si rivolgono a Google e ai suoi chip interni. Amazon sta ora utilizzando Trainium3 per riportare sotto il suo tetto i team sensibili ai prezzi. La proposta di base è un costo inferiore per unità di lavoro mantenendo tutto all'interno di AWS.

Amazon spinge Trainium3 su scala cloud

Trainium3 arriva circa un anno dopo che Amazon ha distribuito la sua ultima versione. Questo ritmo si colloca all'estremità veloce degli standard dei chip. Quando il chip si è acceso per la prima volta ad agosto, un ingegnere AWS ha scherzato: "La cosa principale di cui speriamo qui è semplicemente che non vediamo nessun tipo di fumo o fuoco". Il rapido ritmo di aggiornamento riflette anche il piano pubblico di Nvidia di spedire un nuovo chip ogni anno.

Amazon afferma che i chip Trainium eseguono il calcolo pesante dietro i modelli AI a un costo inferiore e con un migliore utilizzo dell'energia rispetto alle migliori GPU di Nvidia. Dave ha detto: "Siamo stati molto soddisfatti della nostra capacità di ottenere le giuste prestazioni al prezzo con Trainium". L'azienda sta puntando molto su questo angolo di prezzo man mano che le dimensioni dei modelli aumentano e le bollette di addestramento continuano a salire.

C'è ancora un limite. I chip di Amazon non dispongono delle profonde librerie software che permettono ai team di muoversi rapidamente sull'hardware Nvidia. Bedrock Robotics, che utilizza l'AI per guidare le attrezzature da costruzione senza controllo umano, esegue i suoi sistemi principali su server AWS. Quando addestra modelli per guidare un escavatore, utilizza ancora chip Nvidia. Kevin Peterson, direttore tecnologico di Bedrock Robotics, ha detto: "Abbiamo bisogno che sia performante e facile da usare. Questo è Nvidia."

La maggior parte della capacità Trainium ora fluisce ad Anthropic. I chip sono in esecuzione all'interno di data center in Indiana, Mississippi e Pennsylvania. All'inizio di quest'anno, AWS ha dichiarato di aver collegato più di 500.000 chip Trainium per addestrare gli ultimi modelli di Anthropic. Amazon prevede di aumentare questo numero a 1 milione di chip entro la fine dell'anno.

Amazon sta legando il futuro di Trainium alla crescita di Anthropic e ai suoi stessi servizi AI. Al di fuori di Anthropic, l'azienda ha nominato finora pochissimi grandi clienti. Questo lascia gli analisti con dati limitati per valutare quanto bene Trainium performi in un uso più ampio.

Anthropic distribuisce anche il proprio rischio di calcolo. Utilizza ancora le Unità di Elaborazione Tensoriale (TPU) di Google e ha firmato un accordo quest'anno con Google che fornisce accesso a decine di miliardi di dollari di potenza di calcolo.

Amazon ha rivelato Trainium3 durante re: Invent, la sua conferenza annuale per gli utenti. L'evento si è trasformato in una visualizzazione incessante di strumenti e infrastrutture AI mirati agli sviluppatori che creano nuovi modelli e alle aziende disposte a pagare per l'accesso su larga scala.

Amazon distribuisce gli aggiornamenti Nova e apre Nova Forge

Martedì, Amazon ha anche aggiornato la sua famiglia principale di modelli AI, nota come Nova. La nuova linea Nova 2 include una versione chiamata Omni.

Omni accetta testo, immagini, voce o video come input. Può rispondere sia con testo che con immagini. Amazon sta vendendo un mix di tipi di input e costo del modello come un pacchetto progettato per l'uso quotidiano su larga scala.

Amazon continua a prezzare i suoi modelli in base alle prestazioni per dollaro. I modelli Nova precedenti non si sono posizionati vicino alla cima nelle classifiche di test standard che valutano le risposte a domande fisse. L'azienda sta puntando sull'uso reale invece che sui grafici dei test.

Rohit Prasad, che guida gran parte del lavoro sui modelli di Amazon e il suo team di Intelligenza Generale Artificiale, ha detto: "Il vero benchmark è il mondo reale", e ha aggiunto che si aspetta che i nuovi modelli competano in contesti reali.

Amazon sta anche aprendo un controllo più profondo sui modelli agli utenti avanzati attraverso un nuovo prodotto chiamato Nova Forge che permette ai team di estrarre versioni dei modelli Nova prima che l'addestramento termini e di modellarli utilizzando i propri dati.

Reddit utilizza già Nova Forge per costruire un modello che verifica se un post viola le regole di sicurezza. Chris Slowe, direttore tecnologico di Reddit, ha detto che molti utenti AI si rivolgono al modello più grande possibile per ogni attività invece di addestrarne uno con un focus ristretto. "Il fatto che possiamo renderlo un esperto nella nostra area specifica è da dove proviene il valore", ha detto.

Con Trainium3 ora attivo nei data center e i modelli Nova aggiornati allo stesso tempo, Amazon sta spingendo su due fronti contemporaneamente. La battaglia hardware si svolge contro Nvidia. La spinta ai modelli corre contro Microsoft-backed OpenAI e Google. La fase successiva ora si sposta nell'uso pratico dei clienti su scala cloud completa.