Questa settimana Amazon ha lanciato il suo nuovissimo chip di addestramento all'intelligenza artificiale, Trainium3, che si appresta ad attaccare direttamente il dominio hardware detenuto da Nvidia e Google.
Secondo un'intervista con Dave Brown,dent di Amazon Web Services, l'acceleratore è già in funzione all'interno di un piccolo gruppo di data center AWS e aprirà ai clienti martedì. Dave ha affermato che l'azienda non sta procedendo con calma.
"All'inizio del prossimo anno, inizieremo a scalare molto, molto rapidamente", ha affermato. L'obiettivo è semplice. Vendere più risorse di elaborazione direttamente dagli scaffali di Amazon invece di guardare gli sviluppatori che dirottano quella spesa altrove.
AWS è ancora leader mondiale nel cloud per capacità di calcolo e storage in affitto. Questo primato non si è esteso alla formazione su larga scala nell'ambito dell'intelligenza artificiale. Alcuni sviluppatori si affidano a Microsoft per il suo legame con OpenAI.
Altri si rivolgono a Google e ai suoi chip interni. Amazon ora utilizza Trainium3 per riunire sotto la sua stessa tettoia i team sensibili al prezzo. L'obiettivo di base è ridurre il costo per unità di lavoro mantenendo tutto all'interno di AWS.
Amazon spinge Trainium3 su scala cloud
Trainium3 arriva circa un anno dopo che Amazon ha distribuito la sua ultima versione. Questo ritmo si colloca ai vertici degli standard per i chip. Quando il chip è stato avviato per la prima volta ad agosto, un ingegnere AWS ha scherzato: "La cosa principale che speriamo qui è che non ci siano problemi". Il ritmo rapido degli aggiornamenti rispecchia anche il piano pubblico di Nvidia di distribuire un nuovo chip ogni anno.
Amazon afferma che i chip Trainium gestiscono l'elaborazione pesante alla base dei modelli di intelligenza artificiale a un costo inferiore e con un consumo energetico migliore rispetto alle GPU di punta di Nvidia. Dave ha dichiarato: "Siamo molto soddisfatti della nostra capacità di ottenere il giusto rapporto qualità-prezzo con Trainium". L'azienda sta puntando molto su questo aspetto, dato che le dimensioni dei modelli aumentano e i costi di formazione continuano a salire.
C'è ancora un limite. I chip di Amazon non supportano le librerie software avanzate che consentono ai team di muoversi rapidamente su hardware Nvidia. Bedrock Robotics, che utilizza l'intelligenza artificiale per guidare attrezzature edili senza controllo umano, esegue i suoi sistemi principali su server AWS. Quando addestra modelli per guidare un escavatore, utilizza ancora chip Nvidia. Kevin Peterson, Chief Technology Officer di Bedrock Robotics, ha dichiarato: "Abbiamo bisogno che sia performante e facile da usare. Questo è Nvidia".
La maggior parte della capacità di Trainium è attualmente destinata ad Anthropic. I chip vengono utilizzati nei data center in Indiana, Mississippi e Pennsylvania. All'inizio di quest'anno, AWS ha dichiarato di aver collegato oltre 500.000 chip Trainium per addestrare gli ultimi modelli di Anthropic. Amazon prevede di aumentare questa cifra a 1 milione di chip entro la fine dell'anno.
Amazon lega il futuro di Trainium alla crescita di Anthropic e ai propri servizi di intelligenza artificiale. Al di fuori di Anthropic, l'azienda ha finora nominato pochissimi grandi clienti. Questo lascia agli analisti dati limitati per valutare le prestazioni di Trainium in un utilizzo più ampio.
Anthropic distribuisce anche il proprio rischio di calcolo. Utilizza ancora le Tensor Processing Unit di Google e quest'anno ha firmato un accordo con Google che fornisce accesso a decine di miliardi di dollari di potenza di calcolo.
Amazon ha presentato Trainium3 durante re:Invent, la sua conferenza annuale per gli utenti. L'evento si è trasformato in una presentazione continua di strumenti e infrastrutture di intelligenza artificiale, rivolta agli sviluppatori che creano nuovi modelli e alle aziende disposte a pagare per l'accesso su larga scala.
Amazon lancia gli aggiornamenti Nova e apre Nova Forge
Martedì, Amazon ha anche aggiornato la sua principale famiglia di modelli di intelligenza artificiale, nota come Nova. La nuova linea Nova 2 include una versione chiamata Omni.
Omni accetta testo, immagini, voce o video come input. Può rispondere sia con testo che con immagini. Amazon offre un mix di tipi di input e modelli di costo in un pacchetto progettato per l'uso quotidiano su larga scala.
Amazon continua a fissare il prezzo dei suoi modelli in base al rapporto prestazioni/prezzo. I precedenti modelli Nova non si sono classificati tra i primi posti nelle classifiche dei test standard che valutano le risposte a domande fisse. L'azienda si sta concentrando sull'uso dal vivo anziché sui grafici dei test.
Rohit Prasad, che dirige gran parte del lavoro sui modelli di Amazon e il suo team di Intelligenza Artificiale Generale, ha affermato: "Il vero punto di riferimento è il mondo reale", e ha aggiunto che si aspetta che i nuovi modelli siano competitivi in contesti reali.
Amazon sta inoltre offrendo agli utenti avanzati un controllo più approfondito sui modelli tramite un nuovo prodotto chiamato Nova Forge, che consente ai team di estrarre versioni dei modelli Nova prima della fine della formazione e di modellarli utilizzando i propri dati.
Reddit utilizza già Nova Forge per creare un modello che verifica se un post viola le norme di sicurezza. Chris Slowe, responsabile tecnico di Reddit, ha affermato che molti utenti di intelligenza artificiale cercano di utilizzare il modello più completo possibile per ogni attività, invece di addestrarne uno con un focus limitato. "Il valore deriva dal fatto che possiamo renderlo un esperto nel nostro specifico settore", ha affermato.
Con Trainium3 ora attivo nei data center e i modelli Nova aggiornati contemporaneamente, Amazon sta spingendo su due fronti contemporaneamente. La lotta per l'hardware si gioca contro Nvidia. La spinta per il modello si scontra con OpenAI, supportata da Microsoft, e Google. La fase successiva si sposta ora sull'utilizzo pratico da parte dei clienti su scala cloud completa.
