OpenAI dice di non essere soddisfatta dell'hardware di inferenza di Nvidia, ora guarda ad AMD, Cerebras, Groq

OpenAI non è più soddisfatta dei chip AI di Nvidia, specialmente per quanto riguarda la velocità con cui possono rispondere agli utenti. L'azienda ha iniziato a cercare altre opzioni lo scorso anno e ora sta parlando con AMD e Cerebras, ed era persino in trattative con Groq prima che quelle venissero interrotte.

Questa tensione è diventata reale quando OpenAI si è resa conto che i chip di Nvidia non erano abbastanza veloci per attività specifiche come la scrittura di codice e la gestione di compiti software-to-software.

Un insider avrebbe dichiarato che OpenAI vuole nuovi chip per gestire almeno il 10% delle sue esigenze di inferenza in futuro. Questa è la parte in cui l'IA risponde agli utenti, non la parte in cui apprende.

OpenAI vuole chip più veloci per la codifica e le risposte agli utenti

La maggior parte del lavoro attuale di OpenAI gira ancora su Nvidia, ma dietro le quinte sta testando chip che potrebbero accelerare tutto.

Questo include chip dotati di SRAM, che aiuta ad accelerare le cose mettendo la memoria direttamente accanto al processore. Sia Nvidia che AMD utilizzano ancora memoria situata esternamente al chip, il che rallenta le operazioni.

Le persone all'interno di OpenAI hanno indicato Codex, lo strumento che scrive codice, come il punto in cui la lentezza era il problema più grande. Alcuni dipendenti hanno persino attribuito le prestazioni deboli all'hardware di Nvidia. In una chiamata stampa del 30 gennaio, il CEO di OpenAI Sam Altman ha dichiarato: "I clienti che utilizzano i nostri modelli di codifica daranno un grande valore alla velocità per il lavoro di codifica."

Sam ha aggiunto che gli utenti regolari di ChatGPT non si preoccupano tanto della velocità, ma per gli sviluppatori e le aziende ogni secondo conta. Ha detto che OpenAI aveva appena firmato un accordo con Cerebras per aiutare ad accelerare le operazioni.

Allo stesso tempo, aziende come Anthropic e Google stanno ottenendo risultati migliori utilizzando i propri chip. I TPUs di Google sono costruiti specificamente per il tipo di lavoro richiesto dall'inferenza. Questo li ha resi più veloci nel rispondere, specialmente per modelli come Claude e Gemini.

I colloqui OpenAI-Groq interrotti dopo l'accordo di licenza con Nvidia

OpenAI era anche in trattative con Groq, un'altra startup che costruisce chip veloci, ma quelle conversazioni non sono andate lontano. Nvidia è intervenuta e ha firmato un accordo di licenza da 20 miliardi di dollari con Groq. Questo ha dato a Nvidia accesso ai design di Groq e ha ucciso i piani di OpenAI di lavorare con loro.

Una fonte vicina alla situazione ha dichiarato che i chip di Groq erano costruiti esattamente per ciò di cui OpenAI aveva bisogno. Ma una volta che Nvidia ha bloccato l'accordo, quella porta si è chiusa. Anche se la licenza era non esclusiva, Groq si sta ora concentrando sul software basato su cloud e Nvidia ha preso per sé alcuni dei progettisti di chip di Groq.

Cerebras, d'altra parte, ha detto di no quando Nvidia ha provato ad acquistarli. Invece, hanno proceduto a stipulare il proprio accordo con OpenAI. Groq ha anche ricevuto offerte di investimento che ne valutavano il valore intorno ai 14 miliardi di dollari, ma questo è ora cambiato poiché è legato a Nvidia.

OpenAI non si è allontanata completamente da Nvidia. In una dichiarazione pubblica, un portavoce ha dichiarato: "Fidiamo di Nvidia per alimentare la stragrande maggioranza della nostra flotta di inferenza" e ha definito le loro prestazioni per dollaro le migliori sul mercato. Nvidia ha anche dichiarato: "I clienti continuano a scegliere Nvidia per l'inferenza perché offriamo le migliori prestazioni e il costo totale di proprietà su larga scala."

L'accordo di investimento di $100 miliardi di Nvidia è ancora in bilico

Lo scorso anno, Nvidia ha annunciato che avrebbe pianificato di investire fino a 100 miliardi di dollari in OpenAI. Quel denaro era destinato ad aiutare OpenAI ad acquistare chip più avanzati e, in cambio, Nvidia avrebbe ottenuto una quota nella società. Reuters ha detto che l'accordo avrebbe dovuto chiudersi in poche settimane. Non è ancora successo.

Mentre quell'accordo si bloccava, OpenAI ha proceduto a firmare accordi con AMD e altri per testare chip che potrebbero competere direttamente con quelli di Nvidia. Ma mentre OpenAI modificava i suoi piani sui prodotti, anche il tipo di hardware di cui aveva bisogno è cambiato. Questo ha rallentato ulteriormente i colloqui, ha detto una persona a conoscenza della situazione.

Sabato, il CEO di Nvidia Jensen Huang è stato interpellato sulla tensione. Ha dichiarato: "È assurdità", e ha insistito sul fatto che Nvidia prevede ancora di investire molto in OpenAI. Ma dietro le quinte, è chiaro che entrambe le parti stanno esplorando le proprie opzioni.

Allo stesso tempo, Nvidia è stata alla ricerca di nuove idee per i chip. Si è rivolta sia a Cerebras che a Groq per vedere se sarebbero state aperte all'essere acquistate. Cerebras ha rifiutato e ha raddoppiato il suo accordo con OpenAI.

Al momento, OpenAI sta utilizzando GPT4o per alimentare la maggior parte dei suoi servizi. Ma per come stanno andando le cose, almeno una parte di quel lavoro girerà su chip di AMD o Cerebras nel prossimo futuro. L'azienda non sta cercando di abbandonare completamente Nvidia, ma è chiaro che vuole avere più controllo su quanto velocemente funzionano i suoi sistemi.