OpenAI non è più soddisfatta dei chip AI di Nvidia, soprattutto per quanto riguarda la velocità con cui rispondono agli utenti. L'azienda ha iniziato a cercare altre opzioni l'anno scorso e ora sta trattando con AMD, Cerebras e stava persino contattando Groq prima che venisse chiusa.
Questa tensione ha iniziato a farsi concreta quando OpenAI si è resa conto che i chip Nvidia non erano abbastanza veloci per attività specifiche come la scrittura di codice e la gestione di attività software-to-software.
Secondo quanto riportato da un insider, OpenAI vorrebbe che i nuovi chip gestissero almeno il 10% delle sue esigenze di inferenza in futuro. Questa è la parte in cui l'IA risponde agli utenti, non quella in cui apprende.
OpenAI vuole chip più veloci per la codifica e le risposte degli utenti
La maggior parte del lavoro attuale di OpenAI è ancora basato su Nvidia, ma dietro le quinte sta testando chip che potrebbero rendere tutto più veloce.
Tra questi rientrano i chip dotati di SRAM, che contribuisce ad accelerare il processo posizionando la memoria proprio accanto al processore. Nvidia e AMD utilizzano ancora memoria esterna al chip, il che rallenta il processo.
All'interno di OpenAI, la lentezza era il problema principale di Codex, lo strumento che scrive il codice. Alcuni membri dello staff hanno addirittura attribuito le scarse prestazioni all'hardware di Nvidia. In una conferenza stampa del 30 gennaio, il CEO di OpenAI, Sam Altman, ha dichiarato: "I clienti che utilizzano i nostri modelli di programmazione daranno grande importanza alla velocità nel lavoro di programmazione"
Sam ha aggiunto che gli utenti abituali di ChatGPT non sono così interessati alla velocità, ma per sviluppatori e aziende ogni secondo conta. Ha aggiunto che OpenAI ha appena firmato un accordo con Cerebras per contribuire ad accelerare il processo.
Allo stesso tempo, aziende come Anthropic e Google stanno ottenendo risultati migliori utilizzando i propri chip. Le TPU di Google sono progettate specificamente per il tipo di esigenze di inferenza del lavoro. Questo le ha rese più rapide nella risposta, soprattutto per modelli come Claude e Gemini.
I colloqui tra OpenAI e Groq si interrompono dopo l'accordo di licenza con Nvidia
OpenAI era in trattativa anche con Groq, un'altra startup che sviluppa chip veloci, ma le trattative non hanno portato a nulla. Nvidia è intervenuta e ha firmato un accordo di licenza da 20 miliardi di dollari con Groq. Questo ha permesso a Nvidia di accedere ai progetti di Groq e ha vanificato i piani di OpenAI di collaborare con loro.
Una fonte vicina alla situazione ha affermato che i chip di Groq erano stati progettati esattamente per le esigenze di OpenAI. Ma una volta che Nvidia ha siglato l'accordo, quella porta si è chiusa. Sebbene la licenza non fosse esclusiva, Groq si sta ora concentrando sul software basato su cloud e Nvidia ha assunto alcuni dei progettisti di chip di Groq.
Cerebras, d'altra parte, ha detto di no quando Nvidia ha cercato di acquistarla. Invece, ha deciso di procedere e ha stretto un accordo con OpenAI. Anche Groq ha ricevuto offerte di investimento che ne stimavano il valore intorno ai 14 miliardi di dollari, ma ora la valutazione è cambiata da quando è legata a Nvidia.
OpenAI non ha abbandonato completamente Nvidia. In una dichiarazione pubblica, un portavoce ha dichiarato: "Ci affidiamo a Nvidia per alimentare la stragrande maggioranza della nostra flotta di inferenza", definendo le loro prestazioni per dollaro le migliori sul mercato. Nvidia ha inoltre affermato: "I clienti continuano a scegliere Nvidia per l'inferenza perché offriamo le migliori prestazioni e il miglior costo totale di proprietà su larga scala"
L'accordo di investimento da 100 miliardi di dollari di Nvidia è ancora bloccato nel limbo
L'anno scorso, Nvidia ha dichiarato di voler investire fino a 100 miliardi di dollari in OpenAI. Questa cash avrebbe dovuto aiutare OpenAI ad acquistare chip più avanzati e, in cambio, Nvidia avrebbe acquisito una quota dell'azienda. Reuters ha affermato che l'accordo avrebbe dovuto concludersi entro poche settimane. Non è ancora avvenuto.
Mentre l'accordo si arenava, OpenAI andò avanti e firmò accordi con AMD e altri per testare chip in grado di competere direttamente con quelli di Nvidia. Ma con il cambiamento dei piani di prodotto di OpenAI, anche il tipo di hardware di cui aveva bisogno cambiò. Questo rallentò ulteriormente i negoziati, secondo quanto riferito da una fonte vicina alla situazione.
Sabato, al CEO di Nvidia, Jensen Huang, è stato chiesto di queste tensioni. Ha risposto: "È una sciocchezza", insistendo sul fatto che Nvidia ha ancora intenzione di investire ingenti somme in OpenAI. Ma dietro le quinte, è chiaro che entrambe le parti stanno valutando le loro opzioni.
Allo stesso tempo, Nvidia ha cercato nuove idee per i chip. Ha contattato sia Cerebras che Groq per verificare se fossero disponibili all'acquisizione. Cerebras ha rifiutato e ha raddoppiato l'accordo con OpenAI.
Al momento, OpenAI utilizza GPT4o per alimentare la maggior parte dei suoi servizi. Ma, stando così le cose, almeno una parte di questo lavoro verrà eseguito su chip AMD o Cerebras nel prossimo futuro. L'azienda non sta cercando di abbandonare completamente Nvidia, ma è chiaro che desidera un maggiore controllo sulla velocità dei suoi sistemi.
