OpenAI dit ne pas être satisfait du matériel d'inférence Nvidia, se tourne maintenant vers AMD, Cerebras, Groq

OpenAI n'est plus satisfaite des puces IA de Nvidia, surtout en ce qui concerne la rapidité avec laquelle elles peuvent répondre aux utilisateurs. L'entreprise a commencé à chercher d'autres options l'année dernière, et maintenant elle parle à AMD, Cerebras, et parlait même à Groq avant que cela ne soit bloqué.

Cette tension est devenue réelle lorsque OpenAI a réalisé que les puces de Nvidia n'étaient pas assez rapides pour des tâches spécifiques comme l'écriture de code et la gestion de tâches logiciel-à-logiciel.

Un insider aurait déclaré qu'OpenAI veut de nouvelles puces pour gérer au moins 10 % de ses besoins en inférence à l'avenir. C'est la partie où l'IA répond aux utilisateurs, pas la partie où elle apprend des choses.

OpenAI veut des puces plus rapides pour le codage et les réponses aux utilisateurs

La plupart des travaux actuels d'OpenAI s'exécutent toujours sur Nvidia, mais en coulisses, elle teste des puces qui pourraient accélérer tout cela.

Cela inclut des puces remplies de SRAM, qui aident à accélérer les choses en plaçant la mémoire juste à côté du processeur. Nvidia et AMD utilisent encore de la mémoire située à l'extérieur de la puce, ce qui ralentit les choses.

Les personnes au sein d'OpenAI ont pointé du doigt Codex, l'outil qui écrit du code, comme l'endroit où la lenteur était le plus grand problème. Certains membres du personnel ont même blâmé les performances faibles sur le matériel de Nvidia. Lors d'un appel de presse le 30 janvier, le PDG d'OpenAI, Sam Altman, a déclaré : « Les clients utilisant nos modèles de codage accorderont une grande prime à la vitesse pour les travaux de codage. »

Sam a ajouté que les utilisateurs réguliers de ChatGPT ne se soucient pas autant de la vitesse, mais pour les développeurs et les entreprises, chaque seconde compte. Il a déclaré qu'OpenAI venait de signer un accord avec Cerebras pour accélérer les choses.

En même temps, des entreprises comme Anthropic et Google obtiennent de meilleurs résultats en utilisant leurs propres puces. Les TPUs de Google sont conçus spécifiquement pour le type de travail dont l'inférence a besoin. Cela les a rendus plus rapides pour répondre, en particulier pour des modèles comme Claude et Gemini.

Les discussions OpenAI-Groq ont été interrompues après l'accord de licence Nvidia

OpenAI était également en discussions avec Groq, une autre startup construisant des puces rapides, mais ces conversations n'ont pas abouti. Nvidia est intervenu et a signé un accord de licence de 20 milliards de dollars avec Groq. Cela a donné à Nvidia accès aux conceptions de Groq et a tué les plans d'OpenAI de travailler avec eux.

Une source proche de la situation a déclaré que les puces de Groq étaient construites exactement pour ce dont OpenAI avait besoin. Mais une fois que Nvidia a verrouillé l'accord, cette porte s'est fermée. Bien que la licence soit non exclusive, Groq se concentre désormais sur les logiciels basés sur le cloud, et Nvidia a pris certains des concepteurs de puces de Groq pour elle-même.

Cerebras, d'autre part, a dit non lorsque Nvidia a essayé de les racheter. Au lieu de cela, ils ont passé leur propre accord avec OpenAI. Groq a également reçu des offres d'investissement évaluant sa valeur à environ 14 milliards de dollars, mais cela a changé depuis qu'il est lié à Nvidia.

OpenAI n'a pas complètement tourné le dos à Nvidia. Dans une déclaration publique, un porte-parole a déclaré : « Nous comptons sur Nvidia pour alimenter la grande majorité de notre flotte d'inférence », et a qualifié leurs performances par dollar des meilleures du marché. Nvidia a également déclaré : « Les clients continuent de choisir Nvidia pour l'inférence car nous offrons les meilleures performances et le coût total de possession à grande échelle. »

L'accord d'investissement de 100 milliards de dollars de Nvidia est toujours dans l'impasse

L'année dernière, Nvidia a annoncé qu'elle prévoyait d'investir jusqu'à 100 milliards de dollars dans OpenAI. Cet argent devait aider OpenAI à acheter plus de puces avancées, et en retour, Nvidia obtiendrait une participation dans l'entreprise. Reuters a déclaré que l'accord devait être finalisé dans quelques semaines. Ce n'est toujours pas le cas.

Pendant que cet accord stagnait, OpenAI a signé des accords avec AMD et d'autres pour tester des puces qui pourraient concurrencer directement celles de Nvidia. Mais alors qu'OpenAI changeait ses plans de produits, le type de matériel dont elle avait besoin a également changé. Cela a ralenti les discussions encore plus, a déclaré une personne familière avec la situation.

Samedi, le PDG de Nvidia, Jensen Huang, a été interrogé sur les frictions. Il a déclaré : « C'est des bêtises », et a insisté sur le fait que Nvidia prévoit toujours d'investir massivement dans OpenAI. Mais en coulisses, il est clair que les deux parties explorent leurs options.

En même temps, Nvidia cherchait de nouvelles idées de puces. Elle a contacté à la fois Cerebras et Groq pour voir s'ils seraient ouverts à être rachetés. Cerebras a refusé et a renforcé son accord avec OpenAI.

Actuellement, OpenAI utilise GPT4o pour alimenter la plupart de ses services. Mais avec la façon dont les choses se passent, au moins une partie de ce travail s'exécutera sur des puces d'AMD ou de Cerebras dans un avenir proche. L'entreprise n'essaie pas de se débarrasser complètement de Nvidia, mais il est clair qu'elle veut plus de contrôle sur la rapidité de fonctionnement de ses systèmes.