OpenAI n'est plus satisfaite des puces d'IA de Nvidia, notamment en ce qui concerne leur rapidité de réponse aux utilisateurs. L'entreprise a commencé à explorer d'autres options l'année dernière et discute actuellement avec AMD et Cerebras. Elle était même en pourparlers avec Groq avant que ce dernier ne soit fermé.
Cette tension a commencé à devenir réelle lorsqu'OpenAI s'est rendu compte que les puces de Nvidia n'étaient pas assez rapides pour des tâches spécifiques comme l'écriture de code et la gestion des échanges de logiciels.
Selon une source interne, OpenAI souhaiterait que les nouvelles puces prennent en charge au moins 10 % de ses besoins en inférence. Il s'agit de la partie où l'IA répond aux utilisateurs, et non de celle où elle apprend.
OpenAI souhaite des puces plus rapides pour le codage et les réponses des utilisateurs
La plupart des travaux actuels d'OpenAI fonctionnent encore sur des cartes Nvidia, mais en coulisses, l'entreprise teste des puces qui pourraient tout rendre plus rapide.
Cela inclut des puces dotées de SRAM, qui contribuent à accélérer le traitement en plaçant la mémoire directement à côté du processeur. Nvidia et AMD utilisent encore une mémoire externe, ce qui ralentit les performances.
Au sein d'OpenAI, certains ont pointé du doigt Codex, l'outil de génération de code, comme étant la principale source de lenteur. D'autres ont même imputé ces faibles performances au matériel de Nvidia. Lors d'une conférence de presse le 30 janvier, le PDG d'OpenAI, Sam Altman, a déclaré : « Les clients qui utilisent nos modèles de codage accordent une grande importance à la rapidité d'exécution. »
Sam a ajouté que les utilisateurs réguliers de ChatGPT ne se soucient pas autant de la vitesse, mais que pour les développeurs et les entreprises, chaque seconde compte. Il a précisé qu'OpenAI venait de signer un accord avec Cerebras pour améliorer encore les performances.
Dans le même temps, des entreprises comme Anthropic et Google obtiennent de meilleurs résultats avec leurs propres puces. Les TPU de Google sont conçues spécifiquement pour répondre aux besoins d'inférence. Cela leur confère une réactivité accrue, notamment pour des modèles comme Claude et Gemini.
Les négociations entre OpenAI et Groq sont interrompues suite à un accord de licence avec Nvidia
OpenAI était également en pourparlers avec Groq, une autre start-up spécialisée dans les puces à haut débit, mais ces discussions n'ont pas abouti. Nvidia est intervenue et a signé un contrat de licence de 20 milliards de dollars avec Groq. Ce contrat a permis à Nvidia d'accéder aux conceptions de Groq et a mis un terme aux projets de collaboration d'OpenAI.
Selon une source proche du dossier, les puces de Groq étaient conçues sur mesure pour répondre aux besoins d'OpenAI. Mais une fois l'accord conclu avec Nvidia, la porte s'est fermée. Bien que la licence ne soit pas exclusive, Groq se concentre désormais sur les logiciels en nuage, et Nvidia a recruté certains de ses concepteurs de puces.
Cerebras, en revanche, a refusé l'offre de rachat de Nvidia. L'entreprise a préféré conclure un accord avec OpenAI. Groq a également reçu des offres d'investissement la valorisant à environ 14 milliards de dollars, mais cette valorisation a évolué depuis son rachat par Nvidia.
OpenAI n'a pas complètement rompu les liens avec Nvidia. Dans une déclaration publique, un porte-parole a affirmé : « Nous nous appuyons sur Nvidia pour alimenter la grande majorité de notre parc de calculs d'inférence », et a qualifié leur rapport performance/prix de meilleur du marché. Nvidia a également déclaré : « Nos clients continuent de choisir Nvidia pour l'inférence car nous offrons les meilleures performances et le coût total de possession le plus bas à grande échelle. »
L'accord d'investissement de 100 milliards de dollars avec Nvidia reste au point mort
L'an dernier, Nvidia a annoncé son intention d'investir jusqu'à 100 milliards de dollars dans OpenAI. Cet cash devait permettre à OpenAI d'acquérir des puces plus performantes, et en contrepartie, Nvidia devait obtenir une participation dans l'entreprise. Reuters a indiqué que la transaction devait être finalisée sous peu. Ce n'est toujours pas le cas.
Alors que cet accord était au point mort, OpenAI a poursuivi ses négociations et signé des accords avec AMD et d'autres fabricants pour tester des puces capables de concurrencer directement celles de Nvidia. Cependant, les changements intervenus dans la stratégie produit d'OpenAI ont entraîné une évolution de ses besoins en matériel. Selon une source proche du dossier, cela a encore ralenti les discussions.
Samedi, le PDG de Nvidia, Jensen Huang, a été interrogé sur ces tensions. Il a déclaré : « C’est absurde », et a insisté sur le fait que Nvidia prévoyait toujours d’investir massivement dans OpenAI. Mais en coulisses, il est clair que les deux parties étudient leurs options.
Dans le même temps, Nvidia était à la recherche de nouvelles idées pour ses puces. L'entreprise a contacté Cerebras et Groq pour savoir si elles seraient intéressées par un rachat. Cerebras a décliné l'offre et a renforcé son partenariat avec OpenAI.
Actuellement, OpenAI utilise GPT4o pour la plupart de ses services. Mais au vu de l'évolution actuelle, une partie de ces tâches sera exécutée sur des puces AMD ou Cerebras dans un avenir proche. L'entreprise ne cherche pas à se passer complètement de Nvidia, mais il est clair qu'elle souhaite un meilleur contrôle sur les performances de ses systèmes.
