OpenAI dice que no está satisfecha con el hardware de inferencia de Nvidia, ahora mira a AMD, Cerebras y Groq

OpenAI ya no está contenta con los chips de IA de Nvidia, especialmente en cuanto a la velocidad con la que pueden responder a los usuarios. La empresa comenzó a buscar otras opciones el año pasado, y ahora está hablando con AMD y Cerebras, e incluso estaba hablando con Groq antes de que eso se detuviera.

Esta tensión se hizo real cuando OpenAI se dio cuenta de que los chips de Nvidia no eran lo suficientemente rápidos para tareas específicas como escribir código y manejar tareas de software a software.

Un insider alegó que OpenAI quiere nuevos chips para manejar al menos el 10% de sus necesidades de inferencia de ahora en adelante. Esa es la parte donde la IA responde a los usuarios, no la parte donde aprende cosas.

OpenAI quiere chips más rápidos para codificación y respuestas a usuarios

La mayor parte del trabajo actual de OpenAI sigue ejecutándose en Nvidia, pero, en secreto, está probando chips que podrían acelerar todo el proceso.

Esto incluye chips repletos de SRAM, que ayudan a agilizar las operaciones al colocar la memoria justo al lado del procesador. Tanto Nvidia como AMD siguen utilizando memoria externa al chip, lo que ralentiza el rendimiento.

Fuentes internas de OpenAI señalaron a Codex, la herramienta que escribe código, como el lugar donde la lentitud era el mayor problema. Algunos empleados incluso atribuyeron el bajo rendimiento al hardware de Nvidia. En una llamada con la prensa el 30 de enero, el CEO de OpenAI, Sam Altman, declaró: «Los clientes que utilizan nuestros modelos de codificación valorarán enormemente la velocidad en el trabajo de programación».

Sam añadió que los usuarios habituales de ChatGPT no prestan tanta atención a la velocidad, pero para desarrolladores y empresas, cada segundo cuenta. Dijo que OpenAI acababa de firmar un acuerdo con Cerebras para ayudar a acelerar los procesos.

Al mismo tiempo, empresas como Anthropic y Google están obteniendo mejores resultados utilizando sus propios chips. Los TPUs de Google están diseñados específicamente para el tipo de trabajo que requiere la inferencia. Esto los ha hecho más rápidos en la respuesta, especialmente para modelos como Claude y Gemini.

Las conversaciones entre OpenAI y Groq se detuvieron tras el acuerdo de licencia con Nvidia

OpenAI también estaba en conversaciones con Groq, otra startup que desarrolla chips rápidos, pero esas charlas no llegaron a buen puerto. Nvidia intervino y firmó un acuerdo de licencia por 20.000 millones de dólares con Groq. Esto dio a Nvidia acceso a los diseños de Groq y frustró los planes de OpenAI de trabajar con ellos.

Una fuente cercana a la situación dijo que los chips de Groq estaban diseñados exactamente para lo que OpenAI necesitaba. Pero una vez que Nvidia cerró el acuerdo, esa puerta se cerró. Aunque la licencia era no exclusiva, Groq ahora se está centrando en el software basado en la nube, y Nvidia se ha quedado con algunos de los diseñadores de chips de Groq.

Cerebras, por su parte, dijo que no cuando Nvidia intentó comprarlos. En su lugar, procedieron a firmar su propio acuerdo con OpenAI. Groq también recibió ofertas de inversión que valoraban la empresa en torno a los 14.000 millones de dólares, pero esa situación ha cambiado desde que se vinculó con Nvidia.

OpenAI no ha abandonado por completo a Nvidia. En una declaración pública, un portavoz dijo: «Dependemos de Nvidia para alimentar la gran mayoría de nuestra flota de inferencia», y calificó su rendimiento por dólar como el mejor del mercado. Nvidia también declaró: «Los clientes siguen eligiendo Nvidia para la inferencia porque ofrecemos el mejor rendimiento y el costo total de propiedad a escala».

La inversión de Nvidia por $100 mil millones sigue en el limbo

El año pasado, Nvidia anunció que planeaba invertir hasta 100.000 millones de dólares en OpenAI. Ese dinero estaba destinado a ayudar a OpenAI a comprar chips más avanzados, y a cambio, Nvidia obtendría una participación en la empresa. Reuters informó de que el acuerdo debía cerrarse en unas pocas semanas. Todavía no lo ha hecho.

Mientras ese acuerdo se estancaba, OpenAI procedió a firmar acuerdos con AMD y otras empresas para probar chips que pudieran competir directamente con los de Nvidia. Pero a medida que OpenAI cambiaba sus planes de producto, también cambiaba el tipo de hardware que necesitaba. Eso ralentizó aún más las conversaciones, según una persona familiarizada con la situación.

El sábado, el CEO de Nvidia, Jensen Huang, fue preguntado sobre la fricción. Dijo: «Eso es tonterías», e insistió en que Nvidia aún planea invertir mucho en OpenAI. Pero, en secreto, está claro que ambas partes están explorando sus opciones.

Al mismo tiempo, Nvidia ha estado buscando nuevas ideas para chips. Se puso en contacto tanto con Cerebras como con Groq para ver si estarían abiertas a ser adquiridas. Cerebras rechazó la oferta y reforzó su acuerdo con OpenAI.

En este momento, OpenAI está utilizando GPT4o para impulsar la mayoría de sus servicios. Pero, según la tendencia actual, al menos parte de ese trabajo se ejecutará en chips de AMD o Cerebras en un futuro cercano. La empresa no intenta deshacerse por completo de Nvidia, pero está claro que quiere tener más control sobre la velocidad de sus sistemas.