El chip de $20B de NVIDIA podría hacer que ChatGPT parezca lento

El gigante de los chips NVIDIA se está preparando para presentar un nuevo y potente procesador de inteligencia artificial diseñado para acelerar la forma en que los chatbots y otras herramientas de IA generan respuestas, lo que potencialmente haría que los sistemas actuales como ChatGPT parezcan lentos en comparación.

La nueva plataforma, que se espera que debute en la conferencia anual de desarrolladores GTC de NVIDIA, está optimizada para la inferencia de IA, la etapa en la que los modelos entrenados producen respuestas a las indicaciones de los usuarios. A diferencia de las GPU tradicionales diseñadas para manejar tanto el entrenamiento como la inferencia, el próximo procesador se centra específicamente en entregar respuestas más rápido y de manera más eficiente.

El producto, si se lanza, marcará el primer resultado tangible del acuerdo de diciembre que incorporó a los fundadores de Groq, cuya empresa se especializa en hardware de procesamiento de IA de alta velocidad.

A finales del año pasado, NVIDIA gastó aproximadamente 20.000 millones de dólares en licenciar tecnología de la startup de chips Groq y reclutar al personal clave, incluido su CEO. Alrededor de la misma época, el CEO de NVIDIA, Jensen Huang, dijo a los empleados: "Tenemos la intención de integrar los procesadores de baja latencia de Groq en la arquitectura de la fábrica de IA de NVIDIA, ampliando la plataforma para servir a una gama aún más amplia de cargas de trabajo de inferencia de IA y en tiempo real".

Ahora, se espera que el nuevo chip de inferencia maneje consultas de IA complejas a alta velocidad, con OpenAI y otros clientes líderes probablemente que lo adopten, según The Wall Street Journal. Su informe también mostró que el nuevo chip podría manejar cerca del 10 % de la carga de trabajo de inferencia de OpenAI.

El chip al estilo de Groq utilizará SRAM, según fuentes

Durante una reciente llamada de ganancias, el CEO de NVIDIA insinuó que varios nuevos productos se presentarán en el próximo evento GTC, a menudo descrito como el "Super Bowl de la IA". Había comentado: "Tengo algunas grandes ideas que me gustaría compartir con ustedes en GTC". 

La mayoría de los analistas están de acuerdo en que el chip al estilo de Groq podría formar parte de la lista. También afirmaron que su diseño podría arrojar luz sobre cómo NVIDIA pretende abordar las limitaciones de memoria en el cálculo de inferencia. Estas plataformas suelen funcionar con memoria de alto ancho de banda (HBM). Sin embargo, el HBM ha sido difícil de conseguir últimamente.

Los insiders han que confirmado que la empresa planea usar SRAM en el chip en lugar de la RAM dinámica asociada con HBM. Idealmente, el SRAM es más accesible y puede mejorar el rendimiento de las cargas de trabajo de razonamiento de IA.

Si se presenta el chip, podría ser un gran paso adelante para la empresa de chips y los modelos entrenados con IA. Sin embargo, al hablar sobre su posible lanzamiento, Sid Sheth, fundador y CEO de d-Matrix, lanzó una sombra sobre su desarrollo. Señaló que, aunque NVIDIA sigue siendo el líder claro en el entrenamiento de IA, la inferencia representa un panorama muy diferente. Compartió: "Los desarrolladores pueden recurrir a competidores distintos de NVIDIA porque ejecutar modelos de IA terminados no requiere el mismo tipo de programación que entrenarlos". 

No obstante, otros gigantes tecnológicos también están avanzando en el cálculo de inferencia. Meta presentó esta semana cuatro procesadores adaptados para la inferencia, lo que llevó a un inversor de Silicon Valley a decir que la industria podría estar entrando en una fase no "dominada por NVIDIA".

Sin embargo, más recientemente, June Paik, directora ejecutiva de FuriosaAI, un rival de NVIDIA, al comentar sobre los beneficios del cálculo de inferencia de implementación fácil, advirtió que la mayoría de los centros de datos no pueden acomodar las últimas GPU refrigeradas por líquido.

A pesar de sus preocupaciones, los analistas de Bank of America esperan que las cargas de trabajo de inferencia representen el 75 % del gasto en centros de datos de IA para 2030, cuando el mercado alcance aproximadamente 1,2 billones de dólares, frente al 50 % del año pasado. Ben Bajarin, analista tecnológico de Creative Strategies, también afirmó que los centros de datos del futuro no se ajustarán a un modelo único, anticipando que las empresas adoptarán diferentes enfoques para el desarrollo de chips e instalaciones.

Se espera que NVIDIA lance los chips Vera Rubin más tarde en 2026

NVIDIA también ha lanzado recientemente sus chips de IA de próxima generación, los chips de IA Vera Rubin, anticipando que el auge de las plataformas de IA de razonamiento como DeepSeek impulsará una demanda de computación aún mayor. Afirmó que los chips ayudarían a entrenar modelos de IA más grandes y proporcionar salidas más sofisticadas a una base de usuarios más amplia. 

Según Huang, Rubin también llegará al mercado en la segunda mitad de 2026, con una versión "ultra" de gama alta en 2027.

También explicó que un solo sistema Rubin combinaría 576 GPU individuales en un solo chip. Actualmente, los clústeres de chips Blackwell de NVIDIA agrupan 72 GPU en su sistema NVL72, lo que significa que Rubin contará con una memoria más avanzada.