Los nuevos chips Blackwell de Nvidia reducen drásticamente el tiempo de entrenamiento de la IA

Los nuevos chips Blackwell de Nvidia están cambiando la rapidez con la que se pueden entrenar los sistemas de inteligencia artificial.

En la última ronda de resultados de evaluación comparativa publicados el miércoles por MLCommons, un grupo sin fines de lucro que tracy compara las capacidades de los chips de IA, la arquitectura Blackwell programada por Nvidia estableció récords.

Al probarlo con el modelo Llama 3.1 405B de código abierto de Meta, uno de sus modelos de IA más grandes y complejos, el entrenamiento se completó en tan solo 27 minutos utilizando chips Blackwell. Esto se logró con solo 2496 GPU Blackwell, una cantidad mucho menor de la que habría requerido con los chips Hopper anteriores de Nvidia.

En cambio, los diseños anteriores utilizaban más del triple de GPU Hopper para ofrecer un rendimiento equivalente. Por chip, Blackwell era más del doble de rápido, lo que supuso un gran salto en la eficiencia de convergencia. Este aumento de rendimiento podría traducirse en un importante ahorro de tiempo y costes para las organizaciones que entrenan modelos de billones de parámetros.

Se cree que estos resultados son los primeros de MLCommons para entrenar modelos en estas escalas extremas y proporcionan una medición en el mundo real de qué tan bien los chips manejan las cargas de trabajo de IA más exigentes.

CoreWeave y Nvidia impulsan un escalado de IA más inteligente

Los resultados no solo fueron una victoria para Nvidia, sino que también destacaron el trabajo de CoreWeave, empresa de infraestructura en la nube que colaboró ​​en las pruebas. En una conferencia de prensa, Chetan Kapoor, director de producto de CoreWeave, señaló una dirección general que cada vez cobraba más sentido en la industria: alejarse de los grandes bloques homogéneos de decenas de miles de GPU.

En lugar de construir un único sistema informático masivo y monolítico, las empresas ahora buscan subconjuntos más pequeños e interconectados que puedan gestionar el entrenamiento de modelos masivos de forma más eficiente y con mejor escalabilidad.

Kapoor dijo que con esta técnica, los desarrolladores pueden seguir ampliando o reduciendo el tiempo necesario para entrenar modelos extremadamente grandes con billones de parámetros.

La transición a la implementación modular de hardware también es necesaria a medida que el tamaño y la complejidad de los modelos de IA solo aumentan.

Blackwell coloca a Nvidia a la cabeza del entrenamiento de modelos de IA

Aunque últimamente el enfoque se ha desplazado hacia la inferencia de IA, en la que modelos como ChatGPT1 responden preguntas de los usuarios en tiempo real, el entrenamiento sigue siendo el caballo de batalla del desarrollo de IA.

La parte de entrenamiento dota a estos modelos de inteligencia, permitiéndoles comprender el lenguaje, abordar algunos de nuestros problemas más complejos e incluso producir prosa con un lenguaje similar al humano. El cálculo es muy exigente y requiere miles de chips de alto rendimiento para operar durante largos periodos, normalmente días, semanas o incluso meses.

Eso ha cambiado con la arquitectura Blackwell de Nvidia. Al reducir drásticamente los chips y el tiempo necesario para entrenar modelos de IA gigantescos, los chips Blackwell le dan a Nvidia una ventaja en un mercado donde la velocidad y la eficiencia son primordiales. 

Modelos de entrenamiento como Llama 3.1 405B de Meta, que tiene billones de parámetros, anteriormente tenían que ejecutarse en enormes clústeres de GPU y eran un proceso costoso que consumía mucha energía. 

Estas mejoras de rendimiento suponen un avance significativo en un momento en el que existe una gran demanda de modelos de IA cada vez más grandes y potentes en muchas industrias, desde la atención sanitaria y las finanzas hasta la educación y los vehículos autónomos.

También envía un mensaje claro a los rivales de Nvidia. Ahora, empresas de chips como AMD e Intel, que trabajan en sus chips específicos para IA, se encuentran bajo mayor presión para mantener un ritmo similar.

AMD se presentó a la prueba de rendimiento de MLCommons, pero no mostró resultados para un modelo tan grande como el Llamas 3.1 405B. Nvidia fue la única que obtuvo el máximo rendimiento, demostrando que su hardware es superior y está preparada para afrontar los retos más exigentes.