Los nuevos chips Blackwell de Nvidia reducen el tiempo de entrenamiento de IA

Los nuevos chips Blackwell de Nvidia están cambiando la rapidez con la que se pueden entrenar los sistemas de inteligencia artificial.

En la última ronda de resultados de benchmarking publicados el miércoles por MLCommons, un grupo sin fines de lucro que rastrea y compara las capacidades de chips de IA, la arquitectura Blackwell programada por Nvidia estableció récords.

Cuando se probaron con el modelo Llama 3.1 405B de código abierto de Meta, uno de sus modelos de IA más grandes y complejos, el entrenamiento se completó en solo 27 minutos usando chips Blackwell. Esto se hizo con solo 2.496 GPUs Blackwell, un orden de magnitud menos de lo que habría tomado con los chips Hopper anteriores de Nvidia.

En contraste, los diseños anteriores utilizaron más de tres veces la cantidad de GPUs Hopper para ofrecer un rendimiento equivalente. Por chip, Blackwell fue más del doble de rápido, lo cual fue un salto enorme en la eficiencia de convergencia. Ese tipo de aumento de rendimiento podría traducirse en importantes ahorros de tiempo y costos para las organizaciones que entrenan modelos de billones de parámetros.

Se cree que estos resultados son los primeros MLCommons benchmarks para entrenar modelos a estas escalas extremas y proporcionan una medición en el mundo real de qué tan bien los chips manejan las cargas de trabajo de IA más exigentes.

CoreWeave y Nvidia impulsan un escalado de IA más inteligente

No solo los resultados fueron una victoria para Nvidia, sino que también destacaron el trabajo de CoreWeave, una empresa de infraestructura en la nube que colaboró en las pruebas. En una conferencia de prensa, el director de productos de CoreWeave, Chetan Kapoor, señaló una dirección general que cada vez tenía más sentido en la industria: alejarse de grandes bloques homogéneos de decenas de miles de GPUs.

En lugar de construir un único sistema de computación masivo y monolítico, las empresas ahora están buscando subconjuntos más pequeños e interconectados que puedan gestionar el entrenamiento de modelos masivos de manera más eficiente y con mejor escalado.

Kapoor dijo que con tal técnica, los desarrolladores pueden seguir escalando hacia arriba o reduciendo el tiempo requerido para entrenar modelos extremadamente grandes con billones de parámetros.

El cambio hacia el despliegue modular de hardware también es necesario ya que el tamaño y la complejidad de los modelos de IA solo aumentan.

Blackwell pone a Nvidia a la cabeza en el entrenamiento de modelos de IA

Aunque el enfoque reciente se ha desplazado hacia la inferencia de IA, en la que modelos como ChatGPT1 responden a las preguntas de los usuarios en tiempo real, el entrenamiento sigue siendo el caballo de batalla del desarrollo de IA.

La parte de entrenamiento es la que da a estos modelos su inteligencia, permitiéndoles comprender el lenguaje, abordar algunos de nuestros problemas más desafiantes e incluso producir prosa similar a la humana. El cálculo es altamente exigente y requiere miles de chips de alto rendimiento para operar durante largos períodos, típicamente días, si no semanas o meses.

Eso ha cambiado con la arquitectura Blackwell de Nvidia. Al reducir radicalmente los chips y el tiempo que toma entrenar modelos de IA gargantuescos, los chips Blackwell le dan a Nvidia una mejor posición en un mercado donde la velocidad y la eficiencia dominan. 

Entrenar modelos como el Llama 3.1 405B de Meta, que tiene billones de parámetros, anteriormente tenía que ejecutarse en enormes clústeres de GPUs y ha sido un proceso costoso y consumidor de energía. 

Tales ganancias de rendimiento son una ventaja significativa en un momento en que hay una demanda abrasadora de modelos de IA cada vez más grandes y potentes en muchas industrias, desde la atención médica y las finanzas hasta la educación y los vehículos autónomos.

También envía un mensaje claro a los rivales de Nvidia. Ahora, empresas de chips como AMD e Intel, que están trabajando en sus chips específicos para IA, están bajo mayor presión para mantener un ritmo similar.

AMD se sometió a la prueba de benchmark de MLCommons pero no mostró resultados para un modelo tan grande como Llama 3.1 405B. Nvidia fue la única que probó en el extremo alto del benchmark, demostrando que era el hardware superior y estaba dispuesta a asumir los desafíos más difíciles.