Os novos chips Blackwell da Nvidia reduzem o tempo de treinamento de IA

Os novos chips Blackwell da Nvidia estão mudando a rapidez com que os sistemas de inteligência artificial podem ser treinados.

Na última rodada de resultados de benchmarking lançada na quarta-feira pelo MLCommons, um grupo sem fins lucrativos que rastreia e compara as capacidades de chips de IA, a arquitetura Blackwell programada pela Nvidia estabeleceu recordes.

Quando testados com o modelo Llama 3.1 405B de código aberto da Meta, um de seus modelos de IA maiores e mais complexos, o treinamento foi concluído em apenas 27 minutos usando chips Blackwell. Isso foi feito com apenas 2.496 GPUs Blackwell, uma ordem de magnitude a menos do que teria sido necessário com os chips Hopper anteriores da Nvidia.

Em contraste, designs anteriores usavam mais de três vezes o número de GPUs Hopper para entregar desempenho equivalente. Por chip, o Blackwell foi mais de duas vezes mais rápido, o que foi um salto enorme na eficiência de convergência. Esse tipo de aumento de desempenho pode se traduzir em grandes economias de tempo e custo para organizações que treinam modelos de trilhões de parâmetros.

Acredita-se que esses resultados sejam os primeiros MLCommons benchmarks para treinamento de modelos em escalas extremas e fornecem uma medição do mundo real de quão bem os chips lidam com as cargas de trabalho de IA mais exigentes.

CoreWeave, Nvidia impulsionam escalonamento mais inteligente de IA

Não apenas os resultados foram uma vitória para a Nvidia, mas também destacaram o trabalho da CoreWeave, uma empresa de infraestrutura em nuvem que parceira nos testes. Em uma coletiva de imprensa, o Chetan Kapoor, Chief Product Officer da CoreWeave, apontou uma direção geral que cada vez mais fazia sentido na indústria: longe de grandes blocos homogêneos de dezenas de milhares de GPUs.

Em vez de construir um único sistema de computação massivo e monolítico, as empresas agora estão olhando para subconjuntos menores e interconectados que podem gerenciar o treinamento massivo de modelos de forma mais eficiente e com melhor escalonamento.

Kapoor disse que, com tal técnica, os desenvolvedores podem continuar escalando para cima ou reduzindo o tempo necessário para treinar modelos extremamente grandes com trilhões de parâmetros.

A mudança para a implantação modular de hardware também é necessária à medida que o tamanho e a complexidade dos modelos de IA apenas inflacionam.

Blackwell coloca a Nvidia na liderança para treinamento de modelos de IA

Embora o foco tenha mudado recentemente para a inferência de IA, na qual modelos como o ChatGPT1 respondem às perguntas dos usuários em tempo real, o treinamento ainda é o cavalo de batalha do desenvolvimento de IA.

A parte de treinamento dá a esses modelos sua inteligência, permitindo que entendam a linguagem, lidem com alguns de nossos problemas mais desafiadores e até produzam prosa semelhante à humana. O cálculo é altamente exigente e requer milhares de chips de alto desempenho para operar por longos períodos, tipicamente dias, se não semanas ou meses.

Isso mudou com a arquitetura Blackwell da Nvidia. Ao cortar radicalmente os chips e o tempo necessários para treinar modelos de IA gargantuescos, os chips Blackwell dão à Nvidia uma mão melhor em um mercado onde velocidade e eficiência reinam supremos. 

Treinar modelos como o Llama 3.1 405B da Meta, que tem trilhões de parâmetros, anteriormente tinha que ser executado em enormes clusters de GPUs e tem sido um processo caro e consumidor de energia. 

Tais ganhos de desempenho são uma vantagem significativa em um momento em que há uma demanda ardente por modelos de IA cada vez maiores e mais poderosos em muitas indústrias — desde saúde e finanças até educação e veículos autônomos.

Isso também envia uma mensagem clara para os rivais da Nvidia. Agora, empresas de chips como AMD e Intel, que estão trabalhando em seus chips específicos para IA, estão sob maior pressão para manter um ritmo semelhante.

A AMD submeteu-se ao teste de benchmark do MLCommons, mas não mostrou resultados para um modelo tão grande quanto o Llama 3.1 405B. A Nvidia foi a única que testou no extremo alto do benchmark, provando que era o hardware superior e disposta a enfrentar os desafios mais difíceis.