A Cerebras desafia a Nvidia ao lançar um serviço de inferência de IA

A Cerebras Systems anunciou na terça-feira uma solução de inferência de IA para desenvolvedores. Segundo a empresa, trata-se de uma solução de inferência muito mais rápida, 20 vezes mais veloz que as oferecidas pela Nvidia.

A Cerebras fornecerá acesso aos seus chips maiores para executar aplicações de IA, que, segundo a empresa, também são mais baratas do que as GPUs da Nvidia. As GPUs da Nvidia, padrão da indústria, são frequentemente acessadas por meio de provedores de serviços em nuvem para executar grandes modelos de linguagem, como o ChatGPT. Obter acesso geralmente não é fácil para muitas pequenas empresas e é caro. 

A Cerebras afirma que seus novos chips podem oferecer desempenho superior ao das GPUs

A inferência em IA é o processo de operar um modelo de IA já treinado para obter uma saída, como respostas de chatbots e a resolução de diferentes tarefas. Os serviços de inferência são a espinha dorsal das aplicações de IA atuais, pois dependem deles para operações diárias que facilitam a vida dos usuários.

A Cerebras afirmou que a inferência é o segmento de crescimento mais rápido da indústria de IA, representando 40% de todas as cargas de trabalho relacionadas à IA na computação em nuvem. O CEO da Cerebras, Andrew Feldman, disse que os chips de grande porte da empresa oferecem mais desempenho do que uma GPU. As GPUs não conseguem atingir esse nível, afirmou ele. Feldman falou à Reuters em entrevista.

Ele acrescentou:

“Estamos fazendo isso com a maior precisão e oferecendo pelo menor preço.” Fonte: Reuters.

O CEO afirmou que os serviços de inferência de IA existentes não são satisfatórios para todos os clientes. Ele disse a um grupo separado de repórteres em São Francisco que a empresa está "observando todo tipo de interesse" em soluções mais rápidas e econômicas. 

Até agora, a Nvidia dominou o mercado de computação de IA com seus chips de referência e o ambiente de programação CUDA (Compute Unified Device Architecture). Isso ajudou a Nvidia a fidelizar os desenvolvedores em seu ecossistema, fornecendo uma vasta gama de ferramentas.

Os chips Cerbras têm 7000 vezes mais memória do que as GPUs Nvidia H100

A Cerebras afirmou que seu serviço de inferência de alta velocidade representa um ponto de virada para a indústria de IA. Os novos chips da empresa, tão grandes quanto pratos de jantar, são chamados de Wafer Scale Engines. Eles podem processar 1000 tokens por segundo, o que, segundo a empresa, é comparável à introdução da internet de banda larga.

Segundo a empresa, os novos chips oferecem diferentes níveis de desempenho para vários modelos de IA. Para o Llama 3.1 8B, os novos chips podem processar até 1800 tokens por segundo, enquanto para o Llama 3.1 70B, o processamento é de 450 tokens por segundo.

A Cerebras oferece serviços de inferência a 10 centavos de dólar por milhão de tokens, um valor inferior ao cobrado por soluções baseadas em GPUs. Segundo a indústria, abordagens alternativas costumam priorizar o desempenho em detrimento da precisão, enquanto os novos chips da Cerebras, de acordo com a empresa, são capazes de manter a precisão.

A Cerebras anunciou que oferecerá produtos de inferência de IA em diferentes formatos. A empresa planeja lançar um serviço de inferência via nuvem e uma chave de desenvolvedor. A Cerebras também venderá os novos chips para clientes de data centers e para aqueles que desejam operar seus próprios sistemas.

Os novos chips Wafer Scale Engine possuem módulos integrados de refrigeração e fornecimento de energia e fazem parte de um sistema de data center da Cerebras chamado CS-3. De acordo com diferentes relatos, o sistema CS-3 da Cerebras é a espinha dorsal do serviço de inferência da empresa. 

O sistema possui 7000 vezes mais capacidade de memória do que as GPUs Nvidia H100. Isso também resolve o problema fundamental da largura de banda da memória, que muitos fabricantes de chips estão tentando solucionar.

A Cerbras também está trabalhando para se tornar uma empresa de capital aberto. Para isso, protocolou um prospectodentjunto à Comissão de Valores Mobiliários dos Estados Unidos (SEC) neste mês.