Amazon lança chip de IA para desafiar o domínio de Nvidia e Google

A Amazon lançou esta semana seu mais recente chip de treinamento de IA, o Trainium3, avançando diretamente contra o controle de hardware detido por Nvidia e Google.

O acelerador já está em execução em um pequeno grupo de data centers da AWS e estará disponível para os clientes na terça-feira, segundo uma entrevista com Dave Brown, vice-presidente da Amazon Web Services. Dave afirmou que a empresa não está entrando suavemente nesse mercado.

“À medida que avançamos para o início do próximo ano, começaremos a expandir muito, muito rapidamente”, disse ele. O objetivo é simples: vender mais capacidade de computação diretamente dos racks da Amazon, em vez de ver os desenvolvedores gastarem esse orçamento em outros lugares.

A AWS ainda lidera a nuvem global em computação e armazenamento alugados. Essa liderança não se traduziu limpa e diretamente no treinamento de IA em grande escala. Alguns desenvolvedores recorrem à Microsoft devido à sua ligação com a OpenAI.

Outros vão para o Google e seus chips proprietários. A Amazon está agora usando o Trainium3 para atrair de volta para dentro de sua estrutura equipes sensíveis a preços. A proposta básica é um custo menor por unidade de trabalho, mantendo tudo dentro da AWS.

A Amazon impulsiona o Trainium3 em escala de nuvem

O Trainium3 chega cerca de um ano após a Amazon ter implantado sua versão anterior. Esse ritmo situa-se no extremo rápido dos padrões de chips. Quando o chip foi ligado pela primeira vez em agosto, um engenheiro da AWS brincou: “A principal coisa pela qual estamos torcendo aqui é simplesmente não vermos nenhum tipo de fumaça ou fogo.” O ritmo rápido de atualização também espelha o plano público da Nvidia de lançar um novo chip a cada ano.

A Amazon afirma que os chips Trainium executam a computação pesada por trás dos modelos de IA com menor custo e melhor uso de energia do que as melhores GPUs da Nvidia. Dave disse: “Estamos muito satisfeitos com nossa capacidade de obter o melhor desempenho por preço com o Trainium.” A empresa está apostando fortemente nesse ângulo de preço, à medida que os tamanhos dos modelos aumentam e as contas de treinamento continuam subindo.

Ainda há um limite. Os chips da Amazon não possuem as profundas bibliotecas de software que permitem às equipes trabalhar com agilidade no hardware da Nvidia. A Bedrock Robotics, que usa IA para operar equipamentos de construção sem controle humano, executa seus sistemas principais em servidores da AWS. Ao treinar modelos para guivar uma escavadeira, ela ainda usa chips da Nvidia. Kevin Peterson, diretor de tecnologia da Bedrock Robotics, disse: “Precisamos que seja performático e fácil de usar. Isso é a Nvidia.”

A maior parte da capacidade do Trainium agora flui para a Anthropic. Os chips estão em execução em data centers na Indiana, Mississippi e Pensilvânia. No início deste ano, a AWS anunciou que conectou mais de 500.000 chips Trainium para treinar os modelos mais recentes da Anthropic. A Amazon planeja aumentar esse número para 1 milhão de chips até o final do ano.

A Amazon está vinculando o futuro do Trainium ao crescimento da Anthropic e aos seus próprios serviços de IA. Fora da Anthropic, a empresa nomeou muito poucos grandes clientes até agora. Isso deixa os analistas com dados limitados para avaliar o desempenho do Trainium em um uso mais amplo.

A Anthropic também diversifica seu risco de computação. Ela ainda usa as Unidades de Processamento Tensor (TPUs) do Google e assinou um acordo com a Google este ano que fornece acesso a dezenas de bilhões de dólares em poder de computação.

A Amazon revelou o Trainium3 durante o re: Invent, sua conferência anual de usuários. O evento se transformou em uma exibição ininterrupta de ferramentas e infraestrutura de IA, direcionadas a desenvolvedores que criam novos modelos e a empresas dispostas a pagar pelo acesso em escala.

A Amazon lança atualizações do Nova e abre o Nova Forge

Na terça-feira, a Amazon também atualizou sua família principal de modelos de IA, conhecida como Nova. A nova linha Nova 2 inclui uma versão chamada Omni.

O Omni aceita texto, imagens, fala ou vídeo como entrada. Ele pode responder com texto e imagens. A Amazon está vendendo uma mistura de tipos de entrada e custo do modelo como um pacote projetado para uso diário em escala.

A Amazon continua a precificar seus modelos com base no desempenho por dólar. Modelos Nova anteriores não se posicionaram perto do topo nas classificações padrão de testes que pontuam respostas a perguntas fixas. A empresa está apostando no uso real em vez de gráficos de testes.

Rohit Prasad, que lidera grande parte do trabalho de modelos da Amazon e sua equipe de Inteligência Artificial Geral, disse: “O verdadeiro benchmark é o mundo real”, e acrescentou que espera que os novos modelos compitam em ambientes reais.

A Amazon também está abrindo um controle mais profundo dos modelos para usuários avançados através de um novo produto chamado Nova Forge, que permite às equipes puxar versões dos modelos Nova antes do término do treinamento e moldá-los usando seus próprios dados.

O Reddit já usa o Nova Forge para construir um modelo que verifica se uma postagem viola as regras de segurança. Chris Slowe, diretor de tecnologia do Reddit, disse que muitos usuários de IA recorrem ao maior modelo possível para cada tarefa, em vez de treinar um com foco específico. “O fato de podermos torná-lo um especialista em nossa área específica é onde vem o valor”, disse ele.

Com o Trainium3 agora ativo em data centers e os modelos Nova atualizados ao mesmo tempo, a Amazon está avançando em duas frentes ao mesmo tempo. A luta de hardware se desenrola contra a Nvidia. O impulso de modelos corre contra a OpenAI apoiada pela Microsoft e a Google. A próxima fase agora avança para o uso prático pelos clientes em escala total de nuvem.