A OpenAI diz que não está satisfeita com o hardware de inferência da Nvidia e agora está olhando para AMD, Cerebras e Groq

A OpenAI não está mais satisfeita com os chips de IA da Nvidia, especialmente no que diz respeito à velocidade com que podem responder aos usuários. A empresa começou a procurar outras opções no ano passado e agora está conversando com a AMD e a Cerebras, e até mesmo conversou com a Groq antes de ela ser descontinuada.

Essa tensão começou a se tornar real quando a OpenAI percebeu que os chips da Nvidia não eram rápidos o suficiente para tarefas específicas, como escrever código e lidar com tarefas de software para software.

Um insider alegou que a OpenAI quer novos chips para lidar com pelo menos 10% de suas necessidades de inferência no futuro. Essa é a parte em que a IA responde aos usuários, não a parte em que ela aprende coisas.

A OpenAI quer chips mais rápidos para codificação e respostas aos usuários

A maior parte do trabalho atual da OpenAI ainda roda na Nvidia, mas nos bastidores, ela está testando chips que poderiam tornar tudo mais rápido.

Isso inclui chips embalados com SRAM, que ajudam a acelerar as coisas colocando a memória logo ao lado do processador. A Nvidia e a AMD ainda usam memória que fica fora do chip, o que desacelera as coisas.

Pessoas dentro da OpenAI apontaram o Codex, a ferramenta que escreve código, como o local onde a lentidão era o maior problema. Alguns funcionários até culparam o desempenho fraco pelo hardware da Nvidia. Em uma chamada de imprensa em 30 de janeiro, o CEO da OpenAI, Sam Altman, disse: “Os clientes que usam nossos modelos de codificação colocarão um grande prêmio na velocidade para trabalhos de codificação.”

Sam acrescentou que os usuários regulares do ChatGPT não se importam tanto com a velocidade, mas para desenvolvedores e empresas, cada segundo conta. Ele disse que a OpenAI acabara de assinar um acordo com a Cerebras para ajudar a acelerar as coisas.

Ao mesmo tempo, empresas como a Anthropic e a Google estão obtendo melhores resultados usando seus próprios chips. Os TPUs da Google são construídos especificamente para o tipo de trabalho que a inferência exige. Isso os tornou mais rápidos na resposta, especialmente para modelos como o Claude e o Gemini.

Conversas entre OpenAI e Groq encerradas após acordo de licença com a Nvidia

A OpenAI também estava em negociações com a Groq, outra startup que desenvolve chips rápidos, mas essas conversas não avançaram. A Nvidia entrou em cena e assinou um acordo de licenciamento de US$ 20 bilhões com a Groq. Isso deu à Nvidia acesso aos projetos da Groq e eliminou os planos da OpenAI de trabalhar com eles.

Uma fonte próxima à situação afirmou que os chips da Groq foram construídos exatamente para o que a OpenAI precisava. Mas, assim que a Nvidia fechou o acordo, essa porta se fechou. Mesmo que a licença fosse não exclusiva, a Groq agora está focada em software baseado em nuvem, e a Nvidia absorveu alguns dos projetistas de chips da Groq.

A Cerebras, por outro lado, disse não quando a Nvidia tentou comprá-la. Em vez disso, ela seguiu em frente e fechou seu próprio acordo com a OpenAI. A Groq também recebeu ofertas de investimento que avaliavam sua empresa em cerca de US$ 14 bilhões, mas isso mudou desde que ela se vinculou à Nvidia.

A OpenAI não se afastou completamente da Nvidia. Em uma declaração pública, um porta-voz disse: "Contamos com a Nvidia para alimentar a vasta maioria de nossa frota de inferência", e chamou o desempenho por dólar de o melhor do mercado. A Nvidia também afirmou: "Os clientes continuam escolhendo a Nvidia para inferência porque entregamos o melhor desempenho e o menor custo total de propriedade em escala."

Investimento de US$ 100 bilhões da Nvidia ainda em limbo

No ano passado, a Nvidia disse que planejava investir até US$ 100 bilhões na OpenAI. Esse dinheiro seria usado para ajudar a OpenAI a comprar chips mais avançados, e, em troca, a Nvidia receberia uma participação na empresa. A Reuters informou que o acordo deveria ser fechado em algumas semanas. Ainda não aconteceu.

Enquanto esse acordo estagnava, a OpenAI seguiu em frente e assinou acordos com a AMD e outras empresas para testar chips que poderiam competir diretamente com os da Nvidia. Mas, à medida que a OpenAI alterava seus planos de produto, o tipo de hardware de que precisava também mudou. Isso desacelerou ainda mais as negociações, disse uma pessoa familiarizada com a situação.

No sábado, o CEO da Nvidia, Jensen Huang, foi questionado sobre a tensão. Ele disse: "Isso é absurdo", e insistiu que a Nvidia ainda planeja investir muito na OpenAI. Mas nos bastidores, é claro que ambas as partes estão explorando suas opções.

Ao mesmo tempo, a Nvidia tem buscado novas ideias para chips. Ela entrou em contato com a Cerebras e a Groq para ver se estariam abertas a serem adquiridas. A Cerebras recusou e reforçou seu acordo com a OpenAI.

No momento, a OpenAI está usando o GPT-4o para alimentar a maioria de seus serviços. Mas, segundo a tendência atual, pelo menos parte desse trabalho será executada em chips da AMD ou da Cerebras no futuro próximo. A empresa não está tentando abandonar a Nvidia completamente, mas é claro que ela quer mais controle sobre a velocidade de funcionamento de seus sistemas.