Os planos mega de cidade de IA da OpenAI dependem de avanços em chips personalizados

A OpenAI está a esboçar o que parece ser o plano para uma civilização construída por máquinas, uma alimentada pelos seus próprios chips, pela sua própria infraestrutura e por energia suficiente para iluminar duas Cidades de Nova Iorque.

A visão massiva de cidade de IA da empresa baseia-se numa visão que é quase impossível de realizar: desenhar e produzir bilhões de chips personalizados em parceria com a Broadcom para suportar o que o CEO Sam Altman chama de “espinha dorsal de computação” do futuro.

Sam disse ao Wall Street Journal que entregar os serviços de inteligência artificial que as pessoas exigirão requererá pelo menos um chip específico de IA por utilizador, uma projeção desconcertante que chega aos bilhões.

Ali Farhadi, diretor do Allen Institute for AI, apoiou essa escala, dizendo que se a IA substituir o trabalho humano à taxa prometida, “o mundo precisará de tantos chips de IA como tem convencionais.” Para OpenAI, isto trata-se de controlo; sobre custos, sobre consumo de energia e sobre a sobrevivência a longo prazo dos seus modelos à medida que a demanda explode.

A OpenAI liga Broadcom, Nvidia e gigantes de memória para computação de próxima geração

A Nvidia, claro, ainda domina o espaço de treino de IA, com cerca de 70% de quota de mercado, é por isso que a OpenAI tem de continuar a usar as suas GPUs para treino de modelos.

Mas a OpenAI está agora a dividir a pipeline: o treino acontece na Nvidia, a inferência (o processo de entregar respostas aos utilizadores) move-se para o silício personalizado da Broadcom. Este design de duas vias poderia cortar despesas e uso de energia numa escala onde cada ponto percentual importa.

Jordan Nanos, investigador de semicondutores na SemiAnalysis, disse que a Broadcom está a ajudar a OpenAI a “remixar a receita típica de chips de IA.” Estes chips não serão genéricos. Estão a ser engenhados especificamente para os modelos da OpenAI, que dependem de memória de alta largura de banda, fornecida pela Samsung e SK Hynix, duas empresas com as quais a companhia recentemente estabeleceu parcerias.

Esse tipo de memória permite um movimento de dados mais rápido entre processadores, crítico para sistemas como o Pulse da OpenAI, um agente de IA que analisa a web diariamente para informar os utilizadores. O Pulse consome tanto poder de computação que Sam disse que está limitado a quem paga $200 por mês pelo nível Pro.

Esta dependência de memória de alta largura de banda liga-se diretamente à forma como os modelos da OpenAI operam. As redes neurais iniciais eram “densas”, ativando grandes secções dos seus sistemas para cada consulta. As mais recentes usam “esparsidade”, que ativa apenas secções específicas de especialistas.

Em vez de usar 25% do modelo para responder a uma pergunta, os sistemas modernos ativam uma fração de um por cento. Essa diferença reduz drasticamente o consumo de energia e acelera os tempos de resposta. Quando um chip é construído em torno dessa lógica esparsa, a eficiência dispara, e é a Broadcom quem torna esse hardware possível.

Os supercomputadores de IA em escala de gigawatts da OpenAI redefinem a infraestrutura

Sam disse que a pegada de computação atual da OpenAI é de cerca de 2 gigawatts, espalhada por data centers globais. A parceria com a Broadcom visa construir até 10 gigawatts até 2030, formando a base física para o que os insiders estão a chamar de cidades de IA, campi densos de servidores, armazenamento e interconexões personalizadas ligadas pelos chips de rede Tomahawk Ultra da Broadcom.

Isso é apenas parte da onda. Nas últimas três semanas, OpenAI adicionou 16 gigawatts em novos acordos de capacidade com a AMD e Nvidia, levando o total a níveis que poderiam exigir quase $1 trilião em investimento.

O Colossus de Memphis da xAI já atingiu 1,21 gigawatts este outono. A instalação Hyperion da Meta na Louisiana está aprovada para 2,3 gigawatts, com Mark Zuckerberg a visar 5 gigawatts. A corrida energética da IA é oficialmente global.

Sam descreveu esta transformação como “o maior projeto industrial conjunto da história”, dizendo que mesmo estes acordos são “uma gota no balde comparado com onde precisamos de chegar”. Parte do seu objetivo é diversificar os fornecedores.

O campus Stargate em Abilene, Texas, sendo construído pela Oracle, focar-se-á no treino de IA, principalmente em chips Nvidia. O hardware AMD tratará das cargas de trabalho de inferência, enquanto o silício personalizado da Broadcom preenche a lacuna de eficiência.

Como disse Nanos, “A OpenAI está a olhar bastante para o futuro, e a tentar garantir que têm acesso a fornecimento suficiente de chips.”