A Meta está testando seu chip de treinamento de IA próprio, que limitará a dependência de fornecedores como a Nvidia

A Meta está supostamente testando seu primeiro chip de treinamento de IA, projetado para treinar os sistemas de IA da empresa e reduzir sua dependência de fornecedores terceirizados, como a Nvidia.

A iniciativa também deverá reduzir os enormes custos de infraestrutura da empresa, com a Meta pretendendo usar seus próprios chips desenvolvidos internamente até 2026, de acordo com fontes citadas pela Reuters.

A Meta está trabalhando com a TSMC neste projeto

A empresa já utiliza um chip de geração anterior para treinar seus algoritmos de classificação e recomendação de ações, mas esta seria a primeira vez que o utilizaria para treinar ferramentas generativas como a Meta AI.

A Reuters informou que a Meta abriu uma nova fase de testes para seu chip próprio. A gigante das redes sociais iniciou uma pequena implantação do chip, com planos de aumentar a produção para uso em larga escala caso os testes sejam bem-sucedidos.

Os relatórios indicam que a Meta está treinando chips de IA dedicados a lidar com tarefas específicas de IA. Segundo informações, a fabricação foi realizada pela TSMC, e o teste de implantação ocorreu após a conclusão bem-sucedida do processo final, antes da fabricação do semicondutor.

A Meta começou a testar seu primeiro "tape-out" do chip, um marco significativo no trabalho de desenvolvimento de silício que envolve o envio de um projeto inicial para uma fábrica de chips.

Segundo a Reuters, um teste de fabricação típico custa dezenas de milhões de dólares e leva aproximadamente de três a seis meses para ser concluído, sem garantia de sucesso. Uma falha exigiria que a empresa diagnosticasse o problema e repetisse a etapa de fabricação.

A Meta tem estudado o desenvolvimento de seus próprios chips para reduzir sua dependência do hardware da Nvidia. A Meta continua sendo uma das maiores clientes da Nvidia e acumulou uma coleção de GPUs para treinar seus modelos, incluindo sua série de modelos básicos Llama.

Analistas de IA expressaram preocupações e dúvidas sobre o progresso que pode ser alcançado com a expansão contínua dos Modelos de Aprendizagem Baseada em Lógica (LLMs) por meio da adição de mais dados e poder computacional, dúvidas que foram reforçadas quando a DeepSeek lançou seus modelos a uma fração do custo incorrido por seus concorrentes.

Com desenvolvimento inicialmente previsto para 2023, os chips próprios da Meta, denominados Meta Training and Inference Accelerator, são baseados em nós de 7nm e oferecem 102 Tops de computação com precisão de inteiros (8 bits) ou 51,2 teraflops de computação com precisão de FP16.

Os chips operam a 800 megahertz e têm cerca de 370 milímetros quadrados.

Este chip é o mais recente da série MTIA da empresa, e o programa teve um início instável durante anos, tendo inclusive descartado um chip em fase de desenvolvimento semelhante.

A Meta não atingiu as metas iniciais, atrasando o lançamento do chip

Inicialmente, a Meta planejava lançar seus chips em 2022, mas abandonou o plano após não atingir as metas internas. A mudança de CPUs para GPUs no treinamento de IA obrigou a empresa a reformular seus data centers e cancelar diversos projetos.

No entanto, no ano passado, a Meta começou a usar um chip MTIA para realizar inferência, ou seja, o processo envolvido na execução de um sistema de IA à medida que os usuários interagem com ele, para os sistemas de recomendação que determinam qual conteúdo aparece nos feeds de notícias do Facebook e do Instagram.

Em fevereiro de 2024, segundo o relatório, a empresa planejava lançar a segunda geração do chip MTIA.

A empresa, que também é proprietária do Instagram e do WhatsApp, prevê despesas entre US$ 114 bilhões e US$ 119 bilhões em 2025, incluindo até US$ 65 bilhões em investimentos de capital, impulsionados principalmente por gastos com infraestrutura de IA.

Segundo relatos, executivos da Meta afirmaram que pretendem começar a usar seus próprios chips até 2026 para treinamento, ou seja, para o processo computacionalmente intensivo de alimentar o sistema de IA com grandes quantidades de dados para ensiná-lo a executar tarefas.

Assim como no caso do chip de inferência, o objetivo do chip de treinamento é começar com sistemas de recomendação e, posteriormente, utilizá-lo para produtos de IA generativa, como o chatbot Meta AI, disseram os executivos.

Na conferência de tecnologia, mídia e telecomunicações da Morgan Stanley na semana passada, o diretor de produtos da Meta, Chris Cox, disse: "Estamos trabalhando em como faríamos o treinamento para sistemas de recomendação e, eventualmente, como pensaríamos sobre treinamento e inferência para IA de geração de dados."

Ao comentar sobre os esforços da Meta no desenvolvimento de chips, Cox os descreveu como "uma espécie de processo gradual, do início ao fim". No entanto, ele afirmou que os executivos consideraram as recomendações para o chip de inferência de primeira geração um "grande sucesso"