Meta prueba su primer chip de entrenamiento de IA que limitará la dependencia de proveedores como Nvidia

Según se informa, Meta está probando su primer chip de entrenamiento de IA, diseñado para entrenar los sistemas de IA de Meta y reducir la dependencia de la compañía en proveedores de terceros como Nvidia.

Se espera que la iniciativa también reduzca la enorme factura de infraestructura de la compañía, con Meta apuntando a usar sus propios chips de fabricación propia para 2026, según fuentes citadas por Reuters.

Meta está trabajando con TSMC en este proyecto

Se dice que la compañía ya está utilizando un chip de la generación anterior para entrenar sus algoritmos de clasificación y acción recomendada, pero este sería su primer uso para entrenar herramientas generativas como Meta AI.

Reuters informó que Meta ha abierto una nueva pestaña para probar su chip de fabricación propia. El gigante de las redes sociales ha comenzado una pequeña colocación del chip con planes de aumentar la producción para su uso a gran escala si la prueba sale bien.

Los informes indican que Meta está entrenando chips de IA dedicados a manejar tareas específicas de IA. Se ha informado que ha sido fabricado por TSMC, con el despliegue de prueba siguiendo un tape-out exitoso del proceso final antes de que se fabrique un semiconductor.

Meta comenzó a probar su primer «tape-out» del chip, un hito significativo hacia el trabajo de desarrollo de silicio que implica enviar un diseño inicial a una fábrica de chips.

Según Reuters, un tape-out típico cuesta decenas de millones de dólares y toma aproximadamente un trimestre a medio año completarlo, sin garantía de que la prueba tenga éxito. Un fallo requeriría que la compañía diagnostique el problema y repita el paso de tape-out.

Meta ha estado considerando desarrollar sus propios chips para reducir su dependencia del hardware de Nvidia. Meta ha permanecido como uno de los mayores clientes de Nvidia y ha acumulado una colección de GPUs para entrenar sus modelos, incluida su serie de modelos base Llama.

Los analistas de IA han expresado preocupaciones y dudas sobre el progreso que se puede lograr escalando continuamente los LLMs añadiendo más datos y poder de cómputo, dudas que se reforzaron cuando DeepSeek lanzó sus modelos a una fracción del costo incurrido por sus pares.

Primero reportado como en desarrollo en 2023, los chips de fabricación propia de Meta, apodados Meta Training and Inference Accelerator, se basan en nodos de 7 nm y proporcionan 102 Tops de precisión de cómputo Entero (8-bit) o 51.2 teraflops de precisión de cómputo FP16.

Los chips funcionan a 800 megahercios y tienen aproximadamente 370 milímetros cuadrados.

Este chip es el último en la serie MTIA de la compañía y el programa ha tenido un comienzo inestable durante años y en un momento descartó un chip en una fase similar de desarrollo.

Meta perdió los objetivos iniciales, retrasando el lanzamiento del chip

Originalmente se esperaba que Meta lanzara sus chips en 2022, pero descartó el plan después de que no cumplieran los objetivos internos, con el cambio de CPUs a GPUs para el entrenamiento de IA obligando a la compañía a rediseñar sus centros de datos y cancelar múltiples proyectos.

Sin embargo, el año pasado Meta comenzó a usar un chip MTIA para realizar inferencia, o el proceso involucrado en ejecutar un sistema de IA mientras los usuarios interactúan con él, para los sistemas de recomendación que determinan qué contenido aparece en los feeds de noticias de Facebook e Instagram.

En febrero de 2024, según el informe, la compañía estaba planeando desplegar la segunda generación del chip MTIA.

La empresa que también posee Instagram y WhatsApp ha previsto un total de gastos para 2025 de entre 114.000 y 119.000 millones de dólares, lo que incluye hasta 65.000 millones de dólares en gastos de capital, impulsados en gran medida por la inversión en infraestructura de inteligencia artificial.

Según se informa, los ejecutivos de Meta dijeron que quieren comenzar a usar sus propios chips para 2026 para el entrenamiento o el proceso intensivo en cómputo de alimentar al sistema de IA con grandes cantidades de datos para enseñarle cómo desempeñarse.

Al igual que con el chip de inferencia, el objetivo para el chip de entrenamiento es comenzar con los sistemas de recomendación y luego usarlo para productos de IA generativa como el chatbot Meta AI, dijeron los ejecutivos.

En la conferencia de tecnología, medios y telecomunicaciones de Morgan Stanley la semana pasada, el director de productos de Meta, Chris Cox, dijo: «Estamos trabajando en cómo haríamos el entrenamiento para los sistemas de recomendación y luego, eventualmente, cómo pensamos sobre el entrenamiento y la inferencia para la IA generativa».

Comentando sobre los esfuerzos de desarrollo de chips de Meta, Cox los describió como «una situación de caminar, gatear, correr», hasta ahora. Sin embargo, dijo que los ejecutivos consideraron que las recomendaciones del chip de inferencia de primera generación fueron un «éxito enorme».