Meta prueba su chip de entrenamiento de IA interno que limitará la dependencia de proveedores como Nvidia

Según se informa, Meta está probando su primer chip de entrenamiento de IA, que está diseñado para entrenar los sistemas de IA de Meta y reducir la dependencia de la empresa de proveedores externos como Nvidia.

También se espera que la iniciativa reduzca la enorme factura de infraestructura de la compañía, ya que Meta pretende utilizar sus propios chips internos para 2026, según fuentes citadas por Reuters.

Meta está trabajando con TSMC en este proyecto

Se dice que la compañía ya está utilizando un chip de generación anterior para entrenar sus algoritmos de clasificación y acciones recomendadas, pero este sería su primer uso para entrenar herramientas generativas como Meta AI.

Reuters informó que Meta ha abierto una nueva pestaña para probar el chip de fabricación propia. El gigante de las redes sociales ha comenzado una pequeña colocación del chip con planes de aumentar la producción para su uso a gran escala si la prueba resulta exitosa.

Los informes indican que Meta está entrenando chips de IA dedicados a tareas específicas de IA. Según se informa, ha sido fabricado por TSMC, y la prueba se realizó tras una exitosa finalización del proceso previo a la fabricación de un semiconductor.

Meta comenzó a probar su primerprototipodel chip, un hito importante en el desarrollo de semiconductores que implica enviar un diseño inicial a través de una fábrica de chips.

Según Reuters, una prueba típica cuesta decenas de millones de dólares y tarda aproximadamente entre un cuarto y medio año en completarse, sin garantía de éxito. En caso de fallo, la empresa tendría que diagnosticar el problema y repetir la prueba.

Meta ha estado estudiando la posibilidad de desarrollar sus propios chips para reducir su dependencia del hardware de Nvidia. Meta sigue siendo uno de los mayores clientes de Nvidia y ha acumulado una colección de GPU para entrenar sus modelos, incluyendo su serie de modelos básicos Llama.

Los analistas de IA han expresado inquietudes y dudas sobre el progreso que se puede lograr al ampliar continuamente los LLM agregando más datos y poder de cómputo, dudas que se reforzaron cuando DeepSeek lanzó sus modelos a una fracción del costo incurrido por sus pares.

Los chips internos de Meta, denominados Meta Training and Inference Accelerator, se informaron por primera vez en desarrollo en 2023 y se basan en nodos de 7 nm y brindan un cálculo con una precisión de 102 topes de enteros (8 bits) o 51,2 teraflops de cálculo con una precisión de FP16.

Los chips funcionan a 800 megahercios y tienen un tamaño de aproximadamente 370 milímetros cuadrados.

Este chip es el último de la serie MTIA de la compañía y el programa tuvo un comienzo inestable durante años y en un momento descartó un chip en una fase similar de desarrollo.

Meta no alcanzó los objetivos iniciales, lo que retrasó el lanzamiento del chip

Originalmente, se esperaba que Meta lanzara sus chips en 2022, pero descartó el plan después de que no cumpliera con los objetivos internos, y el cambio de CPU a GPU para el entrenamiento de IA obligó a la empresa a rediseñar sus centros de datos y cancelar múltiples proyectos.

Sin embargo, el año pasado Meta comenzó a utilizar un chip MTIA para realizar inferencias, o el proceso involucrado en ejecutar un sistema de IA a medida que los usuarios interactúan con él, para los sistemas de recomendación que determinan qué contenido aparece en los feeds de noticias de Facebook e Instagram.

En febrero de 2024, según el informe, la compañía planeaba implementar la segunda generación del chip MTIA.

La compañía, propietaria también de Instagram y WhatsApp, ha pronosticado gastos de entre 114.000 y 119.000 millones de dólares, incluidos hasta 65.000 millones de dólares en gastos de capital impulsados ​​en gran medida por el gasto en infraestructura de inteligencia artificial.

Según se informa, los ejecutivos de Meta dijeron que quieren comenzar a utilizar sus propios chips en 2026 para el entrenamiento o el proceso de uso intensivo de recursos informáticos de alimentar al sistema de IA con grandes cantidades de datos para enseñarle cómo funcionar.

Al igual que con el chip de inferencia, el objetivo del chip de entrenamiento es comenzar con sistemas de recomendación y luego usarlo para productos de IA generativa como el chatbot Meta AI, dijeron los ejecutivos.

En la conferencia de tecnología, medios y telecomunicaciones de Morgan Stanley la semana pasada, el director de producto de Meta, Chris Cox , dijo: "Estamos trabajando en cómo realizar el entrenamiento para sistemas de recomendación y luego, eventualmente, cómo pensar en el entrenamiento y la inferencia para la IA general".

Al comentar sobre los esfuerzos de desarrollo de chips de Meta, Cox los describió como, hasta el momento, una especie de "caminar, gatear y correr". Sin embargo, afirmó que los ejecutivos consideraron las recomendaciones del chip de inferencia de primera generación un "gran éxito"