Meta teste sa puce d'entraînement IA interne qui limitera sa dépendance à des fournisseurs comme Nvidia

Meta testerait actuellement sa première puce d'entraînement d'IA, conçue pour entraîner les systèmes d'IA de Meta et réduire la dépendance de l'entreprise vis-à-vis de fournisseurs tiers comme Nvidia.

Cette initiative devrait également permettre de réduire les coûts d'infrastructure considérables de l'entreprise, Meta visant à utiliser ses propres puces internes d'ici 2026, selon des sources citées par Reuters.

Meta travaille avec TSMC sur ce projet

L'entreprise utiliserait déjà une puce de génération précédente pour entraîner ses algorithmes de classement et de recommandation d'actions, mais ce serait la première fois qu'elle l'utiliserait pour entraîner des outils génératifs comme Meta AI.

Reuters a rapporté que Meta a lancé une nouvelle phase de test de sa puce interne. Le géant des réseaux sociaux a commencé un déploiement à petite échelle de la puce et prévoit d'augmenter la production pour une utilisation à grande échelle si les tests sont concluants.

Selon les informations disponibles, Meta entraîne des puces d'IA dédiées à la gestion de tâches spécifiques à l'IA. Ces puces auraient été fabriquées par TSMC, et le déploiement à titre expérimental fait suite à la validation de la dernière étape du processus de fabrication des semi-conducteurs.

Meta a commencé à tester sa première «ébauche» de la puce, une étape importante dans le travail de développement du silicium qui consiste à envoyer une conception initiale à travers une usine de puces.

Selon Reuters, une procédure de validation finale (tape-out) coûte généralement plusieurs dizaines de millions de dollars et prend environ trois à six mois, sans aucune garantie de succès. En cas d'échec, l'entreprise doit diagnostiquer le problème et recommencer la procédure.

Meta envisage de développer ses propres puces afin de réduire sa dépendance au matériel Nvidia. Meta demeure l'un des plus importants clients de Nvidia et possède un important parc de GPU pour l'entraînement de ses modèles, notamment sa série de modèles de base Llama.

Les analystes en IA ont exprimé des inquiétudes et des doutes quant aux progrès qui peuvent être réalisés en augmentant continuellement la taille des LLM par l'ajout de données et de puissance de calcul, doutes qui ont été renforcés lorsque DeepSeek a lancé ses modèles à un coût bien inférieur à celui de ses concurrents.

Signalées pour la première fois comme étant en développement en 2023, les puces internes de Meta, baptisées Meta Training and Inference Accelerator, sont basées sur des nœuds de 7 nm et fournissent 102 Tops de calcul de précision entière (8 bits) ou 51,2 téraflops de calcul de précision FP16.

Les puces fonctionnent à 800 mégahertz et mesurent environ 370 millimètres carrés.

Cette puce est la dernière de la série MTIA de la société, et le programme a connu des débuts difficiles pendant des années, allant même jusqu'à abandonner une puce à un stade de développement similaire.

Meta n'a pas atteint ses objectifs initiaux, ce qui a retardé le déploiement de la puce

Meta devait initialement commercialiser ses puces en 2022, mais a abandonné ce plan après avoir échoué à atteindre ses objectifs internes, le passage des CPU aux GPU pour l'entraînement de l'IA obligeant l'entreprise à repenser ses centres de données et à annuler plusieurs projets.

Cependant, Meta a commencé l'année dernière à utiliser une puce MTIA pour effectuer l'inférence, c'est-à-dire le processus impliqué dans l'exécution d'un système d'IA lorsque les utilisateurs interagissent avec lui, pour les systèmes de recommandation qui déterminent quel contenu apparaît dans les flux d'actualités de Facebook et d'Instagram.

Selon le rapport, l'entreprise prévoyait, en février 2024, de déployer la deuxième génération de la puce MTIA.

L'entreprise, qui possède également Instagram et WhatsApp, prévoit des dépenses de 114 à 119 milliards de dollars pour 2025, dont jusqu'à 65 milliards de dollars de dépenses d'investissement principalement consacrées à l'infrastructure d'IA.

Les dirigeants de Meta auraient déclaré vouloir commencer à utiliser leurs propres puces d'ici 2026 pour l'entraînement, c'est-à-dire le processus gourmand en ressources de calcul consistant à alimenter le système d'IA avec une quantité considérable de données afin de lui apprendre à fonctionner.

Comme pour la puce d'inférence, l'objectif de la puce d'entraînement est de commencer par les systèmes de recommandation et de l'utiliser ultérieurement pour des produits d'IA générative comme le chatbot Meta AI, ont déclaré les dirigeants.

directeur des produits chez Meta, Chris Cox, a déclaré : « Nous travaillons sur la manière dont nous procéderions à la formation des systèmes de recommandation, puis, à terme, sur la manière dont nous envisageons la formation et l'inférence pour l'IA générale. »

Commentant les efforts de Meta en matière de développement de puces, Cox les a décrits comme une progression « en dents de scie », jusqu'à présent. Il a toutefois précisé que les dirigeants considéraient les recommandations concernant la puce d'inférence de première génération comme un « immense succès »