Meta teste sa puce d'entraînement IA maison qui limitera la dépendance aux fournisseurs comme Nvidia

Meta testerait sa première puce d'entraînement IA, conçue pour entraîner les systèmes IA de Meta et réduire la dépendance de l'entreprise envers des fournisseurs tiers comme Nvidia.

L'initiative devrait également réduire la facture d'infrastructure colossale de l'entreprise, Meta visant à utiliser ses propres puces maison d'ici 2026, selon des sources citées par Reuters.

Meta travaille avec TSMC sur ce projet

On dit que l'entreprise utilise déjà une puce de génération précédente pour entraîner ses algorithmes de classement et d'action recommandée, mais ce serait sa première utilisation pour entraîner des outils génératifs comme Meta AI.

Reuters a rapporté que Meta a ouvert un nouvel onglet pour tester la puce maison. Le géant des réseaux sociaux a commencé un petit déploiement de la puce avec l'intention d'augmenter la production pour une utilisation à grande échelle si le test est concluant.

Les rapports indiquent que Meta entraîne des puces IA dédiées à la gestion de tâches spécifiques à l'IA. Elle aurait été fabriquée par TSMC, le déploiement de test suivant une tape-out réussie du processus final avant la fabrication d'un semi-conducteur.

Meta a commencé à tester sa première « tape-out » de la puce, une étape importante dans le travail de développement de silicium qui implique l'envoi d'une conception initiale dans une usine de puces.

Selon Reuters, une tape-out typique coûte des dizaines de millions de dollars et prend environ un trimestre à un semestre à compléter, sans garantie que le test réussira. Un échec obligerait une entreprise à diagnostiquer le problème et à répéter l'étape de tape-out.

Meta envisage de développer ses propres puces afin de réduire sa dépendance au matériel Nvidia. Meta est resté l'un des plus grands clients de Nvidia et a accumulé une collection de GPU pour entraîner ses modèles, y compris sa série de modèles de base Llama.

Les analystes en IA ont exprimé des préoccupations et des doutes quant aux progrès qui peuvent être obtenus en augmentant continuellement l'échelle des LLM en ajoutant plus de données et de puissance de calcul, des doutes qui ont été renforcés lorsque DeepSeek a lancé ses modèles à une fraction du coût encouru par ses pairs.

Signalé pour la première fois en développement en 2023, les puces maison de Meta, surnommées Meta Training and Inference Accelerator, sont basées sur des nœuds de 7 nm et offrent 102 Tops de précision de calcul en Entier (8 bits) ou 51,2 téraflops de précision de calcul en FP16.

Les puces fonctionnent à 800 mégahertz et mesurent environ 370 millimètres carrés.

Cette puce est la dernière de la série MTIA de l'entreprise, et le programme a connu un début hésitant depuis des années, ayant même abandonné une puce à une phase similaire du développement à un moment donné.

Meta a manqué ses objectifs initiaux, retardant le déploiement de la puce

Meta devait initialement déployer ses puces en 2022, mais a annulé le plan après qu'elles n'aient pas atteint les objectifs internes, le passage des CPU aux GPU pour l'entraînement de l'IA ayant forcé l'entreprise à redessiner ses centres de données et à annuler plusieurs projets.

Cependant, l'an dernier, Meta a commencé à utiliser une puce MTIA pour effectuer des inférences, c'est-à-dire le processus impliqué dans l'exécution d'un système d'IA lorsque les utilisateurs interagissent avec celui-ci, pour les systèmes de recommandation qui déterminent le contenu affiché dans les fils d'actualité de Facebook et Instagram.

En février 2024, selon le rapport, l'entreprise prévoyait de déployer la deuxième génération de la puce MTIA.

L'entreprise, qui possède également Instagram et WhatsApp, a prévu des dépenses totales de 114 à 119 milliards de dollars pour 2025, dont jusqu'à 65 milliards de dollars de dépenses en capital largement motivées par les investissements dans l'infrastructure IA.

Selon les rapports, les dirigeants de Meta souhaitent commencer à utiliser leurs propres puces d'ici 2026 pour l'entraînement, ou le processus intensif en calcul qui consiste à alimenter le système d'IA avec d'énormes quantités de données pour lui apprendre à effectuer des tâches.

Comme pour la puce d'inférence, l'objectif pour la puce d'entraînement est de commencer par les systèmes de recommandation, puis de l'utiliser plus tard pour les produits d'IA générative comme le chatbot Meta AI, ont déclaré les dirigeants.

Lors de la conférence Morgan Stanley sur les technologies, les médias et les télécommunications la semaine dernière, le directeur des produits de Meta, Chris Cox, a déclaré : « Nous travaillons sur la manière dont nous ferions l'entraînement pour les systèmes de recommandation, puis éventuellement sur la manière dont nous pensons à l'entraînement et à l'inférence pour l'IA générative. »

Commentant les efforts de développement de puces de Meta, Cox les a décrits comme « une situation de marche, ramper, courir », jusqu'à présent. Cependant, il a déclaré que les dirigeants considéraient les recommandations de la puce d'inférence de première génération comme un « énorme succès ».