Meta testerait sa première puce d'entraînement en IA, qui est conçue pour former les systèmes d'IA de META et réduire la dépendance de l'entreprise à l'égard des fournisseurs tiers comme NVIDIA.
L'initiative devrait également réduire l'énorme facture d'infrastructure de l'entreprise, avec Meta visant à utiliser ses propres puces internes d'ici 2026, selon des sources citées par Reuters.
Meta travaille avec TSMC sur ce projet
La société utilise déjà une puce de génération précédente pour former son classement et ses algorithmes d'action recommandés, mais ce serait sa première utilisation pour former des outils génératifs comme Meta AI.
Reuters a rapporté que Meta avait ouvert un nouvel onglet pour tester la puce en interne. Le géant des médias sociaux a commencé un petit placement de la puce avec des plans pour augmenter la production pour une utilisation à grande échelle si le test se passe bien.
Les rapports indiquent que Meta entraîne des puces AI dédiées à la gestion des tâches spécifiques à l'IA. Il aurait été fabriqué par TSMC, avec le déploiement de test après une bande réussie du processus final avant la fabrication d'un semi-conducteur.
Meta a commencé à tester sa première « bande-out » de la puce, une étape importante pour les travaux de développement du silicium qui impliquent l'envoi d'une conception initiale via une usine de puces.
Selon Reuters, une bande typique coûte des dizaines de millions de dollars et prend environ un quart à un demi-an pour terminer, sans garantie que le test réussira. Un échec nécessiterait une entreprise pour diagnostiquer le problème et répéter l'étape de bande.
Meta a envisagé de développer ses propres puces afin de réduire sa dépendance au matériel NVIDIA. Meta est resté l'un des plus grands clients de Nvidia et a accumulé une collection de GPU pour former ses modèles, y compris sa série Llama Foundation Models.
Les analystes de l'IA ont exprimé des préoccupations et des doutes quant aux progrès qui peuvent être réalisés en élargissant en continu les LLM en ajoutant plus de données et de puissance de calcul, des doutes qui ont été renforcés lorsque Deepseek a lancé ses modèles à une fraction du coût engagé par ses pairs.
Se rapportant d'abord en développement en 2023, les puces internes de la méta surnommée l'accélérateur de formation et d'inférence Meta sont basées sur des nœuds 7 nm et fournissent 102 sommets de calcul de précision entier (8 bits) ou 51,2 terraflops de calcul de la précision FP16.
Les puces courent 800 mégahertz et mesurent environ 370 millimètres carrés.
Cette puce est la dernière de la série MTIA de l'entreprise et le programme a connu un début tremblant pendant des années et à un moment donné, a supprimé une puce à une phase de développement similaire.
Meta a manqué des cibles initiales, en retardant le déploiement de la puce
Meta devait à l'origine déployer ses puces en 2022, mais a annulé le plan après avoir échoué à atteindre les objectifs internes, avec le passage des CPU aux GPU pour une formation en IA forçant l'entreprise à repenser ses centres de données et à annuler plusieurs projets.
Cependant, Meta l'année dernière a commencé à utiliser une puce MTIA pour effectuer une inférence, ou le processus impliqué dans l'exécution d'un système d'IA lorsque les utilisateurs interagissent avec lui, pour les systèmes de recommandation qui déterminent quel contenu apparaît sur Facebook et Instagram News Filds.
En février 2024, selon le rapport, la société prévoyait de déployer la deuxième génération de la puce MTIA.
La société qui détient également Instagram et WhatsApp a prévu un total de 2025 dépenses de 114 milliards de dollars à 119 milliards de dollars, dont jusqu'à 65 milliards de dollars de dépenses en capital, largement provoqués par les dépenses en infrastructure d'IA.
Les Meta dirigeaient qu'ils souhaitent commencer l'utilisation de leurs propres puces d'ici 2026 pour la formation ou le processus à forte intensité de calcul pour alimenter les rames du système d'IA des données pour lui apprendre à effectuer.
Comme pour la puce d'inférence, l'objectif de la puce d'entraînement est de commencer avec des systèmes de recommandation et de l'utiliser plus tard pour des produits d'IA génératifs comme Chatbot Meta AI, ont indiqué les dirigeants.
Chris Cox, directeur des produits de Meta, a déclaré: «Nous travaillons sur la façon dont nous ferions une formation pour les systèmes de recommandation, puis finalement comment réfléchir à la formation et à l'inférence pour le général AI.»
Commentant les efforts de développement des puces de Meta, Cox les a décrits comme «une sorte de promenade, de rampe, de situation de course», jusqu'à présent. Cependant, il a déclaré que les dirigeants considéraient les recommandations des puces d'inférence de première génération comme un «énorme succès».
Votre nouvelle crypto mérite l'attention - la différence clé vous place sur plus de 250 sites supérieurs
