Компания Meta тестирует свой собственный чип для обучения ИИ, который позволит ограничить зависимость от таких поставщиков, как Nvidia

По имеющимся данным, компания Meta тестирует свой первый чип для обучения искусственного интеллекта, предназначенный для обучения систем ИИ Meta и снижения зависимости компании от сторонних поставщиков, таких как Nvidia.

Ожидается также, что эта инициатива позволит сократить огромные расходы компании на инфраструктуру, поскольку, по данным источников, цитируемых Reuters, Meta планирует использовать собственные чипы к 2026 году.

Компания Meta сотрудничает с TSMC над этим проектом

Сообщается, что компания уже использует чип предыдущего поколения для обучения своих алгоритмов ранжирования и рекомендаций действий, но это будет первое его применение для обучения генеративных инструментов, таких как Meta AI.

Агентство Reuters сообщило, что компания Meta открыла новую вкладку для тестирования собственного чипа. Социальная сеть начала небольшое размещение чипа и планирует увеличить производство для широкого использования, если тестирование пройдет успешно.

Согласно сообщениям, компания Meta занимается обучением микросхем искусственного интеллекта, предназначенных для решения задач, специфичных для ИИ. Сообщается, что производство микросхемы осуществляется компанией TSMC, а тестирование началось после успешного завершения финального этапа технологического процесса перед началом производства полупроводникового продукта.

Компания Meta начала тестирование первого этапа "микросхемотехники" — важной вехи на пути к разработке микросхем, которая включает в себя отправку первоначального проекта на завод по производству микросхем.

По данным Reuters, типичная процедура подготовки тестового образца обходится в десятки миллионов долларов и занимает примерно от четверти до полугода, при этом нет гарантии, что тестирование пройдет успешно. В случае неудачи компании придется диагностировать проблему и повторить этап подготовки тестового образца.

Компания Meta рассматривает возможность разработки собственных чипов, чтобы уменьшить свою зависимость от оборудования Nvidia. Meta остается одним из крупнейших клиентов Nvidia и накопила коллекцию графических процессоров для обучения своих моделей, включая серию моделей Llama Foundation.

Аналитики в области ИИ выразили обеспокоенность и сомнения по поводу прогресса, которого можно достичь путем непрерывного масштабирования моделей LLM за счет добавления большего объема данных и вычислительных мощностей. Эти сомнения усилились, когда DeepSeek запустила свои модели по цене, значительно меньшей, чем у конкурентов.

О разработке собственных чипов Meta, получивших название Meta Training and Inference Accelerator, впервые стало известно в 2023 году. Они основаны на 7-нм техпроцессе и обеспечивают точность вычислений 102 Tops of Integer (8-бит) или 51,2 терафлопс точности вычислений FP16.

Эти микросхемы работают на частоте 800 мегагерц и имеют размеры примерно 370 миллиметров в квадрате.

Этот чип — последняя разработка в серии MTIA компании, и программа его создания на протяжении многих лет испытывала трудности, в какой-то момент даже отказавшись от чипа на аналогичной стадии разработки.

Компания Meta не достигла первоначальных целей, что задержало выпуск чипа

Первоначально планировалось, что Meta выпустит свои чипы в 2022 году, но от этого плана отказались после того, как он не оправдал внутренних ожиданий. Переход от центральных процессоров к графическим процессорам для обучения ИИ вынудил компанию перепроектировать свои центры обработки данных и отменить ряд проектов.

Однако в прошлом году компания Meta начала использовать чип MTIA для выполнения инференции, или процесса, связанного с работой системы искусственного интеллекта в процессе взаимодействия пользователей с ней, для систем рекомендаций, определяющих, какой контент отображается в новостных лентах Facebook и Instagram.

Согласно отчету, в феврале 2024 года компания планировала внедрить чип MTIA второго поколения.

Компания, которой также принадлежат Instagram и WhatsApp, прогнозирует общие расходы в размере от 114 до 119 миллиардов долларов, включая до 65 миллиардов долларов капитальных затрат, в основном за счет инвестиций в инфраструктуру искусственного интеллекта.

По сообщениям, руководители компании Meta заявили, что хотят начать использовать собственные чипы к 2026 году для обучения или ресурсоемкого процесса подачи в систему искусственного интеллекта огромных объемов данных, чтобы научить ее выполнять определенные задачи.

Как и в случае с чипом для вывода информации, цель создания обучающего чипа состоит в том, чтобы сначала использовать его для рекомендательных систем, а затем — для продуктов генеративного искусственного интеллекта, таких как чат-бот Meta AI, заявили руководители компании.

На конференции Morgan Stanley, посвященной технологиям, медиа и телекоммуникациям, состоявшейся на прошлой неделе, главный директор по продуктам Meta Крис Кокс заявил: «Мы работаем над тем, как проводить обучение для рекомендательных систем, а затем и над тем, как в конечном итоге организовать обучение и вывод результатов для генеративного ИИ».

Комментируя усилия Meta по разработке чипов, Кокс охарактеризовал их как «своего рода ситуацию, когда приходится то ходить, то ползти, то бегать». Однако он отметил, что руководители считают рекомендации по чипам для обработки данных первого поколения «огромным успехом»