Meta тестирует собственный чип для обучения ИИ, который ограничит зависимость от поставщиков, таких как Nvidia

Сообщается, что Meta тестирует свой первый чип для обучения ИИ, который предназначен для обучения систем ИИ Meta и снижения зависимости компании от сторонних поставщиков, таких как Nvidia.

Ожидается, что эта инициатива также снизит огромные инфраструктурные расходы компании, при этом Meta стремится использовать свои собственные внутренние чипы к 2026 году, согласно источникам, цитируемым Reuters.

Meta работает с TSMC над этим проектом

По слухам, компания уже использует чип предыдущего поколения для обучения алгоритмов ранжирования и рекомендаций, но это станет ее первым использованием для обучения генеративных инструментов, таких как Meta AI.

Reuters сообщил, что Meta открыла новую вкладку для тестирования собственного чипа. Социальная сеть начала небольшую поставку чипа с планами увеличить производство для широкого использования, если тест пройдет успешно.

Сообщается, что Meta обучает специализированные чипы для ИИ, предназначенные для выполнения задач, связанных с искусственным интеллектом. Их производство, по слухам, осуществляет TSMC, а тестовое развертывание следует после успешного выпуска финального процесса перед производством полупроводника.

Meta начала тестирование своего первого «tape-out» чипа, что является значительным этапом в работе по разработке кремния, включающим отправку первоначального дизайна на чип-фабрику.

По данным Reuters, типичный выпуск (tape-out) стоит десятки миллионов долларов и занимает от трех до шести месяцев, при этом успех тестирования не гарантирован. В случае неудачи компании придется диагностировать проблему и повторить этап выпуска.

Meta рассматривала возможность разработки собственных чипов, чтобы снизить свою зависимость от оборудования Nvidia. Meta оставалась одним из крупнейших клиентов Nvidia и накопила коллекцию GPU для обучения своих моделей, включая серию базовых моделей Llama.

Аналитики в области ИИ выразили обеспокоенность и сомнения относительно прогресса, которого можно достичь за счет постоянного масштабирования больших языковых моделей (LLM) путем добавления большего объема данных и вычислительных мощностей; эти сомнения усилились после запуска DeepSeek своих моделей по значительно более низкой стоимости по сравнению с конкурентами.

Первоначально сообщалось о разработке в 2023 году, внутренние чипы Meta под названием Meta Training and Inference Accelerator (MTIA) основаны на 7-нанометровых узлах и обеспечивают вычисления с точностью Integer (8-бит) на уровне 102 Tops или вычисления с точностью FP16 на уровне 51,2 терафлопс.

Чипы работают на частоте 800 мегагерц и имеют площадь около 370 квадратных миллиметров.

Этот чип является новейшим в серии MTIA компании, и программа имела шаткое начало на протяжении многих лет, и в какой-то момент чип на аналогичной стадии разработки был отменен.

Meta не достигла первоначальных целей, отложив выпуск чипа

Ожидается, что Meta изначально выпустит свои чипы в 2022 году, но отменила план после того, как они не соответствовали внутренним требованиям, а переход от ЦП к ГП для обучения ИИ вынудил компанию перепроектировать свои центры обработки данных и отменить несколько проектов.

Однако в прошлом году Meta начала использовать чип MTIA для выполнения инференса, то есть процесса, связанного с работой ИИ-системы при взаимодействии пользователей с ней, для систем рекомендаций, которые определяют, какой контент появляется в лентах новостей Facebook и Instagram.

В феврале 2024 года, согласно отчету, компания планировала развернуть чип MTIA второго поколения.

Компания, которой также принадлежат Instagram и WhatsApp, прогнозирует общие расходы 2025 года на уровне от 114 до 119 млрд долларов, включая до 65 млрд долларов на капитальные затраты, в основном обусловленные расходами на инфраструктуру искусственного интеллекта.

По сообщениям, руководители Meta хотят начать использование собственных чипов для обучения к 2026 году, то есть для ресурсоемкого процесса подачи огромных объемов данных в ИИ-систему, чтобы научить ее выполнять задачи.

Как и в случае с чипом инференса, цель для чипа обучения заключается в том, чтобы начать с систем рекомендаций, а затем использовать его для продуктов генеративного ИИ, таких как чат-бот Meta AI, заявили руководители.

На конференции Morgan Stanley по технологиям, медиа и телекоммуникациям на прошлой неделе главный продукт-офицер Meta Крис Кокс сказал: «Мы работаем над тем, как мы будем проводить обучение для рекомендательных систем, а затем, в конечном итоге, как мы будем думать об обучении и выводе для генеративного ИИ».

Комментируя усилия Meta по разработке чипов, Кокс охарактеризовал их как «ситуацию, когда сначала ходят, потом ползают, а затем бегут», по крайней мере на данный момент. Однако он сказал, что руководители сочли рекомендации по чипу инференса первого поколения «огромным успехом».