Cerebras бросает вызов Nvidia, запуская сервис вывода ИИ

Cerebras Systems объявила во вторник о решении для вывода ИИ для разработчиков. По заявлениям компании, это гораздо более быстрое решение для вывода, в 20 раз быстрее, чем предложения Nvidia.

Cerebras предоставит доступ к своим большим чипам для запуска ИИ-приложений, которые, по словам компании, также дешевле, чем GPU Nvidia. Стандартные в отрасли GPU Nvidia часто используются через облачных провайдеров для запуска больших языковых моделей, таких как ChatGPT. Получить доступ обычно непросто для многих небольших фирм, и это дорого. 

Cerebras утверждает, что новые чипы могут обеспечить производительность, превышающую возможности GPU

Вывод ИИ (инференс) — это процесс работы с уже обученной ИИ-моделью для получения вывода, такого как ответы от чат-ботов и решение различных задач. Сервисы вывода являются основой современных ИИ-приложений, так как они полагаются на них для повседневных операций, чтобы обслуживать пользователей.

Cerebras заявила, что вывод является самым быстрорастущим сегментом отрасли ИИ, на который приходится 40% всех ИИ-нагрузок в облачных вычислениях. Генеральный директор Cerebras Эндрю Фельдман сказал, что чипы компании обеспечивают большую производительность, чем GPU. По его словам, GPU не могут достичь этого уровня. Фельдман говорил с Reuters в интервью.

Он добавил,

«Мы делаем это с максимальной точностью и предлагаем это по самой низкой цене». Источник: Reuters.

Генеральный директор сказал, что существующие сервисы вывода ИИ не удовлетворяют всех клиентов. Он сказал отдельной группе репортеров в Сан-Франциско, что компания «видит весь интерес» к более быстрым и экономичным решениям. 

До сих пор Nvidia доминировала на рынке ИИ-вычислений благодаря своим чипам золотого стандарта и среде программирования Compute Unified Device Architecture (CUDA). Это помогло Nvidia удержать разработчиков в своей экосистеме, предоставив обширный набор инструментов.

Чипы Cerbras имеют в 7000 раз больше памяти, чем Nvidia H100 GPU

Cerebras заявила, что ее высокоскоростной сервис вывода является поворотным моментом для отрасли ИИ. Новые чипы компании, размером с обеденные тарелки, называются Wafer Scale Engines. Они могут обрабатывать 1000 токенов в секунду, что, по словам компании, сопоставимо с появлением широкополосного интернета.

По словам компании, новые чипы обеспечивают разное количество вывода для различных ИИ-моделей. Для Llama 3.1 8B новые чипы могут обрабатывать до 1800 токенов в секунду, а для Llama 3.1 70B — 450 токенов в секунду.

Cerebras предлагает сервисы вывода по цене 10 центов за один миллион токенов, что меньше, чем у решений на базе GPU. Обычно альтернативные подходы компрометируют точность ради производительности, согласно отраслевым убеждениям, в то время как новые чипы Cerebras способны поддерживать точность, согласно заявлениям компании.

Cerebras заявила, что будет предлагать продукты вывода ИИ в различных формах. Компания планирует запустить сервис вывода через свое облако и ключ разработчика. Компания также будет продавать новые чипы клиентам дата-центров и тем, кто хочет управлять собственными системами.

Новые чипы Wafer Scale Engine имеют собственные интегрированные модули охлаждения и подачи питания и поставляются как часть системы дата-центра Cerebras под названием CS-3. Согласно различным отчетам, система Cerebras CS-3 является основой сервиса вывода (инференса) компании.

Система обладает в 7000 раз большей емкостью памяти, чем GPU Nvidia H100. Это также решает фундаментальную проблему пропускной способности памяти, над которой пытаются работать многие производители чипов.

Cerbras также работает над тем, чтобы стать публичной компанией. Для этого она подала конфиденциальный проспект эмиссии в Комиссию по ценным бумагам и биржам (SEC) в этом месяце.