Аппаратное обеспечение для генеративного ИИ обеспечивает доступность и эффективность

Инновации в аппаратном обеспечении для генеративного ИИ делают значительные шаги в сторону доступности, доступности по цене и эффективности, бросая вызов ограничениям, обусловленным экспоненциальным ростом размера больших языковых моделей (LLM). В ходе недавней панельной дискуссии лидеры отрасли поделились своими стратегиями решения этих насущных проблем.

Маршалл Чой, старший вице-президент по продуктам в SambaNova Systems, выделил критическую роль архитектуры памяти в снижении стоимости использования LLM. Поскольку LLM имеют количество параметров, достигающее миллиардов или триллионов, фокус сместился на память как на узкое место. SambaNova Systems приняла трехуровневую архитектуру памяти, решающую проблемы задержки, пропускной способности и емкости в единой системе. Этот инновационный подход направлен на экономическое масштабирование использования LLM, где эффективность памяти является ключевым фактором.

Демократизация больших моделей

Резкое увеличение размера LLM создает значительные проблемы с доступностью. Как только модель превышает триллион параметров, связанные с ней аппаратные и эксплуатационные расходы становятся непомерно высокими, ограничивая их использование узким кругом лиц. Чтобы сделать большие модели доступными для более широкой аудитории, SambaNova Systems представила новую концепцию, известную как «состав экспертов» (composition-of-experts).

Этот подход отличается от традиционной парадигмы «смеси экспертов» (mixture-of-experts), в которой сложные задачи предиктивного моделирования разбиваются на подзадачи. Вместо этого SambaNova обучает модели экспертов предметной области для обеспечения точности и релевантности задачам, собирая модель «состав экспертов» на триллион параметров. Эту модель можно постоянно обучать на новых данных без потери ранее полученных знаний, при этом минимизируя вычислительные задержки и снижая затраты на обучение, тонкую настройку и вывод результатов.

Эффективность через методы работы с моделями

Эффективность в аппаратном обеспечении для генеративного ИИ выходит за рамки самого оборудования; она распространяется на взаимосвязь между архитектурой модели и оборудованием, на котором она работает. Мэтт Маттина, вице-президент по аппаратному обеспечению и моделям ИИ в Tenstorrent, подчеркнул важность разрыва обратной связи, при которой архитектура модели формируется под оборудование, на котором она обучается.

Tenstorrent использует такие методы, как поиск архитектуры сети с учетом оборудования в цикле обучения, позволяя тренерам указывать оборудование для вывода во время обучения. Этот сдвиг парадигмы гарантирует, что модели адаптируются не для обучающей машины, а для конечной машины вывода, что приводит к созданию более эффективных моделей для практического использования.

Специализация на системном уровне

ИИ — это постоянно развивающаяся область, создающая проблемы в балансе между выделенными чипами и пользовательским кремнием с гибкостью системы. Джефф Виттич, главный продукт-офицер в Ampere Computing, предлагает точку зрения, отдающую предпочтение специализации на системном уровне. Он утверждает, что этот подход обеспечивает гибкость для комбинирования компонентов, создавая универсальные решения, способные адаптироваться к быстро меняющемуся ландшафту аппаратного обеспечения ИИ.

Традиционно создание и коммерциализация нового оборудования занимают несколько лет. Партнерство Ampere с компаниями, разрабатывающими различные ускорители для обучения и вывода, направлено на достижение правильного баланса. Ampere видит улучшение производительности и эффективности за счет сочетания универсальных процессоров общего назначения с ускорителями, специализированными для конкретных задач.

Преимущества интеграции и гибкость

Виттич подчеркивает важность интеграции, которая должна, в идеале, повышать производительность и эффективность без ущерба для гибкости. Слияние универсальных процессоров общего назначения со специализированными ускорителями рассматривается как перспективное направление. Со временем тесная интеграция этих ускорителей с процессорами, как ожидается, дополнительно оптимизирует рабочие нагрузки ИИ. Ключевой принцип остается неизменным: интеграция должна расширять возможности, не налагая ограничений.