Amazon запускает чип ИИ, чтобы бросить вызов доминированию Nvidia и Google

На этой неделе Amazon выпустил свой новейший чип для обучения ИИ Trainium3, напрямую атакуя аппаратное доминирование Nvidia и Google.

Ускоритель уже работает в небольшой группе дата-центров AWS и станет доступен клиентам во вторник, согласно интервью с Дэйвом Брауном, вице-президентом Amazon Web Services. Дэйв сказал, что компания не собирается входить в этот рынок постепенно.

«Когда мы войдем в начало следующего года, мы начем очень, очень быстро масштабироваться», — сказал он. Цель проста. Продавать больше вычислительных мощностей напрямую из стоек Amazon, вместо того чтобы наблюдать, как разработчики направляют эти расходы в другие места.

AWS по-прежнему лидирует на мировом рынке облачных услуг по арендованным вычислениям и хранилищам. Это лидерство не перешло в чистую победу в крупномасштабном обучении ИИ. Некоторые разработчики опираются на Microsoft из-за ее связи с OpenAI.

Другие обращаются к Google и его собственным чипам. Теперь Amazon использует Trainium3, чтобы вернуть чувствительные к цене команды под свою крышу. Основное предложение — более низкая стоимость за единицу работы при сохранении всего внутри AWS.

Amazon продвигает Trainium3 в масштабах облака

Trainium3 появляется примерно через год после того, как Amazon развернул свою предыдущую версию. Такой темп находится на быстром конце стандартов чипов. Когда чип впервые запустился в августе, один инженер AWS пошутил: «Главное, на что мы надеемся здесь, — это просто не увидеть дыма или огня». Быстрый ритм обновлений также отражает публичный план Nvidia выпускать новый чип каждый год.

Amazon заявляет, что чипы Trainium выполняют тяжелые вычисления за моделями ИИ с меньшей стоимостью и лучшим энергопотреблением, чем топовые GPU Nvidia. Дэйв сказал: «Мы очень довольны нашей способностью обеспечивать правильное соотношение цены и производительности с Trainium». Компания делает большую ставку на этот ценовой аспект, поскольку размеры моделей растут, а счета за обучение продолжают расти.

Все еще есть ограничения. Чипы Amazon не имеют глубоких библиотек программного обеспечения, которые позволяют командам быстро работать на оборудовании Nvidia. Bedrock Robotics, которая использует ИИ для управления строительной техникой без участия человека, запускает свои основные системы на серверах AWS. Когда она обучает модели для управления экскаватором, она все еще использует чипы Nvidia. Кевин Петерсон, главный технологический директор Bedrock Robotics, сказал: «Нам нужна производительность и простота использования. Это Nvidia.”

Большая часть мощности Trainium сейчас направляется в Anthropic. Чипы работают в дата-центрах в Индиане, Миссисипи и Пенсильвании. Ранее в этом году AWS заявила, что подключила более 500 000 чипов Trainium для обучения новейших моделей Anthropic. Amazon планирует увеличить это число до 1 миллиона чипов к концу года.

Amazon связывает будущее Trainium с ростом Anthropic и своими собственными сервисами ИИ. Вне Anthropic компания пока назвала очень мало крупных клиентов. Это оставляет аналитиков с ограниченными данными для оценки того, насколько хорошо Trainium работает в более широком использовании.

Anthropic также распределяет свои риски вычислений. Она все еще использует тензорные процессорные блоки (TPU) Google и подписала в этом году сделку с Google, которая предоставляет доступ к вычислительной мощности на десятки миллиардов долларов.

Amazon представила Trainium3 во время re: Invent, своей ежегодной конференции для пользователей. Мероприятие превратилось в непрерывную демонстрацию инструментов ИИ и инфраструктуры, предназначенных для разработчиков, создающих новые модели, и компаний, готовых платить за доступ в масштабе.

Amazon выпускает обновления Nova и открывает Nova Forge

Во вторник Amazon также обновил свое основное семейство моделей ИИ, известное как Nova. Новая линейка Nova 2 включает версию под названием Omni.

Omni принимает текст, изображения, речь или видео в качестве входных данных. Она может отвечать как текстом, так и изображениями. Amazon продает комбинацию типов входных данных и стоимости модели в виде пакета, предназначенного для повседневного использования в масштабе.

Amazon продолжает оценивать свои модели вокруг производительности на доллар. Прошлые модели Nova не занимали верхних позиций в стандартных тестовых рейтингах, которые оценивают ответы на фиксированные вопросы. Компания делает ставку на реальное использование вместо тестовых графиков.

Рохит Прасад, который руководит большей частью работы Amazon над моделями и ее командой искусственного общего интеллекта (AGI), сказал: «Настоящий бенчмарк — это реальный мир», и добавил, что он ожидает, что новые модели будут конкурировать в реальных условиях.

Amazon также открывает более глубокий контроль над моделями для продвинутых пользователей через новый продукт под названием Nova Forge, который позволяет командам извлекать версии моделей Nova до завершения обучения и настраивать их с использованием собственных данных.

Reddit уже использует Nova Forge для создания модели, которая проверяет, нарушает ли пост правила безопасности. Крис Слоу, главный технологический директор Reddit, сказал, что многие пользователи ИИ обращаются к самой большой возможной модели для каждой задачи вместо обучения одной с узкой специализацией. «Факт, что мы можем сделать из нее эксперта в нашей конкретной области, — это то, откуда берется ценность», — сказал он.

Сейчас, когда Trainium3 активен в дата-центрах, а модели Nova обновлены одновременно, Amazon продвигается сразу по двум направлениям. Борьба за оборудование разворачивается против Nvidia. Продвижение моделей происходит против OpenAI, поддерживаемого Microsoft, и Google. Следующий этап теперь переходит в практическое использование клиентами в полном масштабе облака.