Новые чипы Blackwell от Nvidia сокращают время обучения ИИ

Новые чипы Blackwell от Nvidia меняют подход к обучению систем искусственного интеллекта.

В последнем раунде сравнительных тестов, опубликованных в среду некоммерческой организацией MLCommons, которая tracи сравнивает возможности чипов для искусственного интеллекта, архитектура Blackwell, разработанная Nvidia, установила рекорды.

При тестировании с использованием открытой модели Llama 3.1 405B от Meta, одной из самых больших и сложных моделей искусственного интеллекта, обучение было завершено всего за 27 минут с использованием чипов Blackwell. Это было достигнуто всего с 2496 графическими процессорами Blackwell, что на порядок меньше, чем потребовалось бы с предыдущими чипами Hopper от Nvidia.

В отличие от этого, в предыдущих разработках использовалось более чем в три раза больше графических процессоров Hopper для достижения эквивалентной производительности. По производительности чипа Blackwell оказался более чем в два раза быстрее, что представляло собой огромный скачок в эффективности сходимости. Такое повышение производительности может привести к значительной экономии времени и средств для организаций, обучающих модели с триллионами параметров.

Считается, что эти результаты являются первыми MLCommons для обучения моделей в таких экстремальных масштабах и дают реальное представление о том, насколько хорошо чипы справляются с самыми ресурсоемкими задачами в области искусственного интеллекта.

CoreWeave и Nvidia обеспечивают более интеллектуальное масштабирование ИИ

Результаты стали победой не только для Nvidia, но и подчеркнули работу CoreWeave, компании, занимающейся облачной инфраструктурой и участвовавшей в тестировании. На пресс-конференции главный директор по продуктам CoreWeave Четан Капур указал на общее направление, которое становится все более актуальным в отрасли: отказ от больших однородных блоков из десятков тысяч графических процессоров.

Вместо создания единой, массивной, монолитной вычислительной системы компании теперь рассматривают более мелкие, взаимосвязанные подмножества, которые могут более эффективно и масштабируемо обрабатывать большие объемы данных при обучении моделей.

Капур заявил, что с помощью такой техники разработчики могут продолжать масштабировать или сокращать время, необходимое для обучения чрезвычайно больших моделей с триллионами параметров.

Переход к модульному развертыванию оборудования также необходим, поскольку размер и сложность моделей ИИ постоянно растут.

Компания Blackwell выводит Nvidia в лидеры в области обучения моделей искусственного интеллекта

Хотя в последнее время акцент сместился на вывод результатов работы ИИ, когда такие модели, как ChatGPT1, отвечают на вопросы пользователей в режиме реального времени, обучение по-прежнему остается основным методом разработки ИИ.

Процесс обучения наделяет эти модели интеллектом, позволяя им понимать язык, решать самые сложные задачи и даже создавать прозу, похожую на человеческую. Вычисления требуют больших вычислительных мощностей и работы тысяч высокопроизводительных чипов в течение длительного времени, обычно дней, а то и недель или месяцев.

Ситуация изменилась с появлением архитектуры Blackwell от Nvidia. Радикально сократив количество чипов и время, необходимое для обучения гигантских моделей ИИ, чипы Blackwell дают Nvidia больше преимуществ на рынке, где скорость и эффективность играют решающую роль. 

Ранее для обучения моделей, таких как Llama 3.1 405B от Meta, имеющих триллионы параметров, приходилось использовать огромные кластеры графических процессоров, что представляло собой дорогостоящий и энергозатратный процесс. 

Такое повышение производительности является существенным преимуществом в условиях стремительного роста спроса на все более крупные и мощные модели искусственного интеллекта во многих отраслях — от здравоохранения и финансов до образования и беспилотных автомобилей.

Это также посылает четкий сигнал конкурентам Nvidia. Теперь компании-производители чипов, такие как AMD и Intel, работающие над своими специализированными чипами для искусственного интеллекта, испытывают еще большее давление, чтобы поддерживать аналогичный темп.

Компания AMD представила свои данные для бенчмарка MLCommons, но не показала результатов для такой крупной модели, как Llamas 3.1 405B. Nvidia оказалась единственной компанией, показавшей высокие результаты в этом бенчмарке, что доказывает превосходство её оборудования и готовность к решению самых сложных задач.