Графические процессоры NVIDIA H100 доминируют в бенчмарке MLPerf для генеративного ИИ

Графические процессоры NVIDIA H100 Tensor Core установили новый стандарт производительности генеративного ИИ в дебютном бенчмарке MLPerf. Бенчмарк показал, что графические процессоры H100 превзошли всех других конкурентов во всех восьми тестах, включая сложный тест для генеративного ИИ. Графические процессоры продемонстрировали свое превосходство как на уровне одного ускорителя, так и в масштабе в массивных серверах, обеспечивая лучшую производительность для больших языковых моделей (LLM), которые питают генеративный ИИ.

Непревзойденная масштабируемость и производительность в масштабе

Заметное достижение было зафиксировано на кластере из 3584 графических процессоров H100, совместно разработанном стартапом Inflection AI и управляемым облачным провайдером CoreWeave. Эта система завершила масштабный тренировочный бенчмарк на базе GPT-3 менее чем за одиннадцать минут. Технический директор CoreWeave Брайан Вентуро подчеркнул отличную производительность, которой пользуются их клиенты, благодаря тысячам графических процессоров H100 в их сетях InfiniBand с высокой скоростью и низкой задержкой.

Inflection AI использовала исключительную производительность графических процессоров H100 для создания своего продвинутого LLM, который питает ее первый персональный ИИ под названием Pi (personal intelligence). Компания планирует создавать персональные ИИ, с которыми пользователи смогут взаимодействовать простым и естественным образом. Мустафа Сулейман, генеральный директор Inflection AI, отметил, что каждый может сегодня испытать силу персонального ИИ на основе их передовой большой языковой модели, обученной на мощной сети графических процессоров H100 CoreWeave.

Бенчмарки MLPerf подтвердили исключительную производительность графических процессоров H100. Они достигли наивысшей производительности во всех бенчмарках, включая большие языковые модели, рекомендательные системы, компьютерное зрение, медицинскую визуализацию и распознавание речи. Графические процессоры H100 были единственными чипами, запустившими все восемь тестов, что продемонстрировало универсальность платформы NVIDIA AI.

Бенчмарки также продемонстрировали превосходство графических процессоров H100 при работе в масштабе. В каждом тесте MLPerf графические процессоры H100 установили новые рекорды производительности для обучения ИИ. Оптимизации на всех уровнях технологического стека обеспечили почти линейное масштабирование производительности, даже когда объем заявок увеличивался от сотен до тысяч графических процессоров H100. Облачная производительность CoreWeave отражала производительность, достигнутую суперкомпьютером NVIDIA AI в локальном дата-центре, что подчеркивает возможности сетей с низкой задержкой NVIDIA Quantum-2 InfiniBand.

Широкая экосистема и признание отрасли

MLPerf обновил свой бенчмарк для рекомендательных систем, и NVIDIA стала единственной компанией, представившей результаты по улучшенному бенчмарку. В этом раунде была продемонстрирована широкая экосистема NVIDIA AI с участием почти дюжины компаний, включая крупных производителей систем, таких как ASUS, Dell Technologies, GIGABYTE, Lenovo и QCT. Такой уровень участия успокаивает пользователей, подтверждая, что они могут ожидать отличной производительности от NVIDIA AI как в облаке, так и в собственных дата-центрах.

Приверженность NVIDIA производительности во всех рабочих нагрузках очевидна через ее участие в MLPerf. Бенчмарки охватывают различные рабочие нагрузки, включая компьютерное зрение, перевод и обучение с подкреплением, генеративный ИИ и рекомендательные системы. Пользователи могут полагаться на результаты MLPerf для принятия обоснованных решений о покупке, поскольку тесты прозрачны и объективны, поддерживаемые широкой группой лидеров отрасли.

Стимулирование энергоэффективности и доступности программного обеспечения

Также подчеркивалась важность энергоэффективности для производительности ИИ. Графические процессоры NVIDIA в ускоренных дата-центрах обеспечивают повышенную эффективность за счет использования меньшего количества серверных узлов, сокращения занимаемого места в стойке и потребления энергии. Ускоренные сети дополнительно повышают эффективность и производительность, в то время как постоянные оптимизации программного обеспечения приносят дополнительные преимущества на том же оборудовании. Энергоэффективная производительность не только приносит пользу окружающей среде, но и помогает организациям ускорить вывод продуктов на рынок и разрабатывать передовые приложения.

NVIDIA AI Enterprise, программный слой платформы NVIDIA AI, обеспечивает оптимизированную производительность на ведущей инфраструктуре ускоренных вычислений. Он предлагает поддержку корпоративного уровня, безопасность и надежность для запуска ИИ в корпоративных дата-центрах. Любой, кто заинтересован в использовании мощности технологии ИИ NVIDIA, может получить доступ к этим выдающимся результатам, поскольку программное обеспечение, использованное для бенчмарков MLPerf, доступно через репозиторий MLPerf.