Nvidia расширяет возможности графических процессоров для рабочих нагрузок искусственного интеллекта в Kubernetes

Nvidia, ведущий поставщик графических процессоров (GPU), расширяет поддержку Kubernetes, популярной платформы оркестровки облачных вычислений, для улучшения развертывания и управления рабочими нагрузками искусственного интеллекта (ИИ). В ходе недавнего выступления компания представила ряд инициатив по оптимизации использования GPU и управления ресурсами в средах Kubernetes.

Nvidia Picasso: Основа для развития искусственного интеллекта

В рамках важного шага компания Nvidia представила Nvidia Picasso, платформу для разработки генеративных моделей искусственного интеллекта, призванную упростить разработку и развертывание базовых моделей для задач компьютерного зрения. Созданная на базе Kubernetes, Nvidia Picasso поддерживает весь жизненный цикл разработки моделей, от обучения до вывода результатов. Эта инициатива подчеркивает стремление Nvidia к развитию инфраструктуры ИИ за счет использования Kubernetes и внесения вклада в облачную экосистему.

Компания Nvidia активно решает различные проблемы, связанные с запуском рабочих нагрузок ИИ в кластерах Kubernetes. Три основных направления работы, отмеченные руководителем инженерного отдела Санджаем Чаттерджи, включают размещение с учетом топологии, отказоустойчивость и многомерную оптимизацию.

Размещение с учетом топологии оптимизирует использование графических процессоров за счет минимизации расстояния между узлами и рабочими нагрузками ИИ в крупномасштабных кластерах, повышая заполняемость кластера и производительность. Отказоустойчивое планирование повышает надежность задач обучения, выявляя неисправные узлы на ранней стадии иmaticперенаправляя рабочие нагрузки на исправные узлы, что имеет решающее значение для предотвращения узких мест в производительности и потенциальных сбоев. 

Многомерная оптимизация уравновешивает потребности разработчиков с бизнес-целями, соображениями стоимости и требованиями к отказоустойчивости посредством настраиваемой структуры, которая принимает детерминированные решения с учетом глобальных ограничений внутри кластеров графических процессоров.

Динамическое распределение ресурсов (DRA): расширение возможностей разработчиков

Кевин Клуэс, ведущий инженер Nvidia, рассказал о динамическом распределении ресурсов (DRA), API Kubernetes, разработанном для предоставления сторонним разработчикам большего контроля над распределением ресурсов. На стадии альфа-тестирования DRA позволяет разработчикам напрямую выбирать и настраивать ресурсы, улучшая контроль над совместным использованием ресурсов между контейнерами и подами. Это значительное достижение дополняет усилия Nvidia по оптимизации использования графических процессоров и управлению ресурсами.

Новейшая разработка Nvidia — графический процессор B200 Blackwell — обещает удвоить мощность существующих графических процессоров для обучения моделей ИИ, благодаря встроенной аппаратной поддержке отказоустойчивости. Nvidia активно взаимодействует с сообществом Kubernetes, чтобы использовать эти достижения и эффективно решать проблемы масштабируемости графических процессоров. Сотрудничество компании с сообществом в разработке низкоуровневых механизмов управления ресурсами графических процессоров подчеркивает ее стремление повысить масштабируемость и эффективность рабочих нагрузок ИИ с ускорением на графических процессорах в Kubernetes.

Дальнейший путь

Поскольку Nvidia продолжает внедрять инновации и расширять возможности своих графических процессоров для сред Kubernetes, интеграция рабочих нагрузок ИИ с Kubernetes готова выйти на новый уровень. Хотя Kubernetes стал предпочтительной платформой для развертывания моделей ИИ, Nvidia признает, что еще многое предстоит сделать, чтобы раскрыть весь потенциал графических процессоров для ускорения рабочих нагрузок ИИ в Kubernetes. 

Благодаря постоянным усилиям как Nvidia, так и сообщества разработчиков облачных приложений, в будущем ожидаются многообещающие достижения в области развертывания и управления ИИ с ускорением на графических процессорах в средах Kubernetes.