Развенчание четырех мифов об ИИ, машинном обучении и хранении данных для эффективной работы

Кёртис Андерсон, архитектор программного обеспечения в Panasas и сопредседатель рабочей группы по хранению данных MLCommons, недавно осветил важность хранения данных в искусственном интеллекте и машинном обучении (ИИ/МО). Он подчеркнул, что правильная инфраструктура хранения данных имеет решающее значение для эффективной работы приложений ИИ/МО. 

Растущее влияние ИИ/МО

ИИ/МО, по своей сути, — это распознавание паттернов. Оно может революционизировать бизнес-процессы, результаты деятельности предприятий и жизни людей. IDC прогнозирует, что мировой рынок ИИ, включающий программное обеспечение, оборудование и услуги, достигнет 900 миллиардов долларов к 2026 году, с темпом роста 18,6% в год с 2022 по 2026 год. 

По мере роста внедрения ИИ/МО команды ИТ-специалистов должны сосредоточиться на создании и управлении инфраструктурой, которая может поддерживать эти возможности и масштабироваться для будущего роста. Одним из часто недооцениваемых и неправильно понимаемых компонентов в этом процессе является инфраструктура хранения данных, необходимая для этих новых приложений.

Развенчание четырех распространенных мифов о хранении данных для ИИ/МО

Миф 1: ИИ/МО — это исключительно про GPU

Хотя GPU с высокой вычислительной мощностью сыграли ключевую роль в реализации приложений ИИ/МО и нейронных сетей, они не являются единственным критическим компонентом. Хранение данных и сети, обеспечивающие доступность данных для ускорителя, не менее важны. Выбор инфраструктуры хранения и сетей должен быть столь же тщательно продуман, как и выбор GPU. 

Миф 2: ИИ/МО требует высокопроизводительного флеш-накопителя с высоким показателем IOPs

Вопреки распространенному мнению, хранение данных для ИИ/МО — это не только скорость. Системы хранения с высоким показателем IOPs и флеш-памятью не всегда являются лучшим выбором. Производительность ускорителей и приложений ИИ/МО варьируется, и в некоторых случаях гибридная система может работать так же хорошо, как и решение на базе всех NVMe-накопителей, но при более низкой стоимости. Независимые бенчмарки, такие как MLPerf, могут помочь ИТ-командам найти оптимальный баланс между вычислительными ускорителями, рабочими нагрузками ИИ/МО и вариантами хранения.

Миф 3: Тиринг хранения сократит затраты на ИИ/МО

Хотя тиринг хранения является распространенной стратегией оптимизации ресурсов хранения и минимизации затрат, он не применим к приложениям ИИ/МО. В ИИ/МО все обучающие данные используются в каждом цикле обучения, что делает все данные «горячими». Следовательно, решения для хранения данных ИИ/МО должны обеспечивать постоянную доступность всех данных. Более того, точность рабочих нагрузок ИИ/МО улучшается с объемом обучающих данных, что требует инфраструктуры хранения, способной масштабироваться линейно по мере роста объемов данных.

Миф 4: ИИ/МО может использовать выделенную систему хранения для однократного использования

ИИ/МО наиболее ценен, когда применяется к основным данным организации. Для многих бизнеса ИИ/МО вышел за рамки экспериментального побочного проекта и стал неотъемлемой частью их операций. Следовательно, эти приложения должны быть консолидированы в основной ИТ-инфраструктуре и решении для хранения данных организации.

Ожидается, что инновации в области ИИ/МО приведут к значительным преобразованиям в масштабах предприятий, затронув практически каждый аспект организации. Согласно циклу хайпа Gartner, такие технологии, как периферийный ИИ, принятие решений на основе интеллекта и глубокое обучение, достигнут массового внедрения в течение следующих двух-пяти лет. По мере того как организации начинают свой путь в области ИИ/МО, выбор базовой инфраструктуры хранения данных будет играть ключевую роль в максимизации потенциала этих приложений.