Компания Protect AI, ведущий игрок в ИИ , представила свою новейшую разработку — Guardian. Это передовое решение позволяет организациям внедрять надежные политики безопасности для своих моделей машинного обучения, гарантируя, что вредоносный код не проникнет в их среду ИИ.
Созданная на основе инструмента с открытым исходным кодом ModelScan от Protect AI, система Guardian сочетает в себе возможности открытого исходного кода с собственными функциями сканирования, обеспечивая комплексную защиту моделей для предприятий.
Устранение рисков демократизации ИИ/машинного обучения
Демократизация искусственного интеллекта и машинного обучения привела к широкому распространению базовых моделей на таких платформах, как Hugging Face. Эти модели, которые ежемесячно скачивают миллионы пользователей, играют решающую роль в работе широкого спектра приложений искусственного интеллекта.
Однако такая доступность также привела к появлению уязвимостей в системе безопасности, поскольку открытый обмен файлами в этих репозиториях может непреднамеренно способствовать распространению вредоносного программного обеспечения среди пользователей.
Иэн Свансон, генеральный директор Protect AI, заявил: «Модели машинного обучения стали неотъемлемой частью инфраструктуры организации, однако им часто не хватает тщательной проверки на вирусы и вредоносный код, которую проходят другие типы файлов перед использованием».
Учитывая, что тысячи моделей скачиваются миллионы раз с таких платформ, как Hugging Face, каждый месяц, потенциал проникновения опасного кода значителен. Guardian позволяет клиентам восстановить контроль над безопасностью моделей с открытым исходным кодом
Guardian: Защита от атак сериализации моделей
Одним из критических рисков, связанных с открыто распространяемыми моделями машинного обучения, является атака сериализации моделей. Она происходит, когда вредоносный код внедряется в модель во время сериализации (сохранения) и до распространения, создавая современную версию троянского коня.
Внедренный в модель, этот скрытый вредоносный код может быть выполнен для кражи конфиденциальных данных, компрометацииdent, манипулирования данными и многого другого. Эти риски распространены в моделях, размещенных в крупных репозиториях, таких как Hugging Face.
Компания Protect AI ранее запустила ModelScan, инструмент с открытым исходным кодом, предназначенный для сканирования моделей ИИ/машинного обучения на предмет потенциальных атак, защищая системы от уязвимостей в цепочке поставок. С момента своего создания Protect AI использовала ModelScan для оценки более 400 000 моделей, размещенных на платформе Hugging Face,dentмодели с недостатками безопасности и постоянно обновляя эту базу знаний.
На сегодняшний день обнаружено более 3300 моделей, способных выполнять вредоносный код. Эти модели продолжают загружаться и развертываться в средах машинного обучения без надлежащих мер безопасности, позволяющих проверить их на наличие потенциальных рисков перед внедрением.
Guardian: Безопасный шлюз для разработки и развертывания моделей
В отличие от других альтернатив с открытым исходным кодом, Guardian от Protect AI представляет собой безопасный шлюз, устраняющий разрыв между процессами разработки и развертывания машинного обучения, которые зависят от таких платформ, как Hugging Face и других хранилищ моделей.
Компания Guardian использует собственные сканеры уязвимостей, включая специализированный сканер для уровней Keras Lambda, для упреждающей проверки моделей с открытым исходным кодом на наличие вредоносного кода, гарантируя использование безопасных, соответствующих политикам моделей в сетях организации.
Улучшенный контроль доступа и всесторонний анализ данных
Guardian предлагает расширенные функции контроля доступа и интуитивно понятные панели мониторинга, которые предоставляют командам безопасности полный контроль над моделям , а также исчерпывающую информацию об источнике моделей, их создателях и лицензировании. Такой уровень прозрачности гарантирует, что организации смогут принимать обоснованные решения о моделях, которые они интегрируют в свои среды искусственного интеллекта.
Кроме того, Guardian интегрируется с существующими системами безопасности и дополняет Radar от Protect AI, обеспечивая расширенный обзор угроз для ИИ и машинного обучения в организациях.
