Исследование выявляет тревожный пробел в безопасности при развертывании генеративного ИИ

82% руководителей высшего звена считают, что безопасный и надежный ИИ имеет решающее значение. Однако только 24% из них внедряют безопасность в свои инициативы, связанные с GenAI. Это следует из новых исследований IBM и Amazon Web Services, совместное исследование которых было объявлено на RSA Conference 2024 и в котором подробно описаны результаты опроса, сосредоточенного на мнениях руководителей высшего звена относительно того, как обеспечить безопасное использование случаев ИИ, с большим акцентом на генеративный ИИ. IBM сообщает, что только 24% респондентов учитывали аспект безопасности в своих инициативах по генеративному ИИ, тогда как почти 70% говорят, что инновации имеют приоритет над безопасностью.

Компромисс между инновациями и безопасностью

Хотя большинство руководителей обеспокоены тем, что непредсказуемые риски повлияют на инициативы в области генеративного ИИ, они не ставят безопасность на первый план. Хотя полностью реализованная угроза ИИ еще не возникла, некоторые случаи использования включали использование ChatGPT или аналогичных инструментов для создания скриптов фишинговых писем и глубоких подделок аудио. Исследователи безопасности IBM X-Force предупредили, что, как и в случае с более зрелыми технологиями, от систем ИИ все чаще можно ожидать целенаправленных атак в более широких масштабах.

Хотя консолидированная поверхность угроз ИИ только начинает формироваться, исследователи IBM X-Force предполагают, что как только ландшафт отрасли созреет вокруг общих технологий и моделей обеспечения, злоумышленники начнут более широко нацеливаться на эти системы ИИ, говорится в отчете. Действительно, эта конвергенция уже underway по мере быстрого созревания рынка, и ведущие поставщики уже появляются в сфере оборудования, программного обеспечения и услуг.

Более непосредственно обеспокоенность вызывает то, что компании, которые не обеспечивают надлежащую защиту моделей ИИ, которые они создают и используют в рамках своего бизнеса, говорится в отчете IBM. Неверное применение инструментов GenAI может привести к неправильному обращению или утечке конфиденциальных данных. Согласно отчету, «теневой ИИ» увеличивает свое использование в организациях, поскольку сотрудники используют инструменты GenAI, которые не были одобрены и защищены командами корпоративной безопасности.

Для этого IBM анонсировала框架 для обеспечения безопасности GenAI в январе. Его основные принципы заключаются в централизации данных, используемых для обучения моделей ИИ, обеспечении безопасности моделей с помощью комбинации сканирования конвейеров разработки на наличие уязвимостей, обеспечения соблюдения политик и контроля доступа для использования ИИ, а также защиты его использования от атак на основе живых моделей ИИ.

Обеспечение безопасности конвейера ИИ

В понедельник команда offensive security IBM X-Force Red выпустила сервис тестирования на основе искусственного интеллекта, который стремится оценивать приложения ИИ, модели ИИ и конвейеры MLSecOps через red teaming. В среду на RSA Conference 2024 IBM представит «Innovate Now, Secure Later? Decisions, Decision…» о безопасности и установлении управления для конвейера ИИ.

Вторым спикером был Райан Дагерти, директор по программе безопасности технологий в IBM Security. Выступая перед TechTarget Editorial, он сказал, что обеспечение безопасности ИИ «из коробки» является одной из главных забот IBM Security в технологическом пространстве. Он сказал: «Именно это делает эту область столь критичной, особенно в случае генеративного ИИ: он глубоко внедряется в бизнес-приложения и процессы. Интеграция в бизнес-структуру выводит ее за пределы потенциальных рисков и угроз».

По его словам, с точки зрения бизнеса, ИИ должен иметь обоснование в своей реальной природе.

«Генеративный ИИ обучается и функционирует на огромных массивах чувствительных бизнес-данных, и нам нужно защитить эти новые коронные драгоценности, потому что именно там заключается конкурентное преимущество. Это связано с данными, которыми обладают эти организации, и инсайтами, которые они получают, используя генеративный ИИ и представляя их в своих приложениях для улучшения своего бизнеса»

Дагерти добавил, что они платят много денег за модели, которые очень дороги. Много интеллектуальной собственности и инвестиций вкладывается в внедрение этих приложений генеративного ИИ, и бизнес просто не может позволить себе не защищать их.