Исследованиеdentтревожный пробел в безопасности при внедрении генеративного искусственного интеллекта

82% руководителей высшего звена считают безопасный и заслуживающий доверия ИИ критически важным. Однако только 24% из них включают вопросы безопасности в свои инициативы, связанные с генеративным ИИ. Таковы результаты нового исследования IBM и Amazon Web Services, совместного исследования, представленного на конференции RSA Conference 2024, в котором подробно изложены результаты опроса руководителей высшего звена о том, как обеспечить безопасное использование ИИ, с особым акцентом на генеративный ИИ. IBM сообщает, что только 24% респондентовdentаспект безопасности в своих инициативах по генеративному ИИ, в то время как почти 70% говорят, что инновации важнее безопасности.

Компромисс между инновациями и безопасностью

Хотя большинство руководителей опасаются, что непредсказуемые риски повлияют на инициативы в области искусственного интеллекта, они не уделяют приоритетного внимания безопасности. Несмотря на то, что полноценная картина угроз для ИИ еще не сформировалась, некоторые примеры использования включают ChatGPT или аналогичные сервисы для генерации фишинговых скриптов для электронных писем и дипфейк-аудио. Исследователи безопасности IBM X-Force предупреждают, что, как и в случае с более зрелыми технологиями, системы ИИ все чаще будут становиться объектами атак в более крупных масштабах.

Хотя консолидированная поверхность угроз для ИИ только начинает формироваться, исследователи IBM X-Force предполагают, что по мере того, как отраслевой ландшафт будет созревать вокруг общих технологий и моделей внедрения, злоумышленники начнут более широко атаковать эти системы ИИ, говорится в отчете. Действительно, эта конвергенция уже происходит по мере быстрого созревания рынка, и уже появляются ведущие поставщики в области оборудования, программного обеспечения и услуг.

IBM говорится отчете, что наибольшую обеспокоенность вызывают компании, которые не обеспечивают надлежащую защиту создаваемых и используемых ими моделей ИИ. Неправильное применение инструментов GenAI может привести к ненадлежащему обращению с конфиденциальными данными или их утечке. Согласно отчету, использование «теневого ИИ» в организациях растет, поскольку сотрудники используют инструменты GenAI, которые не были одобрены и защищены группами корпоративной безопасности.

С этой целью в январе IBM анонсировала структуру обеспечения безопасности GenAI. Ее основные принципы включают централизацию данных, используемых для обучения моделей ИИ, защиту моделей с помощью сканирования конвейеров разработки на наличие уязвимостей, обеспечение соблюдения политик и контроля доступа к использованию ИИ, а также защиту от атак на основе работающих моделей ИИ.

Обеспечение безопасности конвейера ИИ

В понедельник команда IBM X-Force Red, специализирующаяся на наступательной безопасности, запустила сервис тестирования искусственного интеллекта, предназначенный для оценки приложений ИИ, моделей ИИ и конвейеров MLSecOps с помощью тестирования на проникновение. В среду на конференции RSA Conference 2024 компания IBM представит доклад «Инновации сейчас, безопасность потом? Решения, решения…», посвященный обеспечению безопасности и созданию системы управления для конвейера ИИ.

Вторым докладчиком был Райан Доэрти, программный директор по технологиям безопасности в IBM Security. В интервью изданию TechTarget Editorial он заявил, что обеспечение безопасности ИИ «сразу после установки» является одной из главных задач IBM Security в технологической сфере. Он сказал: «Именно это делает эту область такой важной, особенно в случае генеративного ИИ: он глубоко внедряется в бизнес-приложения и процессы. Интеграция в бизнес-инфраструктуру поднимает его на новый уровень, позволяя избежать потенциальных рисков и угроз».

По его словам, с точки зрения бизнеса, искусственный интеллект должен основываться на своей истинной природе.

«Генеративный ИИ обучается и внедряется в практику на основе огромных массивов конфиденциальных бизнес-данных, и нам необходимо обеспечить безопасность этих новых ценных ресурсов, потому что именно в них заключается конкурентное преимущество. Речь идет о данных, которыми располагают эти организации, и об аналитических выводах, которые они получают, используя генеративный ИИ и внедряя его в свои приложения для улучшения бизнеса»

Доэрти добавил, что они платят большие деньги за модели, которые очень дороги. В разработку и внедрение этих приложений генеративного ИИ вкладывается много интеллектуальной собственности и инвестиций, и предприятия просто не могут позволить себе обеспечить их безопасность.