Принятие ИИ обнажает новые угрозы кибербезопасности

Эксперт по кибербезопасности раскрыл, что ИИ является небезопасной угрозой кибербезопасности для корпораций, которые используют его как свою услугу, не только через выполнение атак преступниками, но и легитимно.

Киберуязвимости ИИ

Хотя угроза, исходящая от злоумышленников, использующих ИИ для атак, широко обсуждалась, Питер Гарраган, генеральный директор и технический директор Midgard, компании, специализирующейся на кибербезопасности для ИИ, говорит: «Проблема, о которой я думаю, — это угроза кибербезопасности для самого ИИ, и именно об этом идет речь».

Предсказуемо, наиболее распространенным и, следовательно, наиболее уязвимым способом использования ИИ компаниями являются чат-боты, служащие службой поддержки клиентов, тон и данные которых обычно адаптируются под организации, которые они представляют. Именно здесь доктор Гарраган, профессор информатики в Ланкастерском университете, специализирующийся на безопасности и системах ИИ, решил найти Mindgard в 2022 году. «ИИ — это не магия», — говорит он. Это просто комбинация дополнительного кода, данных и оборудования. Учитывая современные киберугрозы, все эти опасности могут проявляться и в ИИ.

Давайте подумаем об этом так: предположим, что злоумышленник использует процесс, известный как SQL-инъекция. Злоумышленник может использовать этот процесс для эксплуатации уязвимостей в полях веб-форм, таких как формы входа на сайт или контактные формы. Другой способ использования телепринтера — это инъекция промптов (prompt injection), которая применяется в публичных приложениях. Прежде всего, если безопасность не обеспечена должным образом, инструменты ИИ могут быть практически вынуждены раскрыть свой исходный код и инструкции, интеллектуальную собственность компании или данные клиентов. Во-вторых, инструменты ИИ могут быть обращены вспять (реверс-инжиниринг), как и другие программные приложения, для выявления уязвимостей.

Защита систем ИИ

Гарраган говорит о серьезности проблемы: «В предполагаемом будущем, через несколько лет, может возникнуть фактор национальной безопасности, или люди могут оказаться в опасности. Новые данные выглядят как предупреждение: бизнес должен остерегаться утечки данных».

Гарраган говорит: «Более того, ИИ может служить инструментом кибератаки, где он может утечь данные; модель сможет предоставить данные, которые вы любезно запросили». Приведя пример в январе, правая социальная медиа-платформа Gab искала руководства, которые случайно раскрыли их инструкции. Платформа на базе GPT OpenAI ранее также имела свои модели, используемые неправильно.

Гарраган утверждает, что информация может быть получена в результате несанкционированных атак VoIP. Кроме того, ИИ может быть обращен вспять, а система может быть обойдена или обманута для получения открытого доступа к другим системам. Таким образом, утечка информации может стать одной из основных проблем, затрагивающих все отрасли, включая те, которые ориентированы как на внешнюю, так и на внутреннюю аудиторию. Он также перечисляет другие риски, такие как обход модели (model evasion), когда модель вводится в заблуждение или намеренно обходится путем создания обманных данных.

Гарраган отметил, что вставка вредоносных команд или загрязнение данных неверно conceived решениями в аудиодорожках является еще одной угрозой. Кроме того, он отмечает, что общее кибервоздействие заключается в репутационном ущербе, который обычно возникает после кибератак. Аналогичным образом, области, наиболее подверженные негативным последствиям такого рода кибератак, — это те, где ставки наиболее высоки. Учитывая множество отраслей и учреждений, работающих онлайн, общественная безопасность и отсутствие утечки конфиденциальной информации, например, являются важными ценностями, которым должны отдавать приоритет секторы финансовых услуг и здравоохранения.

Гарраган говорит: «Связь здесь в том, что чем более структурированным и контролируемым вы являетесь в своей отрасли и чем больше рисков вы сталкиваетесь с ИИ (а также из опыта: чем меньше вы используете ИИ, тем меньше вы его внедряете), тем хуже ваш ИИ. Возможно, они не самые ленивые. Например, они могут просто проходить через самые серьезные этапы своей жизни».

Проактивные меры безопасности ИИ

ИИ будет заботиться об этих рисках в любой конкретной компании, хотя он говорит, что это потребует слоев безопасности (потому что ИИ в бизнесе уже нуждается в них) для защиты пользователей. «У вас уже есть инструменты кибербезопасности, специализирующиеся на разных секторах», — говорит Гарраган. «Это могут быть инструменты управления позицией безопасности, обнаружения, реагирования, брандмауэры и поддержка сдвига влево в дизайне, такие как сканирование кода. Вам скоро потребуется ИИ в соответствии с цифровой трансформацией». Жанр специализируется исключительно на ИИ и ML, тогда как системы, такие как нейронные сети, упоминаются лишь время от времени

Вам потребуется сканер приложений нейронных сетей, система реагирования на все типы нейронных сетей, тестирование безопасности и красные команды (red teaming) для лучшего контроля между приложениями, и вам потребуется система реагирования на все типы нейронных сетей. Их легче исправить и устранить на ранних этапах, чем проблемы во время выполнения (runtime). Однако лучшей практикой, которую мы рекомендуем организациям, использующим модели ИИ или приобретенные приложения и сервисы ИИ, является то, что до вывода в производство легче исправить все проблемы с моделями. Затем, после вывода в производство, могут быть выявлены только те проблемы, которые необходимо исправить.