Растущая угроза «взлома» (jailbreaking) систем ИИ

В тревожном развитии событий жители даркнета начали формировать сообщества, посвященные искусству «взлома» генеративных систем ИИ. Эти злонамеренные группы делятся советами и приемами для обхода мер безопасности ИИ, а некоторые даже предлагают пользовательские системы для незаконных целей. Появление взлома ИИ вызвало тревогу в сообществе кибербезопасности из-за его потенциала для создания нецензурируемого контента без учета последствий.

Экспериментальная фаза взлома ИИ

Хотя взлом ИИ все еще находится на экспериментальной стадии, он представляет значительную угрозу. Он включает в себя эксплуатацию уязвимостей в системах промптов (подсказок) для чат-ботов ИИ, позволяя пользователям отправлять специальные команды, которые активируют режим без ограничений. В этом режиме ИИ игнорирует свои встроенные меры безопасности и руководства, позволяя ему отвечать без обычных ограничений.

Одной из основных проблем является безопасность больших языковых моделей (LLM), особенно общедоступных и моделей с открытым исходным кодом. Эти модели уязвимы для атак с внедрением промптов, которые могут привести к созданию вредоносных выводов. Эта новая угроза требует надежной защиты от манипуляций с ИИ.

Проблема уязвимостей при внедрении промптов

Николь Кариньян, вице-президент по стратегическому кибербезопасному ИИ в Darktrace, глобальной фирме по кибербезопасности на базе ИИ, выделила риски, связанные с уязвимостями при внедрении промптов. Злоумышленники могут эксплуатировать эти уязвимости, чтобы взять под контроль LLM, заставляя их создавать вредоносные выводы с помощью манипулятивных промптов. Эта неявная путаница между плоскостями управления и данными в LLM представляет собой значительную проблему кибербезопасности.

Потенциал для генерации неограниченного контента

Потенциальные возможности взлома ИИ и вызываемые им опасения огромны. Он позволяет генерировать контент с минимальным контролем, что является особенно тревожной перспективой с учетом текущей киберугрозы. Контент, созданный с помощью взломанных систем ИИ, может варьироваться от дезинформации до кибератак, что делает его вопросом острой обеспокоенности.

Хайп против реальности в оценке угрозы

Несмотря на шумиху вокруг взлома ИИ, некоторые эксперты остаются осторожными в отношении его реального воздействия. Шон Сурбер, старший директор по управлению техническими аккаунтами в Tanium, поставщик converged endpoint management, предполагает, что угроза может быть преувеличена. Он отмечает, что, хотя есть преимущества для носителей других языков и неопытных программистов, есть ограниченные доказательства того, что профессиональные киберпреступники получают значительное преимущество от ИИ.

Основная обеспокоенность Сурбера заключается в компрометации чат-ботов на базе ИИ на законных веб-сайтах, что представляет более непосредственную угрозу для потребителей. Истинный масштаб угрозы, создаваемой взломом ИИ, остается неясным, поскольку сообщество кибербезопасности продолжает оценивать потенциальные уязвимости.

Будущее ИИ в кибербезопасности

Появление взлома ИИ привело к повышенному вниманию к роли ИИ в кибербезопасности. Хотя угроза еще не полностью реализована, она привлекла внимание к необходимости надежной защиты от манипуляций с ИИ. Исследователи и организации активно изучают стратегии укрепления защиты чат-ботов от потенциальных эксплойтов.

Джеймс МакКигган, адвокат по безопасности в KnowBe4, поставщик обучения по повышению осведомленности о безопасности, подчеркивает важность сотрудничества в понимании и противодействии взлому ИИ. Онлайн-сообщества, посвященные исследованию полного потенциала ИИ, могут способствовать совместному экспериментированию и обмену знаниями, облегчая разработку контрмер.

Как работает взлом ИИ

МакКигган предоставляет информацию о механике взлома ИИ. Создавая специальные промпты, пользователи могут манипулировать чат-ботами ИИ, чтобы они предоставляли информацию или ответы, которые обычно были бы ограничены. Эти промпты позволяют извлекать ценные данные или инструкции из системы ИИ.

Злоумышленники также участвуют в создании пользовательских «языковых моделей» на основе взломанных версий популярных систем ИИ. Эти модели часто представляют собой переработанные итерации существующих моделей ИИ, таких как ChatGPT. Привлекательность для киберпреступников заключается в анонимности, предоставляемой этими интерфейсами, что позволяет им использовать возможности ИИ в незаконных целях, избегая обнаружения.

Защита систем ИИ и постоянная задача

По мере того как системы ИИ, такие как ChatGPT, продолжают развиваться, угроза обхода функций безопасности становится все более реальной. Ответственные инновации и усиленные меры защиты необходимы для смягчения этих рисков. Такие организации, как OpenAI, проактивно работают над улучшением безопасности ИИ, проводя упражнения «красной команды», внедряя контроль доступа и отслеживая вредоносную активность.

Общей целью является разработка чат-ботов ИИ, которые могут противостоять попыткам компрометации их безопасности, продолжая предоставлять ценные услуги пользователям. Сообщество кибербезопасности остается бдительным перед лицом эволюционирующих угроз, признавая, что полный масштаб воздействия взлома ИИ еще предстоит реализовать.