Тревожным событием стало появление в даркнете сообществ, посвященных искусству «взлома» систем генеративного искусственного интеллекта. Эти преступные группы делятся советами и приемами по обходу мер безопасности ИИ, а некоторые даже предлагают собственные системы для незаконных целей. Появление «взлома» ИИ вызвало тревогу в сообществе кибербезопасности из-за его потенциала в обеспечении создания контента без цензуры, практически без учета последствий.
Экспериментальная фаза взлома систем искусственного интеллекта
Хотя взлом ИИ всё ещё находится на экспериментальной стадии, он представляет собой серьёзную угрозу. Он предполагает использование уязвимостей в системах подсказок чат-ботов на основе ИИ, позволяя пользователям отдавать определённые команды, которые запускают неограниченный режим. В этом режиме ИИ игнорирует встроенные меры безопасности и правила, что позволяет ему отвечать без обычных ограничений.
Одна из главных проблем — безопасность больших языковых моделей (БЛМ), особенно общедоступных и с открытым исходным кодом. Эти модели подвержены уязвимостям быстрого внедрения кода и атакам, которые могут привести к вредоносным результатам. Эта новая угроза требует надежной защиты от манипуляций со стороны ИИ.
Проблема уязвимостей, связанных с мгновенной инъекцией
Николь Кариньян, вице-dent по стратегическому кибер-ИИ вtrac, глобальной компании, занимающейся кибербезопасностью с использованием ИИ, подчеркнула риски, связанные с уязвимостями внедрения подсказок. Злоумышленники могут использовать эти уязвимости для получения контроля над LLM-системами, заставляя их создавать вредоносные выходные данные путем разработки манипулятивных подсказок. Эта неявная путаница между плоскостями управления и данных в LLM-системах представляет собой серьезную проблему кибербезопасности.
Возможность неограниченного создания контента
Потенциальные области применения взлома ИИ-систем и связанные с этим опасения огромны. Он позволяет создавать контент с минимальным контролем, что особенно тревожно, учитывая нынешнюю ситуацию с киберугрозами. Контент, созданный с помощью взломанных ИИ-систем, может варьироваться от дезинформации до кибератак, что делает его предметом серьезной обеспокоенности.
Преувеличение против реальности при оценке угрозы
Несмотря на ажиотаж вокруг взлома систем искусственного интеллекта, некоторые эксперты по-прежнему с осторожностью оценивают его реальное влияние. Шон Сурбер, старший директор по техническому управлению учетными записями в Tanium, поставщике решений для управления конечными точками, предполагает, что угроза может быть преувеличена. Он отмечает, что, хотя существуют преимущества для тех, кто не владеет языком программирования на английском, и для неопытных программистов, имеется ограниченное количество доказательств того, что профессиональные киберпреступники получают существенное преимущество от использования ИИ.
Главная обеспокоенность Сурбера связана с взломом чат-ботов на основе ИИ на легитимных веб-сайтах, что представляет собой более непосредственную угрозу для потребителей. Истинный масштаб угрозы, исходящей от взлома ИИ, остается неясным, поскольку сообщество специалистов по кибербезопасности продолжает оценивать потенциальные уязвимости.
Будущее ИИ в кибербезопасности
Появление методов взлома ИИ (jailbreaking) привело к усилению внимания к роли ИИ в кибербезопасности. Хотя угроза, возможно, еще не полностью реализована, она привлекла внимание к необходимости надежной защиты от манипуляций с ИИ. Исследователи и организации активно изучают стратегии по защите чат-ботов от потенциальных уязвимостей.
Джеймс Маккуигган, специалист по повышению осведомленности в области безопасности в компании KnowBe4, занимающейся обучением в сфере информационной безопасности, подчеркивает важность сотрудничества в понимании и противодействии взлому ИИ. Онлайн-сообщества, посвященные изучению всего потенциала ИИ, могут способствовать совместным экспериментам и обмену знаниями, облегчая разработку контрмер.
Как работает взлом ИИ
Маккуигган раскрывает механику взлома систем искусственного интеллекта. Создавая специальные подсказки, пользователи могут манипулировать чат-ботами с ИИ, заставляя их предоставлять информацию или ответы, которые обычно были бы недоступны. Эти подсказки позволяютtracценные данные или инструкции из системы ИИ.
Злоумышленники также занимаются созданием собственных «языковых моделей» на основе взломанных версий популярных систем искусственного интеллекта. Эти модели часто представляют собой переработанные версии существующих моделей ИИ, таких как ChatGPT. Привлекательность этих интерфейсов для киберпреступников заключается в анонимности, которую они обеспечивают, позволяя использовать возможности ИИ в незаконных целях, избегая обнаружения.
Обеспечение безопасности систем искусственного интеллекта: постоянная проблема
По мере развития систем искусственного интеллекта, таких как ChatGPT, угроза обхода функций безопасности возрастает. Ответственные инновации и усиленные меры защиты необходимы для снижения этих рисков. Такие организации, как OpenAI, активно работают над улучшением безопасности ИИ, проводят учения «красной команды», обеспечивают контроль доступа и отслеживают вредоносную активность.
Главная цель — разработка чат-ботов на основе искусственного интеллекта, способных противостоять попыткам поставить под угрозу их безопасность, продолжая при этом предоставлять ценные услуги пользователям. Сообщество специалистов по кибербезопасности сохраняет бдительность перед лицом развивающихся угроз, понимая, что полный масштаб влияния взлома ИИ еще предстоит оценить.
