Чат-боты на основе ИИ уязвимы для атаки «Masterkey», предупреждают исследователи

В ходе прорывного открытия команда компьютерных ученых из Наньянского технологического университета (NTU) в Сингапуре представила метод обхода встроенных средств защиты в чат-ботах на основе ИИ. 

Процесс, неофициально называемый «взломом» (jailbreak), но официально известный как процесс «Masterkey», использует двухэтапный метод обучения, включающий несколько чат-ботов, включая ChatGPT, Google Bard и Microsoft Bing Chat.

Этот метод позволяет чат-ботам изучать модели друг друга и обходить ограничения на ответы на запрещенные или чувствительные темы. Исследовательская группа NTU подчеркнула потенциальные риски этой новой уязвимости и ее последствия для безопасности чат-ботов на основе ИИ.

Процесс Masterkey: Обратная инженерия и создание обхода

Под руководством профессора Лю Яна исследовательская группа NTU, состоящая из аспирантов Дэн Гэлэя и Лю И, успешно разработала метод атаки концепции доказательства, который эффективно подвергает чат-боты на основе ИИ «взлому» (jailbreaking). 

Процесс включает обратную инженерную разработку одной большой языковой модели (LLM), чтобы раскрыть ее механизмы защиты, обычно предотвращающие ответы на запросы или слова с насильственным, аморальным или злонамеренным намерением. Используя обратную инженерную разработку этой информации, команда может инструктировать другую LLM создать обход, позволяя второй модели выражать себя более свободно.

Названный процессом «Masterkey», этот подход утверждает свою потенциальную эффективность даже в том случае, если чат-боты LLM будут усилены дополнительными мерами безопасности или исправлены в будущем. Исследовательская группа утверждает, что их метод превосходит традиционные подходы на основе запросов, демонстрируя в три раза большую успешность при взломе чат-ботов LLM.

Чат-боты на основе ИИ: быстрая адаптация и обучение

Профессор Люй Ян, движущая сила процесса Masterkey, подчеркивает его значение в демонстрации адаптивности LLM чат-ботов на основе больших языковых моделей. Выводы команды бросают вызов идее о том, что чат-боты на основе ИИ могут стать «глупее» или «ленивее» со временем, как предполагали некоторые критики. Вместо этого процесс Masterkey демонстрирует их способность учиться и развиваться, что потенциально создает проблемы безопасности как для поставщиков чат-ботов, так и для пользователей.

С момента появления чат-ботов на основе ИИ, особенно с выходом ChatGPT от OpenAI в конце 2022 года, были предприняты усилия по обеспечению безопасности и инклюзивности этих услуг. Например, OpenAI внедрила предупреждения о безопасности в процессе регистрации для ChatGPT, признавая возможность непреднамеренных языковых ошибок. В то же время различные производные чат-боты позволили определенный уровень ругательств и оскорбительного языка, находя баланс между свободой пользователя и ответственным использованием.

Однако чат-боты на основе ИИ также привлекли внимание злоумышленников, при этом кампании по продвижению этих продуктов в социальных сетях часто сопровождаются вредоносными ссылками на изображения и другими формами кибератак. Эта темная сторона внедрения ИИ быстро стала очевидной, раскрывая потенциал использования ИИ в киберпреступлениях.

Раскрытие уязвимости: данные концепции доказательства от NTU

Исследовательская группа NTU проактивно связалась с поставщиками услуг чат-ботов на основе ИИ, участвовавшими в их исследовании, чтобы поделиться своими данными концепции доказательства. Они стремятся подчеркнуть реальность взлома чат-ботов, освещая потенциальные проблемы безопасности. 

В феврале команда намерена представить свои выводы на симпозиуме по безопасности сетевых и распределенных систем в Сан-Диего, где они подробнее расскажут о процессе Masterkey и его последствиях для ландшафта чат-ботов на основе ИИ.