Почему исследователи Карнеги-Меллон обманули ChatGPT, заставив его генерировать вредоносную информацию

Исследователи из Университета Карнеги-Меллон и Центра безопасности искусственного интеллекта обнаружили серьезную уязвимость безопасности в широко используемых чат-ботах, включая ChatGPT, Claude и Google Bard. Несмотря на усилия компаний по внедрению мер безопасности, исследователи нашли способ обойти эти защитные механизмы и заставить чат-боты генерировать вредоносную информацию. Последствия этого открытия вызвали опасения относительно потенциала этих чат-ботов заполнять интернет ложным и опасным контентом.

Растущая обеспокоенность

Компании искусственного интеллекта тратят месяцы на добавление защитных механизмов в свои чат-боты, чтобы предотвратить распространение разжигания ненависти, дезинформации и токсичного материала. Однако исследователи теперь продемонстрировали, что эти меры безопасности можно легко обойти, что привело к всплеску генерации вредоносной информации.

Используя технику, изученную на системах искусственного интеллекта с открытым исходным кодом, исследователи смогли воздействовать на строго контролируемые и широко используемые системы крупных компаний, таких как Google, OpenAI и Anthropic. Добавляя длинный суффикс символов к конкретным англоязычным запросам, можно было обмануть чат-боты, заставив их предоставлять вредоносную информацию, несмотря на отказ делать это без суффикса. Эта техника позволяет злоумышленникам принуждать чат-боты к генерации предвзятого, ложного и токсичного контента.

Последствия для индустрии

Выводы этого исследования подчеркивают хрупкость текущих механизмов защиты в чат-ботах на базе ИИ. Даже системы с закрытым исходным кодом, такие как ChatGPT и Google Bard, оказались уязвимыми к этой атаке, что указывает на острую необходимость в более сильных средствах защиты. Хотя затронутые компании были проинформированы о конкретных атаках, эксперты подчеркивают, что в настоящее время не существует известного способа предотвратить все подобные атаки, что делает ситуацию крайне сложной.

Решение Meta предложить свои технологии в качестве программного обеспечения с открытым исходным кодом вызвало критику и спровоцировало более широкую дискуссию о том, являются ли модели с открытым исходным кодом или проприетарные модели более полезными. сторонники утверждают, что модели с открытым исходным кодом позволяют решать проблемы коллективно и способствуют здоровой конкуренции, в то время как другие опасаются, что это может привести к распространению мощного, неконтролируемого ИИ.

Отсутствие очевидных решений

Эксперты по безопасности пытаются предотвратить подобные атаки на системы распознавания изображений почти десятилетие, но с ограниченным успехом. Те же самые проблемы теперь стоят перед чат-ботами, поскольку не существует очевидного безотказного решения для предотвращения всех возможных атак такого рода.

Компании, такие как Anthropic, OpenAI и Google, работают над поиском способов предотвратить подобные атаки и повысить устойчивость своих моделей к враждебному поведению. Однако, учитывая сложность проблемы, остается неясным, можно ли систематически предотвратить все случаи misuse технологии чат-ботов.

Обнаружение уязвимостей в широко используемых чат-ботах вызывает серьезные опасения относительно потенциального misuse технологии ИИ. Индустрия ИИ должна предпринять решительные шаги по укреплению защитных механизмов и улучшению мер безопасности, чтобы предотвратить распространение вредоносной информации. Хотя модели с открытым исходным кодом имеют свои преимущества, этот инцидент подчеркивает необходимость сбалансированного подхода для обеспечения ответственного и безопасного развертывания ИИ в приложениях, ориентированных на публику.