Обнаружен недостаток безопасности в ChatGPT: обход фильтров на необычных языках

Недавнее исследование, проведенное исследователями из Университета Брауна, выявило потенциальный недостаток безопасности в популярном AI-чатботе ChatGPT. Исследование показывает, что пользователи, пытающиеся обойти фильтры безопасности и получить доступ к неприемлемому контенту, могут сделать это, переводя свои запросы на редко используемые языки, такие как шотландский гэльский или зулу. Последствия этого открытия вызывают опасения по поводу неконтролируемого распространения искусственного интеллекта и эффективности существующих мер безопасности.

Фильтры безопасности скомпрометированы

Фундаментальная роль фильтров безопасности в AI-чатботах заключается в предотвращении распространения вредоносного или незаконного контента. Без этих мер предосторожности чатботы, такие как ChatGPT, потенциально могут распространять опасную информацию, от теорий заговора до инструкций по созданию взрывных устройств. Разработчики обычно реализуют фильтры как для входных, так и для выходных действий, гарантируя, что AI отвечает appropriately и избегает участия в вредных обсуждениях.

Исследовательская группа Университета Брауна использовала Google Translate для преобразования запросов, которые обычно блокируются ChatGPT, на необычные языки. Последующий перевод ответов чатбота обратно на английский язык позволил команде достичь 79% успеха в обходе фильтров безопасности. В исследовании участвовал перевод 520 вредных запросов с английского на такие языки, как хмонг, гуарани, зулу и шотландский гэльский. Для сравнения, те же запросы на английском языке блокировались в 99% случаев.

Выбор языка имеет значение

Успех метода обхода зависит от использования крайне редких языков. Перевод запросов на более распространенные языки, такие как иврит, тайский или бенгальский, дал значительно менее эффективные результаты. Кроме того, ответы, генерируемые ChatGPT в таких ситуациях, могут быть бессмысленными, неверными или неполными из-за ошибок перевода или общих обучающих данных.

Исследователи утверждают, что эта уязвимость представляет риск не только для носителей языков с низким ресурсом, но и для всех пользователей больших языковых моделей (LLM). Они подчеркивают сдвиг риска от технологического неравенства, затрагивающего конкретных носителей языков, к более широкой угрозе, применимой ко всем пользователям. Доступность общедоступных API перевода дополнительно облегчает эксплуатацию уязвимостей безопасности в LLM.

Ответ OpenAI и будущие соображения

После публикации исследования OpenAI, владелец ChatGPT, признал выводы и выразил приверженность рассмотрению и устранению выявленного недостатка. Однако конкретные детали того, как и когда OpenAI внедрит изменения для усиления мер безопасности, остаются неопределенными. Срочность решения этой проблемы подчеркивается потенциальным злоупотреблением технологией AI в неправильных руках.

Раскрытие недостатка безопасности в ChatGPT, позволяющего пользователям обходить фильтры путем перевода на необычные языки, поднимает критические вопросы о неконтролируемом развертывании искусственного интеллекта. 79% успешность взлома или « jailbreaking » ChatGPT подчеркивает необходимость для разработчиков переоценить и усилить меры безопасности. Хотя недостаток не лишен ограничений, так как ответы могут быть бессмысленными или неверными, потенциальный вред остается присутствующим. По мере развития ландшафта AI ответственная разработка и развертывание технологий AI становятся необходимыми для защиты пользователей от потенциального злоупотребления и нарушений безопасности. Признание проблемы OpenAI сигнализирует о важном шаге в решении этих вопросов, подчеркивая постоянную ответственность разработчиков по смягчению рисков, связанных с достижениями в области AI.