Токсичный ИИ — реальность, и он получает награды за провокационность 

Большие языковые модели (LLM) становятся частью практически каждой отрасли. Разработка LLM для приложений обработки естественного языка включает множество этапов. Один из них — обеспечение того, чтобы LLM не генерировали опасные ответы или токсичный контент. Для решения этой проблемы разработчики используют человеческую красную команду, которая по сути представляет собой группу людей, создающих промпты, заставляющие LLM выдавать опасный вывод. 

Проблема с использованием человеческой красной команды заключается в том, что их найм дорог и требует много времени. Именно поэтому исследователи из MIT обнаружили новый метод тестирования приложений на базе больших языковых моделей (LLM) с использованием другой LLM. Этот подход называется «любопытство-управляемое тестирование красной командой» (CRT) и использует машинное обучение в качестве основы. Исследование было опубликовано в виде статьи на конференции ICLR 2024 и доступно онлайн.

Любопытно-управляемое тестирование красной командой (CRT) лучше

Поначалу подход к автоматизации работы человеческой красной команды осуществлялся путем создания модели красной команды и ее обучения с использованием обучения с подкреплением (RL). После тестирования модели красной команды результат оказался успешным, но с низким количеством эффективных результатов. 

Это означает, что целевая LLM не будет оценена точно, поскольку многие промпты, способные вызвать токсичный вывод, не были включены. Причина низкого количества эффективных результатов заключается в том, что модель красной команды обучается генерировать высоко токсичные и похожие друг на друга результаты. Система вознаграждений оценивает провокационные промпты на основе их эффективности или токсичности. Нет стимула учитывать каждый возможный промпт, который может спровоцировать целевую LLM. 

Использование любопытно-управляемого тестирования красной командой (CRT), с другой стороны, более мощное. CRT генерирует большое количество промптов, способных спровоцировать высокоинтеллектуальные модели. Это связано с тем, что CRT фокусируется на последствиях каждого промпта. Она стремится использовать разные слова и предложения, обеспечивая более широкое покрытие токсичного вывода. Система вознаграждений в модели обучения с подкреплением фокусируется на сходстве слов, в то время как модель CRT вознаграждается за избегание сходства и использование разных слов и паттернов. 

Тестирование LLaMA2 на наличие токсичного вывода

Исследователи применили любопытно-управляемое тестирование красной командой (CRT) к LLaMA2, модели LLM с открытым исходным кодом. CRT смогла сгенерировать 196 промптов, которые вызвали токсичный контент из этой модели с открытым исходным кодом. LLaMA2 была дообучена экспертами-людьми для предотвращения генерации вредоносного контента. Исследователи провели этот эксперимент с использованием GPT2, которая считается небольшой моделью с 137 миллионами параметров. Команда пришла к выводу, что CRT может стать критически важным компонентом в автоматизации работы красной команды. Код CRT доступен на github.

"Мы наблюдаем всплеск появления новых моделей, который, как ожидается, будет только расти. Представьте себе тысячи моделей или даже больше, и компании/лаборатории, часто выпускающие обновления моделей. Эти модели станут неотъемлемой частью нашей жизни, и важно, чтобы они проходили проверку перед выпуском для широкой публики. Ручная проверка моделей просто не масштабируется, и наша работа — это попытка сократить человеческие усилия для обеспечения более безопасного и надежного будущего искусственного интеллекта", — говорит Агравал.  

Будущее создания безопасных моделей LLM выглядит светлым. Благодаря непрерывным исследованиям цель создания безопасных LLM для любых целей может быть достигнута эффективно. Авторы этой статьи опубликовали другие связанные работы в областях автоматизированного тестирования красной командой и состязательных атак на языковые модели.