Новые риски конфиденциальности в ИИ: проблема запоминания в языковых моделях

Прорывное исследование, в котором участвовали исследователи из Google DeepMind, Вашингтонского университета, Калифорнийского университета в Беркли и других организаций, выявило поразительную особенность больших языковых моделей, таких как ChatGPT: их способность запоминать и воспроизводить конкретные данные, на которых они обучались. Это явление, известное как «запоминание», вызывает серьезные опасения по поводу конфиденциальности, особенно учитывая, что эти модели часто обучаются на обширных и разнообразных текстовых данных, включая потенциально конфиденциальную информацию.

Понимание извлекаемого запоминания

Исследование, сосредоточенное на «извлекаемом запоминании», стремилось определить, могут ли внешние субъекты извлекать конкретные изученные данные из этих моделей без предварительного знания обучающего набора. Это запоминание — не просто теоретическая проблема; оно имеет реальные последствия для конфиденциальности.

Методология исследования и выводы

Исследователи использовали новаторскую методологию, генерируя обширные токены из различных моделей и сравнивая их с обучающими наборами данных, чтобы выявить случаи прямого запоминания. Они разработали уникальный метод для ChatGPT, известный как «атака расхождения» (divergence attack), где модель побуждают произносить слово до тех пор, пока она не начнет многократно отклоняться в сторону запомненных данных. Удивительно, но модели, включая ChatGPT, продемонстрировали значительное запоминание, воспроизводя фрагменты обучающих данных при определенных запросах.

Атака расхождения и ChatGPT

Для ChatGPT атака расхождения оказалась особенно показательной. Исследователи побудили модель повторять слово несколько раз, что заставило ее отклониться от стандартных ответов и выдать запомненные данные. Этот метод был практичным и тревожным с точки зрения последствий для конфиденциальности, так как он продемонстрировал возможность извлечения потенциально конфиденциальной информации.

Тревожное открытие исследования заключалось в том, что запомненные данные могли включать личную информацию, такую как адреса электронной почты и номера телефонов. Используя как регулярные выражения, так и запросы языковых моделей, исследователи оценили 15 000 генераций на наличие подстрок, напоминающих персональные данные (PII). Примерно 16,9% генераций содержали запомненные PII, из которых 85,8% были реальными PII, а не сгенерированным контентом.

Последствия для проектирования и использования языковых моделей

Эти выводы имеют большое значение для проектирования и применения языковых моделей. Текущие методы, даже те, которые используются в ChatGPT, могут быть недостаточными для предотвращения утечки данных. Исследование подчеркивает необходимость более надежных методов дедупликации обучающих данных и более глубокого понимания того, как емкость модели влияет на запоминание.

Основной метод заключался в генерации текста из различных моделей и проверке этих выходных данных на соответствие обучающим наборам данных соответствующих моделей на наличие признаков запоминания. Для эффективного сопоставления использовались суффиксные массивы, что позволяло быстро выполнять поиск подстрок в большом текстовом корпусе.

Более масштабные модели — более высокие риски запоминания

Выявилась заметная корреляция между размером модели и ее склонностью к запоминанию. Более крупные модели, такие как GPT-Neo, LLaMA и ChatGPT, показали более высокую вероятность выдачи запомненных обучающих данных, что предполагает прямую связь между емкостью модели и запоминанием.

Исследование освещает важный аспект разработки ИИ — обеспечение того, чтобы мощные модели уважали конфиденциальность пользователей. Это открывает новые направления для исследований и разработок, сосредоточенных на улучшении мер защиты конфиденциальности в моделях ИИ, особенно тех, которые используются в приложениях, чувствительных к конфиденциальности.

По мере развития ИИ это исследование проливает свет на важный аспект его разработки: необходимость усиления мер конфиденциальности в языковых моделях. Обнаружение способности ИИ запоминать и потенциально утекать конфиденциальной информацией требует немедленных действий в этой области, побуждая разработчиков и исследователей создавать модели, которые не только мощны, но и защищают конфиденциальность пользователей. Это исследование является значительным шагом к пониманию и смягчению рисков конфиденциальности, связанных с технологиями ИИ и машинного обучения.