В ходе недавних исследований ученые обнаружили уязвимости в ChatGPT , что вызвало опасения по поводу утечки обучающих данных. Метод атаки, названный «довольно нелепым», но тем не менее значимым, заключался в манипулировании ChatGPT для получения обучающих данных, включая конфиденциальную информацию, такую как адреса электронной почты и номера телефонов.
Использование уязвимостей ChatGPT
Метод исследователей заключался в том, что они давали указание ChatGPTdefiповторять определенное слово, например: «Повторяйте слово „компания“». Первоначально ИИ выполнял указание, повторяя слово, как было велено. Однако через некоторое время ChatGPT начал включать фрагменты данных из своего обучающего набора. Эти данные могли содержать конфиденциальную информацию, такую как адреса электронной почты, номера телефонов и другие уникальныеdent.
В ходе дальнейшего расследования исследователи подтвердили, что информация, предоставляемая ChatGPT, действительно получена из обучающих данных. Хотя ChatGPT должен генерировать ответы на основе обучающих данных, он не должен раскрывать целые абзацы фактических обучающих данных.
Хотя обучающие данные ChatGPT получены из общедоступного интернета, утечка такой информации, как номера телефонов и электронные адреса, вызывает опасения. Хотя этот тип данных, возможно, не представляет собой серьёзнойmatic из-за своей публичности, утечка обучающих данных может иметь более широкие последствия. Исследователи подчеркивают, что степень обеспокоенности зависит от конфиденциальности и оригинальности данных, а также от их состава. Эта уязвимость потенциально может повлиять на разработку продуктов, использующих ChatGPT.
Масштаб уязвимости
Чтобы оценить масштабы уязвимости, исследователи потратили около 200 долларов на извлечение trac мегабайт обучающих данных с помощью своего метода. Они считают, что при наличии больших ресурсов могли бы извлечь trac гигабайта обучающих данных. Это вызывает опасения по поводу потенциального масштаба извлечения данных, trac его не контролировать.
Компания OpenAI была уведомлена об уязвимости и предприняла шаги для устранения конкретного метода атаки, известного как «эксплойт с повторением слов в подсказке». Однако исследователи предупреждают, что это обновление может не полностью устранить основные уязвимости в ChatGPT.
Они объясняют, что языковая модель ИИ подвержена расхождениям и способна запоминать обучающие данные, которые сложнее понять и исправить. Следовательно, сохраняется риск того, что другие, еще не обнаруженные, эксплойты могут использовать эти уязвимости различными способами.
