- AI의 암기 위험: ChatGPT와 같은 모델은 학습 데이터를 기억할 수 있어 프라이버시 문제를 제기합니다.
- ChatGPT에 대한 발산 공격은 민감한 데이터 유출 가능성을 드러냅니다.
- 더 큰 AI 모델은 개인 정보를 암기하고 유출하려는 경향이 더 높습니다.
Google DeepMind, 워싱턴 대학교, UC 버클리 등 연구자들이 참여한 획기적인 연구는 ChatGPT와 같은 대규모 언어 모델의 놀라운 측면을 드러냈습니다. 바로 모델이 학습한 특정 데이터를 기억하고 복제하는 능력입니다. '기억(Memorization)'으로 알려진 이 현상은 민감한 정보를 포함할 수 있는 방대하고 다양한 텍스트 데이터로 학습하는 경우가 많기 때문에, 특히 심각한 프라이버시 우려를 제기합니다.
추출 가능한 기억 이해하기
'추출 가능한 기억(Extractable Memorization)'에 초점을 맞춘 이 연구는 외부 주체가 학습 세트에 대한 사전 지식 없이 이러한 모델에서 특정 학습 데이터를 추출할 수 있는지 여부를 규명하고자 했습니다. 이러한 기억은 단순히 이론적인 문제가 아니라 실제 프라이버시 영향력을 가집니다.
연구 방법론 및 발견
연구자들은 다양한 모델에서 광범위한 토큰을 생성하고 이를 학습 데이터셋과 비교하여 직접적인 기억 현상을 식별하는 새로운 방법론을 사용했습니다. 그들은 ChatGPT를 위한 '발산 공격(Divergence Attack)'이라는 고유한 방법을 개발했는데, 이는 모델이 기억된 데이터로 반복적으로 이탈할 때까지 단어를 말하도록 유도하는 방식입니다. 놀랍게도 ChatGPT를 포함한 모델들은 특정 프롬프트에 대해 학습 데이터의 일부를 그대로 재생하는 등 상당한 기억 현상을 보였습니다.
발산 공격과 ChatGPT
ChatGPT의 경우 발산 공격은 특히 통찰력 있는 결과를 보여주었습니다. 연구자들은 모델이 표준 응답에서 벗어나 기억된 데이터를 출력하도록 단어를 여러 번 반복하도록 프롬프트했습니다. 이 방법은 잠재적으로 민감한 정보를 추출할 수 있는 능력을 입증하여 프라이버시 관점에서 실용적이면서도 우려스러운 결과를 낳았습니다.
연구의 놀라운 발견은 기억된 데이터에 이메일 주소와 전화번호와 같은 개인 정보가 포함될 수 있다는 것이었습니다. 연구자들은 정규식과 언어 모델 프롬프트를 사용하여 개인식별정보(PII)와 유사한 하위 문자열을 찾기 위해 15,000개의 생성 결과를 평가했습니다. 생성 결과의 약 16.9%에 기억된 PII가 포함되어 있었으며, 그중 85.8%는 환각(Hallucination)이 아닌 실제 PII였습니다.
언어 모델 설계 및 사용에 대한 시사점
이러한 발견은 언어 모델의 설계와 적용에 중요한 시사점을 제공합니다. ChatGPT에서 사용되는 현재의 기술조차도 데이터 유출을 충분히 방지하지 못할 수 있습니다. 이 연구는 더 강력한 학습 데이터 중복 제거 방법과 모델 용량이 기억에 미치는 영향에 대한 더 깊은 이해의 필요성을 강조합니다.
핵심 방법은 다양한 모델에서 텍스트를 생성하고, 이러한 출력을 모델별 학습 데이터셋과 비교하여 기억 현상을 확인하는 것이었습니다. 접미사 배열(Suffix Arrays)이 효율적인 매칭을 위해 사용되어 대규모 텍스트 코퍼스 내에서 빠른 부분 문자열 검색을 가능하게 했습니다.
더 큰 모델, 더 큰 기억 리스크
모델의 크기와 기억 경향성 사이에는 주목할 만한 상관관계가 드러났습니다. GPT-Neo, LLaMA, ChatGPT와 같은 더 큰 모델들은 기억된 학습 데이터를 출력할 가능성이 더 높았으며, 이는 모델 용량과 기억 사이의 직접적인 관계를 시사합니다.
이 연구는 강력한 모델이 사용자 프라이버시를 존중하도록 보장하는 AI 개발의 중요한 측면을 조명합니다. 이는 특히 프라이버시에 민감한 애플리케이션에서 사용되는 AI 모델의 프라이버시 보호 장치를 강화하는 데 초점을 맞춘 연구 및 개발의 새로운 길을 열어줍니다.
AI가 계속 진화함에 따라, 이 연구는 언어 모델에서 강화된 프라이버시 조치의 필요성이라는 개발의 필수적인 측면을 조명합니다. AI가 민감한 정보를 기억하고 잠재적으로 유출할 수 있다는 사실은 즉각적인 행동을 촉구하며, 개발자와 연구자들에게 강력함뿐만 아니라 사용자 프라이버시를 보호하는 모델을 생성하도록 독려합니다. 이 연구는 AI 및 머신러닝 기술과 관련된 프라이버시 리스크를 이해하고 완화하기 위한 중요한 한 걸음입니다.
가장 똑똑한 암호화폐 전문가들이 이미 우리 뉴스레터를 구독하고 있습니다. 참여하고 싶으신가요? 함께하세요.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com 본 페이지에 제공된 정보를 바탕으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 투자 결정을 내리기 전에 반드시 독립적인 조사나 자격을 갖춘 전문가의 상담을 강력히 권장합니다.
존 팰머
John Murangiri는 시장 분석 기술을 갖춘 채 Cryptopolitan에 합류했습니다. John(별명 JP)은 나이로비 대학교에서 대중 매체 및 미디어 연구 학사 학위를 취득했으며, 이전에는 InsideBitcoins.com과 Metacoingraph에 암호화폐 시장 인사이트를 기여한 바 있습니다.
