AI 기반 딥페이크 누드 웹사이트 폐쇄를 위한 샌프란시스코 시 법무국 소송

샌프란시스코 시 법무국장 데이비드 추(David Chiu)는 AI를 활용해 여성과 소녀들의 비동의 딥페이크 누드 이미지를 생성하고 배포하는 16개 웹사이트에 대한 소송을 진행 중이라고 발표했습니다. 이는 AI 비동의 이미지 생성 및 유포에 대한 관심이 높아지는 가운데 이루어진 것입니다.

치우에 따르면 이 소송은 샌프란시스코에서 처음 있는 사례로, 웹사이트 운영자들이 딥페이크 포르노, 아동 포르노, 복수 포르노 자료를 금지하는 주 및 연방법과 캘리포니아주의 불공정 경쟁법을 위반했다고 비난합니다.

치우는 이러한 악습에 경각심을 높이고자 합니다.

뉴욕 타임스에 따르면, 이 이니셔티브는 차관 Yvonne Mere의 아이디어였으며, 그녀는 동료들을 모아 16개 웹사이트를 폐쇄하는 소송을 준비했습니다.

목요일 공개된 소송서 사본에서는 웹사이트 이름이 가려졌습니다.

주 검찰청은 아직 대부분의 웹사이트 소유자를 식별하지 못했다고 밝혔지만, 해당 사무소 관리들은 사이트 소유자의 신원을 밝혀 책임을 묻는 것에 대해 낙관적인 입장을 나타냈습니다.

목요일 기자회견에서 Chiu는 해당 사이트들이 동의 없는 '음란물'을 생산한다고 밝혔습니다. Chiu는 경각심을 높이고 이러한 형태의 '성적 학대'를 종식시키는 것 외에도 Chiu는 소송이 해당 웹사이트들도 폐쇄해야 한다고 암시했습니다.

"이 수사는 인터넷의 가장 어두운 구석으로 우리를 이끌었고, 이러한 착취를 견뎌야 했던 여성들과 소녀들을 생각하면 정말 충격적입니다."

치우.

해당 웹사이트에서는 사용자가 완전히 옷을 입은 실제 사람들의 사진을 업로드하고 AI를 사용하여 naked한 여성과 소녀들의 이미지를 생성합니다. 사이트의 AI 모델은 딥페이크를 만들기 위해 실제 포르노와 아동 학대 사진으로 학습되었습니다.

소송장에 명시된 바와 같이, 한 사이트는 이미지의 비동의적 성격을 홍보하며 주장합니다, “데이트를 위해 시간을 낭비하는 대신, [삭제된 웹사이트 이름]을 사용해 그녀의 누드를 얻을 수 있습니다.”

오픈 소스 AI 모델의 가용성과 접근성으로 인해 누구나 자신의 목적에 맞게 AI 기반 엔진에 접근하고 적응하기 쉬워졌습니다. 이로 인해 처음부터 딥페이크 naked 이미지를 생성하거나 기존 사진을 현실적으로 "nudify"할 수 있는 사이트와 앱이 생성되며, 종종 유료로 제공됩니다.

샌프란시스코만이 이러한 도전에 직면한 것은 아닙니다.

1월, 테일러 스위프트의 가짜 naked 사진이 온라인에서 viral 되면서 딥페이크 앱이 화제가 되었습니다. 스위프트 이전과 이후에 많은 다른, 그리고 훨씬 덜 유명한 사람들이 박해를 받았습니다.

치우는 "이러한 이미지의 확산이 전 세계의 유명인부터 중학생에 이르기까지 놀라운 수의 여성과 소녀들을 착취했다"고 인정했습니다.

시 검찰청의 자체 조사에 따르면, 이 웹사이트들은 올해 상반기 첫 6개월 동안 2억 회 이상 방문되었습니다. 검찰청은 이미지가 온라인에 올라가면 피해자가 자신의 사진을 "nudify"하는 데 사용된 웹사이트를 파악하기 어렵다는 우려를 표명했습니다.

그 이유는 이미지에 웹사이트를 다시 참조할 수 있는 고유하거나 식별 가능한 표시가 없기 때문입니다. 또한 피해자가 인터넷에서 사진을 제거하기 어렵다는 점은 그들의 자존감과 디지털 발자국에 영향을 미칩니다.

올해 초, 비버리 힐스의 중학교 2학년생 5명이 16명의 중학교 2학년 여학생들의 딥페이크 누드 이미지를 생성하고 공유했다는 이유로 퇴학당했습니다. 이들은 AI로 생성된 신체에 여학생들의 얼굴을 합성했습니다.

캘리포니아, 뉴저지, 워싱턴의 다른 학교들에서도 이미지가 여성과 소녀들을 모욕하고, 괴롭히며, 위협하는 데 사용된 유사한 사례들이 관찰되었습니다.

검찰청은 피해자에 대한 순 효과가 명성에 치명적이며, 정신 건강을 해치고, 자존감을 상실하며, 어떤 경우에는 개인이 자살에 이르게 한다고 밝혔습니다.