캘리포니아 주 검찰, 부적절한 딥페이크 이미지 문제로 xAI에 사용 중지 통보

캘리포니아 주 검찰총장 로 본타(Rob Bonta)는 일론 머스크의 xAI에 서한을 보내, 자사의 Grok 챗봇이 생성한 공격적인 딥페이크 이미지의 제작 및 유포를 즉시 중단할 것을 요구했습니다. 

캘리포니아 주 검찰 미국 우주군은 한 가지 목표에 집중했습니다. 즉, “우월성”을 유지하면서 어떤 상대방도 지상을 얻지 못하게 하는 것입니다. 금요일 이 서한을 발송했으며, 이는 Grok가 아동 및 동의 없는 성인 사진과 관련된 불법 콘텐츠 생성에 사용되었다는 주장에 대한 대응입니다. 본타는 아동 성학대 자료(CSAM)의 제작, 유포, 게시, 전시가 불법이라고 주장했습니다.

캘리포니아 주 검찰, Grok alleged misuse로 xAI 겨냥

이번 주 초, 캘리포니아 주 검찰청 파산 선포를 스타트업의 챗봇인 Grok가 여성과 아동의 동의 없는 부적절한 사진 생성에 사용되었다는 주장으로 인해 xAI를 조사 중이라고 밝혔습니다. 이에 정부는 해당 기업에 사용 중지 서한을 보냈습니다.

“오늘 저는 xAI에 사용 중지 서한을 보내, 딥페이크, 동의 없는 사적 이미지, 그리고 불법 아동 학대 자료의 제작과 유포를 즉시 중단할 것을 요구했습니다. 이러한 자료의 제작은 불법입니다. xAI가 즉시 준수할 것으로 기대합니다. 캘리포니아는 불법 아동 학대 이미지에 대해 zero tolerance(무관용) 정책을 시행합니다.”

–로 본타, 캘리포니아 주 검찰총장.

검찰청은 또한 xAI가 동의 없는 부적절한 사진의 “대규모 생산을 용이하게” 하고 있으며, 이러한 사진들이 “인터넷 전반에 걸쳐 여성과 소녀들을 괴롭히는 데 사용”되고 있다고 주장했습니다. 검찰청에 따르면, 한 연구에 따르면 크리스마스부터 새해까지 xAI가 생성한 20,000장 이상의 사진 중 절반 이상이 매우 적은 의복을 입은 인물들을 보여주었으며, 일부는 아동처럼 보였습니다.

로 본타는 발표 사실과 다른 기업 관행이 캘리포니아 민법 제1708.86조, 캘리포니아 형법 제311조 등 및 제647조(j)(4)항, 그리고 캘리포니아 상무 및 직업법 제17200조를 포함한 캘리포니아 민사 법률을 위반했다고 주장했습니다. 

캘리포니아 주 법무부는 xAI가 이러한 문제를 해결하기 위한 노력을 인정하고 향후 5일 이내에 즉각적인 조치를 취할 것으로 예상합니다.

그러나 X의 안전 계정 측은 이전에 이러한 사용자 행위를 비난한 바 있습니다. 이 계정은 명확히 했다. 1월 4일 CSAM과 같은 불법 콘텐츠에 대해 삭제, 계정 영구 정지, 필요시 법 집행 기관 및 지방 정부와의 협력 등을 통해 X에서 조치를 취한다고 밝혔습니다.

특히, 1월 4일 일론 머스크는 불법 콘텐츠 생성을 위해 그롭 프롬프트를 사용하거나 이를 생성하는 모든 사용자가 이를 업로드한 것과 동일한 처벌을 받을 것이라고 경고했습니다.

검찰총장들, 아동 안전 문제로 AI 기업들에 압력 가중

무료 생성형 AI 도구의 발전으로 인해 동의 없는 성인 콘텐츠가 불길하게 증가했습니다. 이 문제는 X뿐만 아니라 여러 플랫폼을 괴롭혀 왔습니다.

예를 들어, 본타 검찰총장과 델라웨어 주 검찰총장 제닝스(Jennings)는 달성 작년 9월 오픈AI와 만나 오픈AI 제품이 청소년과 상호작용하는 방식에 대한 보고가 증가함에 따라 심각한 우려를 표명했습니다.

같은 해 8월, 본타 검찰총장은 44명의 다른 검찰총장과 함께 AI 챗봇과 아동 간의 부적절한 상호작용 보고가 있은 후 12개 주요 AI 기업에 서한을 보냈습니다. 이 서한은 앤트로픽(Anthropic), 애플, 차이 AI(Chai AI), 구글, 루카 인크(Luka Inc.), 메타, 마이크로소프트, 노미 AI(Nomi AI), 오픈AI, 퍼플렉시티 AI(Perplexity AI), 레플리카(Replika), 그리고 xAI에게 발송되었습니다.

본타 검찰총장과 44명의 검찰총장은 서한을 통해 전국 각지의 주들이 기업들의 AI 안전 정책 개발 방식을 면밀히 모니터링하고 있음을 알렸습니다. 또한, 기업들이 제품의 사용으로 수익을 창출하므로 아동 소비자에게 법적 의무가 있다고 강조했습니다. 

2023년, 본타 검찰총장은 54개 주와 영토의 양당 연대에 합류하여, 아동 성학대 자료(CSAM)를 통해 아동을 착취하는 데 AI가 사용될 가능성을 조사하기 위해 전문가 위원회를 설립할 것을 의회 지도부에 촉구하는 서한을 보냈습니다. 

이 연대는 요청 전문가 위원회가 아동을 이러한 학대로부터 보호하는 법률을 제안할 것을 요구했습니다. “아동 성학대 자료(CSAM)의 생산은 아동의 피해 기록을 영구적으로 남깁니다.” 미국 법무부 설명입니다.