디스코드, AI가 무해한 이미지를 잘못 분류한 후 8,000명 계정 복구

디스코드는 실수로 정지한 8,000개 이상의 계정을 복구했습니다. 자동화된 모더레이션 시스템의 결함으로 인해 무해한 업로드가 불법 콘텐츠로 잘못 분류되었습니다. 시스템은 스프레드시트, 체스판, 게임 텍스처에서 오류를 범했습니다. 정지는 영구적이며 인간의 승인 없이 이루어졌습니다.

2026년 7월 7일 X에 지원 계정이 게시한 스레드에서 디스코드는 발생한 오류에 대해 상세히 설명했습니다.

사용자들은 5월부터 경고 신호를 접해 왔습니다. 디스코드 팀은 주말 동안 약 200개의 추가 계정이 감지된 후 문제를 식별하고 수정 프로그램을 배포했습니다. 동사는 현재 영향받은 모든 계정이 복구 중이라고 발표했습니다.

유사성 매칭이 스프레드시트와 격자를 분류

업로드된 모든 파일은 디스코드의 보안 도구로 이미 위험한 것으로 식별된 콘텐츠 데이터베이스와 비교됩니다. 동사는 이러한 비교의 기반이 되는 유사성 매칭이 오작동하여 거짓 양성(false positives)을 생성할 가능성이 있음을 인정합니다.

이론적으로, 계정에 패널티가 부과되기 전에 트러스트 앤 세이프티(Trust and Safety) 팀의 구성원이 시스템이 분류한 모든 내용을 검토해야 합니다.

그러나 이 단계는 버그로 인해 제거되었습니다. 시스템은 의심스러운 업로드를 검토자에게 보내는 대신 계정을 완전히 정지했습니다. 단순한 사진이 필터를 트리거하여 즉각적인 정지를 초래했습니다. 스프레드시트와 체스판 외에도 투명하고 흰색 및 회색 배경도 포착되었습니다.

디스코드가 설명을 제공하기 전에, 이 문제는 X와 레딧에서 불만으로 제기되었습니다. 사람들은 정사각형 격자 패턴이 포함된 사진을 게시했다는 이유만으로 계정이 정지당했다고 신고했습니다.

여러 사용자가 한 가설을 제시했습니다. 격자 모양의 레이아웃이 과거에 자동 스캐너로부터 NSFW 및 아동 착취 콘텐츠를 숨기는 데 사용되었기 때문에, 감지 모델이 격자 모양과 유사한 모든 것에 대해 민감하게 반응하게 되었을 수 있습니다.

“…우리는 이를 더 일찍 발견해야 했습니다. 다시는 이런 일이 발생하지 않도록 더 나은 안전 장치를 마련하는 데 노력하고 있습니다.”라고 디스코드는 X 스레드에서 작성했습니다.

이번 주말, 우리의 안전 시스템이 잘못 작동하여 약 200개의 계정을 정지했습니다. 영향받은 모든 사용자는 복원되었습니다.

일어난 일입니다. 스레드 🧵 https://t.co/wXH32iiv8I

— Discord Support (@discord_support) 7월 7일, 2026

동일한 정지가 메타와 틴더에 영향을 미침

7월 4일, JDBRYANT라는 핸들을 사용하는 한 게임 디렉터는 자동 모더레이션 시스템이 자신의 게임 텍스처를 아동 성학대로 해석하여 계정이 삭제되었다고 주장했습니다.

그가 업무 관련 소통에 사용하는 채널이 정지로 인해 차단되었습니다. 그는 정지 검토를 요청했다고 주장했습니다.

또 다른 사용자는 더 나아가 “…이 취약점은 즉시 수정되어야 하며, 모든 잘못된 정지는 취소되어야 합니다. 이와 같은 불공정한 이유로 디스코드 계정을 잃는 것은 매우 치명적이며 사용자에게 심각한 영향을 미칠 수 있으며, 매일 수백만 명의 사용자가 잘못된 AI 정지로 영향을 받고 있습니다. 이는 중단되어야 합니다.”라고 X에 글을 남겼습니다.

디스코드는 자체 통계에 따르면 매월 2억 2,000만 명의 고유한 사용자를 보유하고 있으며, 이는 크립토폴리탄이 2월에 인용한 바 있습니다.

지난해 인스타그램과 페이스북 그룹 사용자들도 자동화된 모더레이션 탓으로 돌리는 설명 없는 정지 물결을 보고했으며, 메타는 AI 오류가 원인인지 확인하지 않았습니다. 메타의 오버사이트 보드는 이후 동사에 더 많은 투명성을 요구해 왔습니다.

틴더도 명확한 이유 없이 대량 정지에 대한 유사한 불만을 접수했습니다.

크립토폴리탄이 2월에 보도한 바와 같이, 디스코드는 2026년 초 아동 보호를 중심으로 이러한 변경 사항을 설명하며 전역 연령 확인 및 10대 기본 설정을 rollout했습니다.