구글, 오픈AI, 로블록스, 디스코드가 사회에 도움이 되는 공동의 목표를 위해 힘을 합쳐 최근 온라인 아동 안전 개선을 위한 새로운 비영리 단체를 설립했습니다.
이 계획은 ROOST(Robust Open Online Safety Tools)라고 불리며, 기업들이 핵심 안전 기술에 더 쉽게 접근할 수 있도록 지원하는 동시에 아동 성학대 자료를dent, 검토 및 신고하는 데 사용할 수 있는 무료 오픈 소스 AI 도구를 제공하는 것을 목표로 합니다.
아동 성희롱은 전 세계적인 전염병과도 같으며, 이를 근절하려는 노력에도 불구하고 온라인 공간에서 계속해서 만연하고 있습니다. 최근 많은 앱 사용자들과 심지어 국회의원들까지도 메타(Meta)의 창립자인 마크 저커버그와 같은 앱 개발자들이 자사 제품이 초래하는 피해, 특히 아동 포르노 및 성학대와 관련된 피해에 대해 책임을 져야 한다고 주장하고 있습니다.
이 계획은 매우 중요한 필요성을 해결합니다
이번 공동 이니셔티브는 생성형 AI의 발전이 온라인 환경에 가져온 변화에 대한 대응책의 일환으로 추진되고 있습니다. ROOST 파트너이자 전 구글 CEO인 에릭 슈미트는 이 이니셔티브가 "온라인 아동 안전 분야의 혁신을 가속화해야 하는 중요한 필요성"을 해결하고자 한다고 밝혔습니다.
현재로서는 아동 성착취물(CSAM) 탐지 도구에 대한 자세한 정보는 아직 완전히 공개. 하지만 이 도구들은 대규모 언어 AI 모델을 활용하고 기존 콘텐츠 처리 방식을 통합할 것이라는 점은 알려져 있습니다.
슈미트는 "아동 보호에 중점을 둔 플랫폼을 시작으로, ROOST의 협력적이고 개방형 소스 접근 방식은 혁신을 촉진하고 필수 인프라를 더욱 투명하고 접근 가능하며 포용적으로 만들어 모두를 위한 더 안전한 인터넷을 만드는 것을 목표로 한다"고 밝혔습니다.
앞서 언급했듯이, ROOST 발표는 소셜 미디어 및 온라인 플랫폼에서의 아동 안전에 대한 규제 강화 움직임과 맞물려 있습니다. 기업들은 이러한 자율 규제 제안을 통해 규제 강화에 나선 입법자들을 달래려 하고 있습니다.
ROOST는 목표 달성을 위해 선도적인 AI 기반 모델 개발업체들과 협력할 것입니다
미국 실종아동착취방지센터(NCMEC)에 따르면, 아동 착취 의심 사례는 2022년과 2023년 사이에 12% 증가했습니다. 2020년 기준으로 미국 아동의 절반 이상이 로 블록스를 이용했으며, 로블록스는 아동 성 착취 및 부적절한 콘텐츠 노출 문제를 제대로 해결하지 못했다는 이유로 여러 차례 거센 비판을 받아왔습니다.
ROOST의 창립 멤버들은 보유한 모든 자원을 활용하여 프로젝트가 구체화됨에 따라 자금 지원, 도구 제공, 전문 지식 공유 등 다양한 방식으로 지원할 예정입니다. 또한, 콘텐츠 보호를 위한 "실무 공동체" 구축을 위해 주요 AI 기반 모델 개발자들과 협력할 것이라고 밝혔습니다. 여기에는 검증된 AI 학습 데이터셋 제공 및 안전성 취약점dent포함됩니다.
이 계획은 또한 "이미 존재하는 도구"에 대한 접근성을 높여, 회원사들이 보유한 다양한 탐지 및 보고 기술을 통합 솔루션으로 효과적으로 결합하여 다른 기업들이 더 쉽게 구현할 수 있도록 할 것입니다.
Roblox와 Discord, 이미지 쇄신을 위해 노력 중
함께 로블록스와 디스코드 역시 2022년에 제기된 소셜 미디어 소송의 대상이 되었는데, 당시 소송에서는 해당 플랫폼들이 감독 없이 성인이 아동에게 메시지를 보내는 것을 막기 위한 조치를 취하지 않았다고 주장했습니다.
로블록스의 엔지니어링, 신뢰 및 안전 담당dent 인 나렌 코네루는 ROOST가 기업들이 API 호출을 통해 통합할 수 있는 AI 콘텐츠 검열 시스템을 호스팅할 수 있다고 밝혔습니다. 그러나 ROOST의 AI 검열 도구가 구체적으로 어떤 부분을 다룰지는 아직 불분명합니다.
예를 들어, 디스코드는 2023년에 메타, 구글과 함께 참여한 크로스 플랫폼 정보 공유 프로젝트인 랜턴(Lantern)을 기반으로 기여할 것이라고 밝혔습니다. 하지만 로블록스가 올해 오픈소스로 공개할 예정인, 욕설, 인종차별, 괴롭힘, 성적인 메시지 전송 등 부적절한 콘텐츠를 음성 클립에서 감지하는 AI 모델의 업데이트 버전도 포함될 수 있습니다.
이러한 도구들이 마이크로소프트의 PhotoDNA 이미지 분석 도구와 같은 기존의 1차 CSAM 탐지 시스템과 어떻게 연동될지는 앞으로 지켜봐야 할 것입니다.
ROOST에 참여하는 것 외에도, 디스코드에서는 사용자가 차단한 상대방에게는 알림이 가지 않고 수신하는 메시지와 알림을 숨길 수 있는 새로운 "무시" 기능을 출시했습니다.
디스코드의 최고 법률 책임자인 클린트 스미스는 ROOST 발표에서 "디스코드는 안전이 공공의 이익이라고 믿습니다."라며, "디스코드뿐만 아니라 인터넷 전체, 특히 젊은이들을 위해 더 나은, 더 안전한 공간을 만들기 위해 노력하고 있습니다."라고 밝혔습니다
현재 이 계획은 맥거번 재단, 온라인 신뢰 및 안전 미래 기금, 나이트 재단, AI 협력단과 같은 자선 단체의 지원을 받아 향후 4년간의 운영 자금으로 2,700만 달러 이상을 모금했습니다.
ROOST 조직은 아동 안전, 인공지능, 오픈 소스 기술, 그리고 "폭력적 극단주의 대응" 분야의 전문가들의 지원을 받을 것입니다. 이는 본질적으로 아동 성학대와 그 콘텐츠가 전 세계로 확산되는 것을 막기 위해 기술 분야의 뛰어난 인재들이 협력하는 결과물입니다. 또한 오픈 소스 기술이기 때문에 전 세계 개발자 커뮤니티의 지속적인 업데이트와 개선이 가능하며, ROOST가 만들어낼 이 강력한 시스템은 시간이 지남에 따라 계속해서 진화할 것입니다.
