Google, OpenAI, Roblox, Discord는 최근 온라인 아동 안전 개선을 목표로 하는 새로운 비영리 조직을 결성하며 사회를 위한 집단적인 선을 위해 힘을 합쳤습니다.

이 이니셔티브는 Robust Open Online Safety Tools (ROOST)로 알려져 있으며, 핵심 안전 기술이 기업들에게 더 쉽게 접근 가능하도록 보장하고, 아동 성학대 자료 식별, 검토 및 보고를 위한 무료 오픈 소스 AI 도구를 제공하는 데 중점을 둡니다. 

아동 성학대는 이를 억제하려는 노력에도 불구하고 온라인 공간에서 여전히 만연한 전 세계적인 전염병입니다. 최근 많은 앱 사용자들과 심지어 입법자들조차 Meta의 마크 저커버그와 같은 앱 제작자들이 특히 아동 포르노와 성학대 관련 분야에서 그들의 제품이 일으키는 피해의 책임에 대해 책임을 지도록 제안하고 있습니다.

이 이니셔티브는 중요한 필요성을 해결합니다 

이 공동 이니셔티브는 생성형 AI의 발전이 온라인 환경에 가져온 변화에 대한 대응으로 부분적으로 진행되고 있습니다. 설립 

ROOST ROOST 파트너이자 전 구글 CEO인 에릭 슈미트는 이 이니셔티브가 “온라인 아동 안전 분야의 혁신을 가속화하기 위한 중요한 필요성”을 해결하고자 한다고 말했습니다. 

현재 CSAM(아동 성착취물) 탐지 도구에 대한 세부 사항은 아직 완전히 공개되지 않았습니다.하지만 이러한 도구들이 대규모 언어 AI 모델을 활용하고 기존 콘텐츠 대응 옵션들을 “통합”할 것이라는 사실은 알려져 있습니다.

“아동 보호에 중점을 둔 플랫폼으로 시작하여, ROOST의 협력적이고 오픈소스 기반 접근 방식은 혁신을 촉진하고 필수 인프라를 더 투명하고 접근 가능하며 포용적으로 만들어, 모두를 위한 더 안전한 인터넷을 만드는 것을 목표로 합니다,”라고 슈미트는 밝혔습니다. 

이전에 언급된 바와 같이, ROOST 발표는 소셜 미디어 및 온라인 플랫폼에서의 아동 안전 관련 규제 강화 움직임과 맞물려 있습니다. 기업들은 이제 입법자들의 강력한 대응을 진정시키기 위해 자율 규제안을 제시하고 있습니다.

ROOST는 목표 달성을 위해 선도적인 AI 파운데이션 모델 개발사들과 파트너십을 맺을 예정입니다.

미발견 및 학대 아동 국가 센터(NCMEC)에 따르면, 2022년부터 2023년 사이 아동 착취 의심 사례가 12% 증가했습니다. 2020년 기준 미국 아동의 절반 이상이 로블록스(Roblox)에 참여하고 있었으며, 이 회사는 플랫폼에서 아동 성착취 및 부적절한 콘텐츠 노출 문제를 해결하지 못해 반복적으로 강한 비판을 받아왔습니다. 

ROOST의 창립 멤버들은 각자의 자원을 바탕으로 프로젝트가 구체화되는 과정에서 자금 지원과 도구 또는 전문성을 제공할 예정입니다. 또한 이 이니셔티브는 콘텐츠 안전 장치를 위한 “실무 커뮤니티”를 구축하기 위해 선도적인 AI 파운데이션 모델 개발사들과 파트너십을 맺을 것이라고 밝혔습니다. 여기에는 검증된 AI 학습 데이터셋 제공과 안전성 격차 식별이 포함됩니다.

이 이니셔티브는 또한 “이미 존재하는 도구들”의 접근성을 높여, 회원 조직들의 다양한 탐지 및 보고 기술을 통합된 솔루션으로 결합함으로써 다른 기업들이 더 쉽게 구현할 수 있도록 할 예정입니다. 

로블록스와 디스코드, 평판 개선을 위한 노력

Together with 로블록스(Roblox)에 디스코드(Discord)는 2022년에 제기된 소셜 미디어 소송에서도 주목받았습니다. 이 소송은 플랫폼이 감독 없이 성인이 아동에게 메시지를 보내는 것을 막지 않았다고 주장했습니다.

로블록스의 엔지니어링, 신뢰 및 안전 부사장인 나렌 코네루는 ROOST가 기업들이 API 호출을 통해 통합할 수 있는 AI 모더레이션 시스템을 호스팅할 수 있다고 말했습니다. 그러나 ROOST의 AI 모더레이션 도구가 정확히 어떤 범위를 다룰지에 대해서는 여전히 모호한 부분이 있습니다.

예를 들어, 디스코드는 2023년 메타와 구글과 함께 참여한 Lantern 크로스플랫폼 정보 공유 프로젝트에 기반한 기여를 할 것이라고 밝혔습니다. 하지만 여기에는 올해 오픈소스로 출시할 계획인 로블록스의 음성 클립 내 욕설, 인종차별, 괴롭힘, 섹스팅 및 기타 부적절한 콘텐츠를 탐지하는 AI 모델의 업데이트 버전이 포함될 수도 있습니다. 

이 도구들이 이미 존재하는 1차 CSAM 탐지 시스템(예: 마이크로소프트의 PhotoDNA 이미지 분석 도구)과 어떻게 교차할지는 아직 미지수입니다.

ROOST의 일원인 것 외에도, Discord 새로운 ‘무시(Ignore)’ 기능을 출시했습니다. 이 기능을 사용하면 사용자는 음소거한 상대방에게 알림 없이 받은 메시지와 알림을 숨길 수 있습니다. 

“디스코드에서는 안전이 공공재라고 믿습니다,”라고 디스코드의 수석 법무 책임자 클린 스미스는 ROOST 발표와 함께 언급했습니다. “우리는 디스코드뿐만 아니라 전체 인터넷을, 특히 젊은이들을 위해 더 좋고 안전한 곳으로 만들기 위해 헌신하고 있습니다.” 

현재 이 이니셔티브는 맥고번 재단, 온라인 신뢰 및 안전의 미래 기금, 나이트 재단, AI 콜라보레이티브 등 자선 단체들의 후원을 받아 향후 4년간 운영 자금을 충당할 2,700만 달러 이상을 모금했습니다. 

ROOST 조직은 아동 안전, 인공지능, 오픈소스 기술, 그리고 “폭력적 극단주의 대응” 분야의 전문가들의 지지를 받을 예정입니다. 이는 기술 분야의 뛰어난 인재들이 아동 성착취 및 그 콘텐츠의 세계적 확산을 막기 위해 협력하는 결실입니다. 오픈소스이므로 전 세계 개발자 커뮤니티의 지속적인 업데이트와 개선을 통해, ROOST가 만들어낼 이 거대한 존재는 시간이 지남에 따라 계속 진화할 것입니다.