谷歌、OpenAI、Roblox 和 Discord 联合起来,为社会做一些集体有益的事情,他们最近成立了一个新的非营利组织,旨在提高儿童在线安全。.
该计划被称为“强大的开放式在线安全工具”(ROOST),旨在确保企业更容易获得核心安全技术,同时提供免费的开源人工智能工具,用于dent、审查和报告儿童性虐待材料。.
儿童性骚扰已成为全球性的顽疾,尽管各方努力遏制,但其在网络空间依然猖獗。近年来,许多应用程序用户甚至立法者都呼吁,像Meta的创始人马克·扎克伯格这样的应用程序开发者,应该对其产品造成的危害承担责任,尤其是在涉及儿童色情和性虐待的情况下。.
该举措满足了一项关键需求。
这项联合计划的推出,部分原因是为了应对生成式人工智能技术进步给网络环境带来的变化。ROOST的合伙人、谷歌前首席执行官埃里克·施密特表示,该计划旨在解决“加速儿童网络安全创新这一迫切需求”。
目前,关于儿童性虐待材料检测工具的详细信息尚未完全公布。不过,我们知道它们将利用大型语言人工智能模型,并“统一”现有的处理此类内容的方案。
施密特表示:“ROOST 以儿童保护为核心平台,采用协作式开源方法,将促进创新,使必要的基础设施更加透明、易于获取和包容,目标是为所有人创造一个更安全的互联网。”.
如前所述,ROOST的声明恰逢社交媒体和在线平台儿童安全监管力度不断加大之际。各公司目前正试图通过这项自律提案来安抚那些态度强硬的立法者。.
ROOST将与领先的人工智能基础模型开发商合作,以实现其目标。
根据美国国家失踪与受虐儿童中心(NCMEC)的数据,2022年至2023年间,疑似儿童性剥削案件增加了12%。截至2020年,超过一半的美国儿童使用Roblox平台,该公司因未能解决其平台上的儿童性剥削和不当内容问题而屡遭严厉批评。
ROOST的创始成员将利用其所有资源,以各种方式为该项目提供资金、工具或专业知识,助力其发展。该项目还表示,将与领先的人工智能基础模型开发商合作,构建内容安全“实践社区”。这包括提供经过审核的人工智能训练数据集,并dent安全漏洞。.
该倡议还将使“现有工具”更容易获取,有效地将成员组织的各种检测和报告技术整合到一个统一的解决方案中,以便其他公司更容易实施。.
Roblox和Discord正努力重塑其声誉
与Roblox 一起, Discord 也于 2022 年被提起的一项社交媒体诉讼点名批评,该诉讼指控这些平台没有采取任何措施阻止成年人在没有监督的情况下向儿童发送消息。
Roblox负责工程、信任和安全的副dent Naren Koneru曾表示,ROOST可能会托管AI审核系统,企业可以通过API调用将其集成到ROOST平台。然而,ROOST的AI审核工具具体涵盖哪些内容,目前尚无定论。.
例如,Discord表示,其贡献将建立在其于2023年与Meta和谷歌共同加入的跨平台信息共享项目Lantern的基础上。但也可能包括Roblox用于检测音频片段中脏话、种族歧视、欺凌、色情短信和其他不当内容的AI模型的更新版本,该公司计划今年将其开源。.
这些工具将如何与现有的第一线 CSAM 检测系统(例如微软的 PhotoDNA 图像分析工具)相融合,还有待观察。.
除了成为 ROOST 的一部分之外, Discord还发布了一项新的“忽略”功能,允许用户隐藏收到的消息和通知,而不会通知他们已静音的人。
Discord首席法务官克林特·史密斯在ROOST公告中表示:“在Discord,我们相信安全是公共利益。我们致力于让整个互联网——而不仅仅是Discord——变得更好、更安全,尤其对年轻人而言。”
目前,该计划已筹集超过 2700 万美元,足以支付其前四年的运营费用,并得到了麦戈文基金会、未来在线信任与安全基金、奈特基金会和人工智能合作组织等慈善组织的支持。.
ROOST组织还将获得儿童安全、人工智能、开源技术以及“打击暴力极端主义”领域专家的支持。它本质上是科技界顶尖人才携手合作,遏制儿童性虐待及其内容在全球传播的成果。由于它是开源的,全球开发者社区可以对其进行持续更新和改进,这意味着ROOST即将打造的这个平台将随着时间的推移不断发展演进。

