Roblox、Alphabet、OpenAI和Discord筹集2700万美元用于开源在线儿童安全工具

Google、OpenAI、Roblox和Discord正联手为社会做善事，他们最近成立了一个新的非营利组织，旨在改善在线儿童安全。 

该倡议被称为“稳健在线安全工具”（ROOST），将致力于确保核心安全技术更易于公司获取，并提供免费的开源AI工具，用于识别、审查和报告儿童性虐待材料。

儿童性骚扰是一个全球性流行病，尽管各方努力遏制，但在网络空间中依然猖獗。最近，许多应用程序用户甚至立法者都建议Meta的马克·扎克伯格等应用程序创作者对其产品造成的伤害负责，尤其是涉及儿童色情和性虐待的问题。 

该倡议解决了一个关键需求 

这一联合倡议部分是对生成式AI进步对网络环境造成的变化做出的回应。创始 ROOST 合作伙伴、前Google首席执行官埃里克·施密特表示，该倡议旨在解决“加速在线儿童安全创新的迫切需求”。 

目前，关于CSAM检测工具的详细信息尚未 完全公开。然而，我们要知道，它们将利用大型语言AI模型并“统一”现有的处理内容选项。

施密特表示：“从专注于儿童保护的平台开始，ROOST的协作式开源方法将促进创新，使关键基础设施更加透明、可访问和包容，目标是为大家创造一个更安全的互联网。” 

如前所述，ROOST的宣布与针对社交媒体和在线平台儿童安全的持续监管推动相吻合。公司现在正寻求通过自我监管提案来安抚处于激进状态的立法者。

ROOST将与领先的AI基础模型开发商合作以实现其目标

根据美国失踪与受虐儿童国家中心（NCMEC）的数据，2022年至2023年间，疑似儿童虐待案件上升了12%。截至2020年，超过一半的美国儿童在 Roblox上 ，该公司因未能解决其平台上儿童性虐待和接触不当内容的问题而反复受到严厉批评。 

ROOST的创始成员将利用其资源，为该项目提供资金，并在项目成型时提供其工具或专业知识。该倡议还表示，将与领先的AI基础模型开发商合作，建立内容保障的“实践社区”。这将包括提供经过审核的AI训练数据集并识别安全方面的差距。

该倡议还将使“已存在的工具”更易于获取，有效地将其成员组织的各种检测和报告技术整合成一个统一的解决方案，使其他公司更容易实施。 

Roblox和Discord致力于重塑声誉

与 Roblox上 Discord也在2022年一起社交媒体诉讼中被点名，该诉讼指控该平台未能阻止成年人在无人监督的情况下向儿童发送消息。

Roblox工程、信任和安全性副总裁Naren Koneru表示，ROOST可能会托管公司可以通过API调用集成的AI审核系统。然而，关于ROOST的AI审核工具将涵盖的内容存在一些模糊之处。

例如，Discord表示，其贡献将建立在它于2023年加入的Lantern跨平台信息共享项目之上，该项目还有Meta和Google参与。但它也可能包括Roblox用于检测音频片段中脏话、种族主义、欺凌、色情和其他不当内容的AI模型的更新版本，该公司计划今年将其作为开源发布。 

这些工具将如何与现有的第一道CSAM检测系统（如Microsoft的PhotoDNA图像分析工具）相交，还有待观察。

除了是ROOST的一部分外， Discord 还发布了一个新的“忽略”功能，允许用户隐藏他们收到的消息和通知，而不会通知他们静音的人。 

Discord首席法务官Clint Smith在ROOST公告中表示：“在Discord，我们相信安全是公共福祉。我们致力于使整个互联网——而不仅仅是Discord——变得更好、更安全，尤其是对于年轻人。” 

目前，该倡议已筹集了超过2700万美元，将用于其前四年的运营，得到了McGovern基金会、在线信任与安全未来基金、Knight基金会和AI协作组织等慈善组织的支持。 

ROOST组织还将获得儿童安全、人工智能、 开源技术 和“打击暴力极端主义”领域专家的支持。这本质上是科技界伟大头脑共同努力遏制儿童性虐待及其内容在全球传播的结晶。由于它是开源的，全球开发者社区可以进行持续的更新和改进，这意味着ROOST即将创造的巨兽将随着时间的推移不断进化。