Roblox, Alphabet, OpenAI y Discord recaudan 27 millones de dólares para herramientas de seguridad infantil en línea de código abierto

Google, OpenAI, Roblox y Discord se unen para hacer algo colectivo por la sociedad, ya que recientemente formaron una nueva organización sin fines de lucro destinada a mejorar la seguridad infantil en línea. 

La iniciativa se conoce como Robust Open Online Safety Tools (ROOST) y trabajará para garantizar que las tecnologías de seguridad básicas sean más accesibles para las empresas, mientras proporciona herramientas de IA de código abierto gratuitas para identificar, revisar e informar sobre material de abuso sexual infantil.

El acoso sexual infantil es una epidemia mundial que continúa prosperando en los espacios en línea a pesar de los esfuerzos por frenarlo. En tiempos recientes, muchos usuarios de aplicaciones e incluso legisladores han sugerido que los creadores de aplicaciones como Mark Zuckerberg de Meta asuman la responsabilidad por la cantidad de daño que están haciendo sus productos, especialmente en lo que respecta a la pornografía infantil y el abuso sexual. 

La iniciativa aborda una necesidad crítica 

La iniciativa conjunta está ocurriendo parcialmente en respuesta a los cambios que los avances de la IA generativa han hecho en los entornos en línea. Fundadores ROOST y ex CEO de Google, Eric Schmidt, dice que la iniciativa quiere abordar "una necesidad crítica de acelerar la innovación en la seguridad infantil en línea." 

Por ahora, los detalles sobre las herramientas de detección de CSAM no están aún completamente disponibles. Sin embargo, sabemos que utilizarán modelos de IA de lenguaje grande y "unificarán" las opciones existentes para manejar el contenido.

"Comenzando con una plataforma centrada en la protección infantil, el enfoque colaborativo y de código abierto de ROOST fomentará la innovación y hará que la infraestructura esencial sea más transparente, accesible e inclusiva, con el objetivo de crear un internet más seguro para todos", declaró Schmidt. 

Como se indicó anteriormente, el anuncio de ROOST coincide con un impulso regulatorio en curso respecto a la seguridad infantil en las redes sociales y las plataformas en línea. Las empresas ahora buscan apaciguar a los legisladores en la ofensiva con la propuesta de autorregulación.

ROOST se asociará con los principales desarrolladores de modelos de base de IA para lograr su objetivo

Según el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), la sospecha de explotación infantil aumentó un 12% entre 2022 y 2023. A partir de 2020, más de la mitad de los niños de EE. UU. estaban en Roblox, y la empresa ha recibido fuertes críticas repetidamente por no abordar la explotación sexual infantil y la exposición a contenido inapropiado en su plataforma. 

Los miembros fundadores de ROOST, con todos sus recursos, proporcionarán fondos y ofrecerán sus herramientas o experiencia al proyecto a medida que tome forma. La iniciativa también ha dicho que se asociará con los principales desarrolladores de modelos de base de IA para construir una "comunidad de práctica" para salvaguardas de contenido. Esto incluirá proporcionar conjuntos de datos de entrenamiento de IA verificados e identificar lagunas en la seguridad.

La iniciativa también hará que las "herramientas que ya existen" sean más accesibles, combinando efectivamente varias tecnologías de detección e informe de sus organizaciones miembros en una solución unificada que otras empresas puedan implementar más fácilmente. 

Roblox y Discord trabajan para renovar su reputación

Junto con Roblox, Discord también fue señalado en una demanda por redes sociales presentada en 2022 que alegaba que las plataformas no hicieron nada para evitar que los adultos enviaran mensajes a niños sin supervisión.

Naren Koneru, vicepresidente de ingeniería, confianza y seguridad de Roblox, ha dicho que ROOST podría alojar sistemas de moderación de IA que las empresas puedan integrar a través de llamadas API. Sin embargo, hay cierta vaguedad sobre qué cubrirán las herramientas de moderación de IA de ROOST.

Por ejemplo, Discord dice que sus contribuciones se basarán en el proyecto de intercambio de información entre plataformas Lantern al que se unió en 2023 junto con Meta y Google. Pero también podría incluir una versión actualizada del modelo de IA de Roblox para detectar obscenidades, racismo, acoso, sexting y otro contenido inapropiado en clips de audio, que la empresa planea lanzar como código abierto este año. 

Queda por ver cómo las herramientas se cruzarán con los sistemas de detección de CSAM de primera línea ya existentes, como la herramienta de análisis de imágenes PhotoDNA de Microsoft.

Además de ser parte de ROOST, Discord también ha lanzado una nueva función "Ignorar" que permite a los usuarios ocultar los mensajes y notificaciones que reciben sin notificar a las personas que han silenciado. 

"En Discord, creemos que la seguridad es un bien común", compartió el director legal de Discord, Clint Smith, en el anuncio de ROOST. "Estamos comprometidos a hacer que todo internet, no solo Discord, sea un lugar mejor y más seguro, especialmente para los jóvenes." 

En este momento, la iniciativa ha recaudado más de 27 millones de dólares que cubrirán sus primeros cuatro años de operaciones, con el respaldo de organizaciones filantrópicas como la Fundación McGovern, el Fondo para la Confianza y Seguridad en Línea del Futuro, la Fundación Knight y la Colaboración de IA. 

La organización ROOST también contará con el apoyo de expertos en seguridad infantil, inteligencia artificial, tecnología de código abierto, y «contrarrestar la extrema violencia». Es esencialmente la culminación de las grandes mentes de la tecnología trabajando juntas para frenar el abuso sexual infantil y cómo se propaga su contenido por todo el mundo. Y dado que es de código abierto, la comunidad global de desarrolladores puede realizar actualizaciones y mejoras continuas, lo que significa que la bestia ROOST que está a punto de crear seguirá evolucionando con el paso del tiempo.