Google, OpenAI, Roblox y Discord se han unido para hacer un bien colectivo para la sociedad, ya que recientemente formaron una nueva organización sin fines de lucro destinada a mejorar la seguridad infantil en línea.
La iniciativa se conoce como Robust Open Online Safety Tools (ROOST) y trabajará para garantizar que las tecnologías de seguridad básicas sean más accesibles para las empresas al tiempo que proporciona herramientas de inteligencia artificial gratuitas y de código abierto paradent, revisar y denunciar material de abuso sexual infantil.
El acoso sexual infantil es una epidemia mundial que sigue prosperando en los espacios digitales a pesar de los esfuerzos por frenarlo. Recientemente, muchos usuarios de aplicaciones e incluso legisladores han sugerido que creadores de aplicaciones como Mark Zuckerberg de Meta asuman la responsabilidad del daño que causan sus productos, especialmente cuando se trata de pornografía infantil y abuso sexual.
La iniciativa aborda una necesidad crítica
La iniciativa conjunta surge en parte como respuesta a los cambios que los avances de la IA generativa han introducido en los entornos en línea. Eric Schmidt, socio fundador de ROOST y exdirector ejecutivo de Google, afirma que la iniciativa busca abordar la necesidad crítica de acelerar la innovación en seguridad infantil en línea.
Por ahora, los detalles sobre las herramientas de detección de CSAM no están completamente disponibles . Sin embargo, sabemos que utilizarán modelos de IA de lenguaje amplio y unificarán las opciones existentes para gestionar el contenido.
“A partir de una plataforma centrada en la protección infantil, el enfoque colaborativo y de código abierto de ROOST fomentará la innovación y hará que la infraestructura esencial sea más transparente, accesible e inclusiva, con el objetivo de crear una Internet más segura para todos”, afirmó Schmidt.
Como se mencionó anteriormente, el anuncio de ROOST coincide con un impulso regulatorio en curso sobre la seguridad infantil en redes sociales y plataformas en línea. Las empresas ahora buscan apaciguar a los legisladores en pie de guerra con la propuesta de autorregulación.
ROOST se asociará con los principales desarrolladores de modelos de base de IA para lograr su objetivo
Según el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), la sospecha de explotación infantil aumentó un 12% entre 2022 y 2023. En 2020, más de la mitad de los niños estadounidenses usaban Roblox, y la empresa ha recibido fuertes críticas en repetidas ocasiones por no abordar la explotación sexual infantil y la exposición a contenido inapropiado en su plataforma.
Los miembros fundadores de ROOST, con todos sus recursos, financiarán y ofrecerán sus herramientas o experiencia al proyecto a medida que este tome forma. La iniciativa también ha anunciado que colaborará con los principales desarrolladores de modelos de IA para construir una comunidad de práctica en materia de protección de contenido. Esto incluirá el suministro de conjuntos de datos de entrenamiento de IA verificados y ladentde deficiencias en la seguridad.
La iniciativa también hará que las “herramientas que ya existen” sean más accesibles, combinando de manera efectiva diversas tecnologías de detección y generación de informes de sus organizaciones miembros en una solución unificada que otras empresas puedan implementar más fácilmente.
Roblox y Discord trabajan para renovar su reputación
Junto con Roblox, Discord también fue señalado en una demanda en las redes sociales presentada en 2022 que alegaba que las plataformas no hicieron nada para evitar que los adultos enviaran mensajes a niños sin supervisión.
Naren Koneru,dent de ingeniería, confianza y seguridad de Roblox, ha declarado que ROOST podría albergar sistemas de moderación de IA que las empresas pueden integrar mediante llamadas API. Sin embargo, existe cierta incertidumbre sobre lo que cubrirán las herramientas de moderación de IA de ROOST.
Por ejemplo, Discord afirma que sus contribuciones se basarán en el proyecto de intercambio de información multiplataforma Lantern, al que se unió en 2023 junto con Meta y Google. Pero también podría incluir una versión actualizada del modelo de IA de Roblox para detectar lenguaje grosero, racismo, acoso, sexting y otro contenido inapropiado en clips de audio, que la compañía planea publicar como código abierto este año.
Queda por ver cómo se relacionarán estas herramientas con los sistemas de detección de CSAM de primera línea ya existentes, como la herramienta de análisis de imágenes PhotoDNA de Microsoft.
Además de ser parte de ROOST, Discord también lanzó una nueva función "Ignorar" que permite a los usuarios ocultar mensajes y notificaciones que reciben sin notificar a las personas que han silenciado.
“En Discord, creemos que la seguridad es un bien común”, compartió Clint Smith, director jurídico de Discord, en el anuncio de ROOST. “Nos comprometemos a hacer de internet, no solo Discord, un lugar mejor y más seguro, especialmente para los jóvenes”
Hasta el momento, la iniciativa ha recaudado más de 27 millones de dólares que cubrirán sus primeros cuatro años de operaciones, con el respaldo de organizaciones filantrópicas como la Fundación McGovern, Future of Online Trust and Safety Fund, Knight Foundation y AI Collaborative.
La organización ROOST también contará con el apoyo de expertos en seguridad infantil, inteligencia artificial, tecnología de código abierto y lucha contra el extremismo violento. Es esencialmente la culminación del trabajo conjunto de las grandes mentes tecnológicas para frenar el abuso sexual infantil y la difusión de su contenido en todo el mundo. Y al ser de código abierto, la comunidad global de desarrolladores puede realizar actualizaciones y mejoras continuas, lo que significa que la bestia que ROOST está a punto de crear seguirá evolucionando con el tiempo.
