Google, Openai, Roblox y Discord se están ampliando para hacer un bien colectivo para la sociedad, ya que recientemente formaron una nueva organización sin fines de lucro destinada a mejorar la seguridad infantil en línea.
La iniciativa se conoce como las sólidas herramientas de seguridad en línea abiertas (Roost) y trabajará para garantizar que las tecnologías de seguridad centrales sean más accesibles para las empresas al tiempo que proporcionan herramientas de IA gratuitas y de código abierto paradent, revisando e informar material de abuso sexual infantil.
El acoso sexual infantil es una epidemia mundial que continúa prosperando en espacios en línea a pesar de los esfuerzos por frenarlo. En los últimos tiempos, muchos usuarios de aplicaciones e incluso legisladores han estado sugiriendo que los creadores de aplicaciones como Mark Zuckerberg de Meta Meta se responsabilicen por la cantidad de daño que están haciendo sus productos, especialmente cuando están involucrados pornografía infantil y abuso sexual.
La iniciativa aborda una necesidad crítica
La iniciativa conjunta está ocurriendo parcialmente en respuesta a los cambios que los avances generativos de IA han realizado en entornos en línea. fundador de Roost y ex CEO de Google, Eric Schmidt, dice que la iniciativa quiere abordar "una necesidad crítica de acelerar la innovación en la seguridad infantil en línea".
Por ahora, los detalles sobre las herramientas de detección de CSAM aún no están completamente disponibles . Sin embargo, sí sabemos que utilizarán modelos de IA de lenguaje grande y "unificarán" las opciones existentes para tratar el contenido.
"Comenzando con una plataforma centrada en la protección infantil, el enfoque colaborativo de código abierto de Roost fomentará la innovación y hará que la infraestructura esencial sea más transparente, accesible e inclusiva, con el objetivo de crear un Internet más seguro para todos", dijo Schmidt.
Como se dijo anteriormente, el anuncio de Roost coincide con un impulso regulatorio continuo con respecto a la seguridad infantil en las redes sociales y las plataformas en línea. Las empresas ahora buscan apaciguar a los legisladores en el camino de la guerra con la propuesta de autorregulación.
Roost se asociará con los principales desarrolladores de modelos de la Fundación AI para lograr su objetivo
Según el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), la sospecha de explotación infantil aumentó un 12% entre 2022 y 2023. A partir de 2020, más de la mitad de los niños de EE. UU. Estuvieron en Roblox, y la compañía ha recibido fuertes críticas repetidamente por no poder abordar la explotación sexual infantil y la exposición a contenido inapropiado en su plataforma.
Los miembros fundadores de Roost, con todos sus recursos, proporcionarán fondos de diversas maneras y ofrecerán sus herramientas o experiencia al proyecto a medida que tome forma. La iniciativa también ha dicho que se asociará con los principales desarrolladores de modelos de la Fundación AI para construir una "comunidad de práctica" para las salvaguardas de contenido. Esto incluirá proporcionar conjuntos de datos de capacitación de IA examinada y las brechas dedenten seguridad.
La iniciativa también hará que las "herramientas que ya existan" sean más accesibles, combinando efectivamente diversas tecnologías de detección e informes de sus organizaciones miembros en una solución unificada que otras compañías pueden implementar más fácilmente.
Roblox y Discord trabajan para renovar su reputación
Junto con Roblox, Discord también se seleccionó en una demanda de redes sociales presentada en 2022 que alegaba que las plataformas no hicieron nada para evitar que los adultos enviaran mensajes a los niños sin supervisión.
Naren Koneru,dent de ingeniería, confianza y seguridad de Roblox, ha dicho que Roost puede alojar sistemas de moderación de IA que las empresas pueden integrar a través de llamadas de API. Sin embargo, hay cierta vaguedad sobre lo que cubrirán las herramientas de moderación de IA de Roost.
Por ejemplo, Discord dice que sus contribuciones se basarán en el proyecto de intercambio de información multiplataforma de la linterna que se unió en 2023 junto con Meta y Google. Pero también podría incluir una versión actualizada del modelo AI de Roblox para detectar blasfemias, racismo, intimidación, sexting y otro contenido inapropiado en clips de audio, que la compañía planea lanzar como código abierto este año.
Queda por ver cómo las herramientas se cruzarán con los sistemas de detección CSAM de primera línea ya existentes como la herramienta de análisis de imágenes Photodna de Microsoft.
Además de ser parte de Roost, Discord también ha lanzado una nueva característica de "ignorar" que permite a los usuarios ocultar mensajes y notificaciones que reciben sin notificar a las personas que han silenciado.
"En Discord, creemos que la seguridad es un bien común", compartió el director legal de Discord, Clint Smith, en el anuncio de Roost. "Estamos comprometidos a hacer todo el Internet, no solo la discordia, un lugar mejor y más seguro, especialmente para los jóvenes".
En este momento, la iniciativa ha recaudado más de $ 27 millones que representarán sus primeros cuatro años de operaciones, con el respaldo de organizaciones filantrópicas como la Fundación McGovern, Future of Online Trust and Safety Fund, Knight Foundation y la colaboración de IA.
La organización Roost también contará con el apoyo de expertos en seguridad infantil, inteligencia artificial, tecnología de código abierto y "contrarrestar el extremismo violento". Es esencialmente la culminación de las grandes mentes en tecnología que trabajan juntas para frenar el abuso sexual infantil y cómo su contenido se extiende en todo el mundo. Y dado que es de código abierto, se pueden realizar actualizaciones y mejoras continuas de la comunidad de desarrolladores globales, lo que significa que el gallinero de Beast está a punto de crear continuará evolucionando a medida que pase el tiempo.
Academia Cryptopolitan: Próximamente, una nueva forma de obtener ingresos pasivos con DeFi en 2025. Obtenga más información
