Roblox, Alphabet, OpenAI e Discord raccolgono 27 milioni di dollari per strumenti open-source per la sicurezza online dei minori

Google, OpenAI, Roblox e Discord si uniscono per fare del bene collettivo per la società, formando recentemente una nuova organizzazione non profit volta a migliorare la sicurezza online dei minori. 

L'iniziativa è nota come Robust Open Online Safety Tools (ROOST) e lavorerà per garantire che le tecnologie di sicurezza fondamentali siano più accessibili per le aziende, fornendo anche strumenti AI open-source gratuiti per identificare, revisionare e segnalare materiale di abuso sessuale minorile.

L'abuso sessuale minorile è un'epidemia mondiale che continua a prosperare negli spazi online nonostante gli sforzi per frenarlo. In tempi recenti, molti utenti di app e persino legislatori hanno suggerito che i creatori di app come Mark Zuckerberg di Meta dovrebbero assumersi la responsabilità del danno che i loro prodotti stanno causando, specialmente per quanto riguarda la pedopornografia e l'abuso sessuale. 

L'iniziativa affronta un bisogno critico 

L'iniziativa congiunta avviene in parte in risposta ai cambiamenti che i progressi dell'AI generativa hanno apportato agli ambienti online. Fondatori ROOST partner ed ex CEO di Google Eric Schmidt afferma che l'iniziativa vuole affrontare "un bisogno critico di accelerare l'innovazione nella sicurezza online dei minori." 

Per ora, i dettagli sugli strumenti di rilevamento CSAM non sono ancora completamente disponibili. Tuttavia, sappiamo che utilizzeranno modelli AI di linguaggio di grandi dimensioni e "unificheranno" le opzioni esistenti per gestire i contenuti.

"Partendo da una piattaforma focalizzata sulla protezione dei minori, l'approccio collaborativo e open-source di ROOST favorirà l'innovazione e renderà le infrastrutture essenziali più trasparenti, accessibili e inclusive, con l'obiettivo di creare un internet più sicuro per tutti", ha dichiarato Schmidt. 

Come affermato in precedenza, l'annuncio di ROOST coincide con una spinta normativa in corso riguardo alla sicurezza dei minori sui social media e sulle piattaforme online. Le aziende ora cercano di accontentare i legislatori in guerra con la proposta di auto-regolamentazione.

ROOST si partnershiperà con i principali sviluppatori di modelli di base AI per raggiungere il suo obiettivo

Secondo il Centro Nazionale per i Bambini Scomparsi e Sfruttati (NCMEC), lo sfruttamento minorile sospetto è aumentato del 12% tra il 2022 e il 2023. Nel 2020, oltre la metà dei bambini statunitensi erano su Roblox, e l'azienda ha subito pesanti critiche ripetutamente per non aver affrontato lo sfruttamento sessuale minorile e l'esposizione a contenuti inappropriati sulla sua piattaforma. 

I membri fondatori di ROOST, con tutte le loro risorse, forniranno variamente finanziamenti e offriranno i loro strumenti o competenze al progetto mentre prende forma. L'iniziativa ha anche dichiarato che si partnershipnerà con i principali sviluppatori di modelli di base AI per costruire una "comunità di pratica" per le salvaguardie dei contenuti. Questo includerà la fornitura di dataset di addestramento AI verificati e l'identificazione delle lacune nella sicurezza.

L'iniziativa renderà anche più accessibili gli "strumenti che esistono già", combinando efficacemente varie tecnologie di rilevamento e segnalazione delle sue organizzazioni membri in una soluzione unificata che altre aziende possono implementare più facilmente. 

Roblox e Discord lavorano per rinnovare la loro reputazione

Insieme a Roblox, Discord è stato anche preso di mira in una causa per diffamazione sui social media presentata nel 2022 che sosteneva che le piattaforme non avessero fatto nulla per impedire agli adulti di messaggiare ai minori senza supervisione.

Naren Koneru, vice presidente di ingegneria, fiducia e sicurezza di Roblox, ha detto che ROOST potrebbe ospitare sistemi di moderazione AI che le aziende possono integrare tramite chiamate API. Tuttavia, c'è un po' di vaghezza su cosa copriranno gli strumenti di moderazione AI di ROOST.

Ad esempio, Discord dice che i suoi contributi si baseranno sul progetto di condivisione di informazioni cross-platform Lantern a cui si è unito nel 2023 insieme a Meta e Google. Ma potrebbe includere anche una versione aggiornata del modello AI di Roblox per rilevare volgarità, razzismo, bullismo, sexting e altri contenuti inappropriati nei clip audio, che l'azienda prevede di rilasciare come open-source quest'anno. 

Resta da vedere come gli strumenti intersecheranno i sistemi di rilevamento CSAM di prima linea già esistenti come lo strumento di analisi delle immagini PhotoDNA di Microsoft.

Oltre a far parte di ROOST, Discord ha anche rilasciato una nuova funzione "Ignora" che consente agli utenti di nascondere i messaggi e le notifiche che ricevono senza notificare le persone che hanno silenziato. 

"A Discord, crediamo che la sicurezza sia un bene comune", ha condiviso Clint Smith, Chief Legal Officer di Discord, nell'annuncio di ROOST. "Siamo impegnati a rendere l'intero internet – non solo Discord – un posto migliore e più sicuro, specialmente per i giovani." 

Al momento, l'iniziativa ha raccolto più di 27 milioni di dollari che copriranno i suoi primi quattro anni di operazioni, con il sostegno di organizzazioni filantropiche come la Fondazione McGovern, il Future of Online Trust and Safety Fund, la Knight Foundation e l'AI Collaborative. 

L'organizzazione ROOST avrà anche il supporto di esperti in sicurezza dei minori, intelligenza artificiale, tecnologia open-source, e "contrastamento dell'estremismo violento." È essenzialmente il culmine delle grandi menti della tecnologia che lavorano insieme per frenare l'abuso sessuale minorile e la diffusione dei suoi contenuti in tutto il mondo. E poiché è open-source, possono essere apportati aggiornamenti e miglioramenti continui dalla comunità globale di sviluppatori, il che significa che la bestia ROOST sta per creare continuerà a evolversi nel tempo.