Google, OpenAI, Roblox und Discord haben sich zusammengeschlossen, um gemeinsam Gutes für die Gesellschaft zu tun, indem sie kürzlich eine neue gemeinnützige Organisation gegründet haben, die sich die Verbesserung der Online-Sicherheit von Kindern zum Ziel gesetzt hat.
Die Initiative trägt den Namen Robust Open Online Safety Tools (ROOST) und hat zum Ziel, Unternehmen einen besseren Zugang zu wichtigen Sicherheitstechnologien zu ermöglichen und gleichzeitig kostenlose Open-Source-KI-Tools zurdent, Überprüfung und Meldung von Material über sexuellen Kindesmissbrauch bereitzustellen.
Sexueller Missbrauch von Kindern ist eine weltweite Epidemie, die trotz aller Bemühungen, sie einzudämmen, weiterhin im Internet grassiert. In letzter Zeit fordern viele App-Nutzer und sogar Politiker, dass App-Entwickler wie Mark Zuckerberg von Meta die Verantwortung für den Schaden übernehmen, den ihre Produkte anrichten, insbesondere im Zusammenhang mit Kinderpornografie und sexuellem Missbrauch.
Die Initiative geht auf ein dringendes Bedürfnis ein
Die gemeinsame Initiative ist unter anderem eine Reaktion auf die Veränderungen, die generative KI-Fortschritte in der Online-Welt bewirkt haben. von ROOST und ehemaliger Google-CEO, erklärt, die Initiative wolle „dem dringenden Bedarf an beschleunigten Innovationen im Bereich der Online-Kindersicherheit“ begegnen.
Aktuell sind noch nicht alle Details zu den CSAM-Erkennungstools verfügbar. Wir wissen jedoch, dass sie große KI-Sprachmodelle nutzen und bestehende Optionen zur Verarbeitung dieser Inhalte „vereinheitlichen“ werden.
„Ausgehend von einer Plattform, die sich auf den Schutz von Kindern konzentriert, wird ROOSTs kollaborativer Open-Source-Ansatz Innovationen fördern und die essentielle Infrastruktur transparenter, zugänglicher und inklusiver gestalten, mit dem Ziel, ein sichereres Internet für alle zu schaffen“, erklärte Schmidt.
Wie bereits erwähnt, fällt die Ankündigung von ROOST mit den laufenden Bemühungen um mehr Kindersicherheit in sozialen Medien und auf Online-Plattformen zusammen. Unternehmen versuchen nun, die kritischen Gesetzgeber mit dem Vorschlag zur Selbstregulierung zu beschwichtigen.
ROOST wird mit führenden Entwicklern von KI-Grundlagenmodellen zusammenarbeiten, um sein Ziel zu erreichen
Laut dem National Center for Missing and Exploited Children (NCMEC) stieg die Zahl der mutmaßlichen Fälle von Kindesausbeutung zwischen 2022 und 2023 um 12 %. Im Jahr 2020 nutzte über die Hälfte der US-amerikanischen Kinder Roblox, und das Unternehmen wurde wiederholt scharf kritisiert, weil es nicht gegen sexuelle Ausbeutung von Kindern und den Zugang zu ungeeigneten Inhalten auf seiner Plattform vorgeht.
Die Gründungsmitglieder von ROOST werden mit ihren Ressourcen das Projekt in seiner Entwicklungsphase finanziell unterstützen und ihre Expertise und ihr Know-how einbringen. Die Initiative plant außerdem, mit führenden Entwicklern von KI-Grundlagenmodellen zusammenzuarbeiten, um eine „Community of Practice“ für den Schutz von Inhalten aufzubauen. Dies umfasst die Bereitstellung geprüfter KI-Trainingsdatensätze und diedentvon Sicherheitslücken.
Die Initiative wird auch „bereits existierende Tools“ zugänglicher machen und verschiedene Erkennungs- und Meldetechnologien ihrer Mitgliedsorganisationen effektiv zu einer einheitlichen Lösung zusammenführen, die andere Unternehmen leichter implementieren können.
Roblox und Discord arbeiten daran, ihren Ruf zu verbessern
Zusammen mit Roblox wurde auch Discord in einer 2022 eingereichten Klage im Bereich der sozialen Medien genannt, in der den Plattformen vorgeworfen wurde, nichts dagegen zu unternehmen, dass Erwachsene ohne Aufsicht Nachrichten an Kinder senden.
Naren Koneru,dent für Technik, Vertrauen und Sicherheit bei Roblox, erklärte, dass ROOST möglicherweise KI-Moderationssysteme bereitstellen wird, die Unternehmen über API-Aufrufe integrieren können. Es herrscht jedoch noch Unklarheit darüber, welche Funktionen die KI-Moderationstools von ROOST genau abdecken werden.
Discord gibt beispielsweise an, dass seine Beiträge auf dem plattformübergreifenden Informationsaustauschprojekt Lantern aufbauen werden, dem es sich 2023 zusammen mit Meta und Google angeschlossen hat. Es könnte aber auch eine aktualisierte Version des KI-Modells von Roblox zur Erkennung von Obszönitäten, Rassismus, Mobbing, Sexting und anderen unangemessenen Inhalten in Audioclips umfassen, das das Unternehmen noch in diesem Jahr als Open Source veröffentlichen will.
Es bleibt abzuwarten, wie sich die Tools mit bereits existierenden CSAM-Erkennungssystemen der ersten Ebene wie dem Bildanalysetool PhotoDNA von Microsoft kombinieren lassen.
Neben der Zugehörigkeit zu ROOST Discord auch eine neue „Ignorieren“-Funktion veröffentlicht, mit der Benutzer Nachrichten und Benachrichtigungen ausblenden können, ohne die Personen zu benachrichtigen, die sie stummgeschaltet haben.
„Wir bei Discord sind der Überzeugung, dass Sicherheit ein Gemeingut ist“, erklärte Clint Smith, Chief Legal Officer von Discord, in der ROOST-Ankündigung. „Wir setzen uns dafür ein, das gesamte Internet – nicht nur Discord – zu einem besseren und sichereren Ort zu machen, insbesondere für junge Menschen.“
Bislang hat die Initiative mehr als 27 Millionen Dollar gesammelt, die für die ersten vier Betriebsjahre ausreichen. Unterstützt wird sie dabei von philanthropischen Organisationen wie der McGovern Foundation, dem Future of Online Trust and Safety Fund, der Knight Foundation und der AI Collaborative.
Die ROOST-Organisation wird zudem von Experten für Kinderschutz, künstliche Intelligenz, Open-Source-Technologie und die Bekämpfung von gewalttätigem Extremismus unterstützt. Sie ist im Wesentlichen das Ergebnis der Zusammenarbeit führender Köpfe der Technologiebranche, um Kindesmissbrauch und dessen weltweite Verbreitung einzudämmen. Da es sich um Open Source handelt, können kontinuierliche Updates und Verbesserungen durch die globale Entwicklergemeinschaft vorgenommen werden, sodass sich die von ROOST geschaffene Plattform stetig weiterentwickeln wird.
