Roblox, Alphabet, OpenAI и Discord собрали $27 миллионов на инструменты безопасности детей в интернете с открытым исходным кодом

Google, OpenAI, Roblox и Discord объединяют усилия для коллективной пользы обществу, недавно создав новую некоммерческую организацию, направленную на улучшение безопасности детей в интернете. 

Инициатива известна как Robust Open Online Safety Tools (ROOST) и будет работать над тем, чтобы основные технологии безопасности были более доступны для компаний, а также предоставлять бесплатные инструменты с открытым исходным кодом на базе ИИ для выявления, проверки и сообщения о материалах сексуального насилия над детьми.

Сексуальное домогательство к детям является мировой эпидемией, которая продолжает процветать в онлайн-пространствах, несмотря на усилия по ее сдерживанию. В последнее время многие пользователи приложений и даже законодатели предлагают создателям приложений, таким как Марк Цукерберг из Meta, нести ответственность за ущерб, который наносят их продукты, особенно в вопросах детской порнографии и сексуального насилия. 

Инициатива решает критически важную задачу 

Совместная инициатива реализуется частично в ответ на изменения, которые внедрение технологий генеративного ИИ внесло в онлайн-пространство. Основатели ROOST партнер и бывший генеральный директор Google Эрик Шмидт заявил, что инициатива направлена на решение «критической необходимости ускорить инновации в области безопасности детей в интернете». 

На данный момент подробности о инструментах обнаружения CSAM пока не полностью доступны. Однако нам известно, что они будут использовать большие языковые модели ИИ и «объединят» существующие варианты работы с подобным контентом.

«Начиная с платформы, ориентированной на защиту детей, совместный подход ROOST с открытым исходным кодом будет способствовать инновациям и сделает необходимую инфраструктуру более прозрачной, доступной и инклюзивной, с целью создания более безопасного интернета для всех», — заявил Шмидт. 

Как отмечалось ранее, объявление о ROOST совпало с активным регуляторным давлением в сфере безопасности детей в социальных сетях и на онлайн-платформах. Компании теперь стремятся успокоить законодателей, находящихся в наступлении, предложив механизм саморегулирования.

ROOST будет сотрудничать с ведущими разработчиками базовых моделей ИИ для достижения своих целей

По данным Национального центра по поиску пропавших и эксплуатируемых детей (NCMEC), количество подозрительных случаев эксплуатации детей выросло на 12% в период с 2022 по 2023 год. По состоянию на 2020 год более половины детей в США были на Roblox, и компания неоднократно подвергалась жесткой критике за неспособность бороться с сексуальной эксплуатацией детей и воздействием неподходящего контента на своей платформе. 

Члены-основатели ROOST, используя все свои ресурсы, будут вносить финансовый вклад, а также предоставлять свои инструменты или экспертизу проекту по мере его развития. Инициатива также заявила о партнерстве с ведущими разработчиками базовых моделей ИИ для создания «сообщества практики» по вопросам защиты контента. Это будет включать предоставление проверенных наборов данных для обучения ИИ и выявление пробелов в системах безопасности.

Инициатива также сделает более доступными «уже существующие инструменты», эффективно объединяя различные технологии обнаружения и отчетности от организаций-участниц в единое решение, которое другим компаниям будет легче внедрять. 

Roblox и Discord работают над восстановлением репутации

Вместе с Roblox, Discord также стал объектом судебного иска в сфере социальных сетей, поданного в 2022 году, в котором утверждалось, что платформа ничего не предпринимала для предотвращения сообщений от взрослых к детям без присмотра.

Нарен Конеру, вице-президент Roblox по инженерии, доверию и безопасности, заявил, что ROOST может размещать системы модерации на базе ИИ, которые компании смогут интегрировать через API-вызовы. Однако есть некоторая неопределенность относительно того, какие именно функции будут охватывать инструменты модерации ИИ в ROOST.

Например, Discord заявляет, что его вклад будет основан на проекте обмена информацией между платформами Lantern, к которому он присоединился в 2023 году вместе с Meta и Google. Но это также может включать обновленную версию модели ИИ Roblox для обнаружения нецензурной лексики, расизма, буллинга, секстинга и другого неподходящего контента в аудиозаписях, которую компания планирует выпустить как проект с открытым исходным кодом в этом году. 

Еще предстоит увидеть, как эти инструменты будут пересекаться с уже существующими системами обнаружения CSAM первого уровня, такими как инструмент анализа изображений PhotoDNA от Microsoft.

Помимо участия в ROOST, Discord также выпустила новую функцию «Игнорировать», которая позволяет пользователям скрывать сообщения и уведомления, которые они получают, не уведомляя людей, которых они заглушили. 

«В Discord мы считаем, что безопасность — это общее благо», — поделился главный юридический директор Discord Клинт Смит в рамках объявления о ROOST. «Мы стремимся сделать весь интернет — а не только Discord — лучше и безопаснее, особенно для молодых людей». 

На данный момент инициатива собрала более 27 миллионов долларов, которые покроют расходы на первые четыре года ее работы, при поддержке благотворительных организаций, таких как Фонд Макгоуэна, Фонд будущего доверия и безопасности в интернете, Фонд Найта и AI Collaborative. 

Организация ROOST также получит поддержку экспертов в области безопасности детей, искусственного интеллекта, технологий с открытым исходным кодом, и «противодействия насильственному экстремизму». По сути, это кульминация усилий лучших умов в сфере технологий, работающих вместе над предотвращением сексуальной эксплуатации детей и распространением соответствующего контента по всему миру. Поскольку проект имеет открытый исходный код, глобальное сообщество разработчиков сможет вносить непрерывные обновления и улучшения, что означает, что мощный инструмент ROOST, который вот-вот будет создан, будет продолжать развиваться с течением времени.