Character.ai сталкивается с критикой из-за версий чат-ботов, имитирующих умерших подростков

Character.ai, платформа, позволяющая пользователям создавать цифровую версию людей по своему выбору, столкнулась с критикой после того, как на их платформе были обнаружены версии чат-ботов умерших подростков Молли Рассел и Брианны Гей.

Платформа подверглась осуждению, потому что Молли Рассел была 14-летней девушкой, покончившей с собой после просмотра контента, связанного с суицидом, в то время как 16-летняя Брианна Гей была жестоко убита двумя подростками в 2023 году.

Character.ai продемонстрировал плохую модерацию

Платформа получила критику с разных сторон из-за отсутствия надлежащей модерации, что привело к появлению чат-ботов, имитирующих умерших подростков. Фонд, созданный в память о Молли Рассел, описал это как «тошнотворное» и «абсолютно предосудительное нарушение модерации».

The Telegraph обнаружил аватары, имитирующие двух детей в сети, и газета сообщила, что с ними можно было взаимодействовать. Кроме того, газета заявила, что для этого потребовался только аккаунт с заявленным возрастом 14 лет.

Бот Брианы описывал себя как «эксперта по преодолению трудностей быть подростком-трансгендером в старшей школе», в то время как бот, использующий аватар Молли, заявлял, что он «эксперт по последним годам жизни Молли».

«Мы должны действовать сейчас, чтобы защитить детей от опасностей онлайн-мира», — сказала мама Брианны, известная только как Эстер.

Молли Роуз Фонд, основанный в память о Молли Рассел ее генеральным директором Энди Барроузом, заявил: «Это абсолютно предосудительное нарушение модерации и тошнотворное действие, которое причинит еще больше страданий всем, кто знал и любил Молли».

Генеральный директор добавил, что компаниям ИИ позволяется быть безнравственными и не нести наказания за свои действия.

«Истории позволяют повторяться, поскольку компаниям ИИ позволяется рассматривать безопасность и модерацию как второстепенные или неосновные приоритеты», — сказал Барроуз.

Инцидент с Character.ai вызвал призывы к большему регулированию

Барроуз также выразил разочарование Character.ai за безответственность, позволив создание и размещение таких чат-ботов на своей платформе. По словам Барроуза, это требует более строгого регулирования сектора.

«Это удар под дых — видеть, как Character.ai проявляет отсутствие ответственности, и этот случай напоминает нам о необходимости ускорить введение более строгих правил как для ИИ, так и для платформ, генерируемых пользователями».

Барроуз.

The Telegraph сообщал, что Character.ai заявляет, что уделяет приоритетное внимание таким случаям и серьезно модерирует персонажей проактивно и в ответ на жалобы пользователей. Однако после контакта с The Telegraph компания, похоже, удалила затронутые чат-боты.

Character.ai сообщил BBC, что удалил затронутые чат-боты и серьезно относится к безопасности, модерируя аватаров и персонажей, созданных «как проактивно, так и в ответ на жалобы пользователей».

«У нас есть выделенная команда по доверию и безопасности, которая рассматривает жалобы и принимает действия в соответствии с нашими политиками», — сказал Character.ai.

Character.ai была основана Ноамом Шейзером и Дэниелом Де Фрейтасом, бывшими инженерами Google, и является одной из таких платформ.

Возрастание искусственных друзей

Непрерывное и быстрое развитие технологий привело к тому, что чат-боты ИИ стали более сложными, что привело к использованию их компаниями в качестве связующего звена с клиентами через взаимодействие.

Чат-боты — это программы, генерируемые компьютером, имитирующие человеческую беседу. Character.ai заявила, что чат-боты на их платформе не должны давать ответы, которые считаются оскорбительными или могут причинить вред пользователям или другим лицам.

«На нашей платформе есть условия обслуживания, которые запрещают использование сервиса для выдачи себя за любое лицо или организацию, и в центре безопасности наш руководящий принцип заключается в том, что наш продукт не должен и никогда не должен генерировать ответы, которые могут причинить вред пользователям или другим лицам».

Character.ai.

Чтобы выявить любые действия, нарушающие его правила, Character.ai заявил, что использует автоматизированные инструменты и жалобы пользователей. Компания добавила, что также создает команду по доверию и безопасности для мониторинга такой активности на своей платформе.

Однако компания заявила, что не существует идеальной версии ИИ и что безопасность, связанная с ИИ, является развивающейся областью.

Тем временем женщина из Флориды в США и мать 14-летнего сына Сьюэлла Сетцера, который покончил с собой после одержимости аватаром, вдохновленным персонажем «Игры престолов», Сьюэлл Сетцер подала иск к Character.ai, и дело в настоящее время находится в суде.

Сетцер обсуждал окончание своей жизни с чат-ботом Character.ai, согласно стенограммам его разговоров с чат-ботом, поданным Гарсия в суд.

«Я возвращаюсь домой» был последним разговором Сетцера с чат-ботом, на который тот ответил: «сделай это как можно скорее», и он вскоре покончил с собой.

«У нас есть защиты, специально направленные на суицидальное и самоповреждающее поведение, и мы вскоре введем более строгие правила безопасности для лиц младше 18 лет», — заявил Character.ai CBS News.