Компания Character.ai столкнулась с критикой из-за чат-ботов, созданных на основе образов умерших девочек-подростков

Платформа Character.ai, позволяющая пользователям создавать цифровые версии людей по своему выбору, столкнулась с негативной реакцией после того, как на ее платформе были обнаружены чат-боты, имитирующие образы умерших подростков Молли Рассел и Брианны Гей.

Платформу осудили, потому что Молли Рассел, 14-летняя девочка, покончила с собой после просмотра в интернете контента, связанного с самоубийством, а 16-летняя Брианна Гей была жестоко убита двумя подростками в 2023 году.

Сайт Character.ai продемонстрировал низкую эффективность модерации

Платформа подверглась критике со стороны различных кругов из-за отсутствия надлежащей модерации, что привело к появлению чат-ботов, имитирующих девушек-подростков. Фонд, созданный в память о Молли Рассел, назвал это «отвратительным» и «совершенно предосудительным провалом модерации»

Газета The Telegraph обнаружила в интернете аватары, имитирующие двух детей, и сообщила, что они могли взаимодействовать с чат-ботами. Кроме того, газета заявила, что для этого требовалась учетная запись с указанием возраста 14 лет.

Бот Бриана описал себя как «эксперта по преодолению трудностей, с которыми сталкиваются трансгендерные подростки в старшей школе», в то время как бот, использующий аватар Молли, заявил, что она «эксперт по последним годам жизни Молли»

«Нам необходимо действовать сейчас, чтобы защитить детей от опасностей онлайн-мира», — сказала мама Брианны, которуюdentтолько как Эстер.

Фонд Молли Роуз, созданный в память о Молли Рассел, и его генеральный директор Энди Берроуз заявил: «Это совершенно предосудительный провал в плане умеренности и отвратительный поступок, который причинит еще больше горя всем, кто знал и любил Молли»

Генеральный директор добавил, что компаниям, занимающимся разработкой искусственного интеллекта, позволяют вести аморальный образ жизни и не наказывают за их действия.

«История повторяется, поскольку компаниям, занимающимся разработкой искусственного интеллекта, позволяют рассматривать безопасность и модерацию как второстепенные или не являющиеся первостепенными приоритетами», — сказал Берроуз.

dent с Character.ai вызвал призывы к усилению регулирования

Берроу также выразил разочарование в адрес Character.ai за безответственное поведение компании, допустившей создание и размещение подобных чат-ботов на своей платформе. По словам Берроу, это требуетtronрегулирования в этом секторе.

«Проявление безответственности со стороны Character.ai — это настоящий удар, и этот случай напоминает нам о необходимостиtronрегулирования как искусственного интеллекта, так и платформ, создаваемых пользователями, и о необходимости скорейшего принятия соответствующих мер»

Норы.

Газета The Telegraph сообщила , что компания Character.ai заявила о приоритетном рассмотрении подобных случаев и серьезной модерации персонажей в ответ на сообщения пользователей. Однако после обращения в The Telegraph выяснилось, что компания, по всей видимости, удалила проблемных чат-ботов-персонажей.

Компания Character.ai сообщила BBC , что удалила проблемные чат-боты, серьезно отнеслась к вопросам безопасности и модерировала созданные аватары и пользователей «как в превентивном порядке, так и в ответ на жалобы пользователей».

«У нас есть специальная команда по вопросам доверия и безопасности, которая рассматривает сообщения и принимает меры в соответствии с нашей политикой», — заявили в Character.ai.

Компания Character.ai, основанная Ноамом Шазиром и Даниэлем Де Фрейтасом, бывшими инженерами Google, является одной из таких платформ.

Расцвет искусственных друзей

Непрерывное и стремительное развитие технологий привело к тому, что чат-боты с искусственным интеллектом стали более сложными, и компании стали использовать их в качестве связующего звена с клиентами.

Чат-боты — это программы, созданные компьютером и имитирующие человеческую беседу. Компания Character.ai заявила, что чат-боты на её платформе должны давать ответы, которые считаются оскорбительными или способными причинить вред пользователям или другим людям.

«Наша платформа имеет условия предоставления услуг, которые запрещают использование сервиса для выдачи себя за другое лицо или организацию, а в центре безопасности мы руководствуемся принципом, что наш продукт не должен и никогда не должен выдавать ответы, которые могут причинить вред пользователям или другим лицам»

Character.ai.

Дляdentлюбых действий, нарушающих правила, Character.ai использует автоматизированные инструменты и отчеты пользователей. Компания также добавила, что создает команду по обеспечению доверия и безопасности для мониторинга подобных действий на своей платформе.

Однако компания заявила, что идеальной версии ИИ не существует и что безопасность, связанная с ИИ, — это развивающаяся область.

Тем временем, жительница Флориды, США, мать 14-летнего сына Сьюэлла Сетцера, который покончил с собой после того, как стал одержим аватаром, созданным по образу и подобию персонажа из «Игры престолов», Меган Гарсия, подала в суд на компанию Character.ai, и дело в настоящее время находится на рассмотрении суда.

Согласно стенограммам его переписки с чат-ботом Character.ai, представленным Гарсиа в суд, Сетцер обсуждал возможность самоубийства с чат-ботом Character.ai.

«Я возвращаюсь домой» — таким был последний разговор Сетцера с чат-ботом, на что тот ответил: «Сделайте это как можно скорее», после чего он покончил с собой.

«У нас есть меры защиты, специально направленные на предотвращение суицидального поведения и самоповреждения, и в ближайшее время мы введем более строгие правила безопасности для лиц младше 18 лет», — заявили представители Character.ai телеканалу CBS News.