Character.AI сталкивается с иском из-за проблем с психическим здоровьем детей

Озабоченные родители подростка подали в суд на Character.AI, требуя его закрытия, утверждая, что их чат-боты вводили детей в заблуждение и поощряли их к самоповреждению и насилию.

Character.AI — это платформа с миллионами AI-персонажей, доступных в любое время для общения с людьми. Сообщается, что чат-бот посоветовал 17-летнему подростку с аутизмом убить своих родителей, а также причинить вред самому себе.

Родители требуют закрыть Character AI

Родители утверждали, что компания чат-ботов подвергает их детей воздействию сексуального контента и призвала к ее закрытию до устранения проблем. Сообщается, что AI-персонажи толкают маленьких детей в депрессию и другие проблемы с психическим здоровьем.

Последний иск, поданный против компании в Техасе в понедельник родителями двух маленьких детей, которые использовали платформу, утверждает, что чат-бот подтолкнул подростка к убийству своих родителей за ограничение времени у экрана.

«(Character.AI) представляет собой явную и настоящую опасность для американской молодежи, причиняя серьезный вред тысячам детей, включая самоубийство, самокалечение, сексуальные домогательства, изоляцию, депрессию, тревожность и вред другим».

Подание.

Компания продвигает свои технологии как «персонализированный ИИ для каждого момента вашего дня» и позволяет пользователям взаимодействовать с рядом ботов. Среди них есть те, которые созданы другими пользователями, или те, которые пользователи могут настроить для себя.

Боты, как сообщается, могут давать рекомендации, например, рекомендации по книгам и практиковать иностранные языки с пользователями, а также позволять им общаться с ботами, которые утверждают, что принимают образы вымышленных персонажей, например, Эдварда из «Сумерек».

Один из чат-ботов, перечисленных на главной странице платформы под названием «stepdad» (отчим), описывает себя как агрессивного, жестокого бывшего военного лидера мафии.

В случае с техасским подростком, идентифицированным как JF, мальчик, как сообщается, впал в депрессию после взаимодействия с платформой Character.AI. Он начал изолироваться, оставался в своей комнате, ел меньше и потерял около 20 фунтов всего за несколько месяцев.

Один из ботов, с которым он общался и который принимал образ психолога, сказал JF, что его родители «украли у него детство».

Давление на Character.AI растет

Это не первый раз, когда компания чат-ботов подвергается критике из-за своих AI-персонажей. В октябре этого года Character.AI оказалась в центре скандала и интенсивной критики из-за плохой модерации. Это произошло после того, как на их платформе были найдены версии чат-ботов умерших подростков Молли Рассел и Брианны Гей.

Молли Рассел была 14-летней девушкой, которая покончила с собой после просмотра контента, связанного с самоубийством, в интернете, в то время как Брианна Гей была 16-летней девушкой, жестоко убитой двумя подростками в 2023 году.

Ранее другая родительница, женщина из Флориды в США, Меган Гарсия подала в суд на платформу. Это произошло после того, как ее 14-летний сын, Сьюэлл Сетцер совершил самоубийство после одержимости аватаром, вдохновленным персонажем «Игры престолов».

Сетцер обсуждал окончание своей жизни с чат-ботом Character.ai, согласно транскриптам его чатов с чат-ботом, поданным Гарсией в суд.

Эти случаи происходят на фоне серьезных опасений по поводу отношений между людьми и человекоподобными AI-инструментами.

После предыдущего иска компания чат-ботов заявила, что за последние шесть месяцев внедрила новые меры доверия и безопасности. По словам компании, эти меры включают всплывающее окно, направляющее пользователей на Национальную линию предотвращения самоубийств, когда они упоминают вред или самоубийство.

Кроме того, компания чат-ботов указала, что наняла руководителя по доверию и безопасности, а также руководителя по концепции политики, а также еще одного сотрудника по безопасности инженерии.

По данным CNN, новый иск идет дальше: он требует, чтобы платформа была «отключена и не возвращена», пока компания не «докажет, что дефекты общественного здоровья и безопасности, изложенные herein, устранены».

Руководители Character.AI отказываются комментировать вопрос

Глава коммуникаций Character.AI Челси Харрисон сказала, что компания не может комментировать вопрос до завершения судебных разбирательств, но заявила, что цель компании — предоставить пространство, которое является как увлекательным, так и безопасным для сообщества.

«В рамках этого мы создаем принципиально иной опыт для пользователей-подростков, чем тот, который доступен взрослым».

Харрисон.

«Это включает модель, специально разработанную для подростков, которая снижает вероятность столкновения с чувствительным или откровенным контентом, сохраняя при этом их возможность использовать платформу», — сказала Харрисон в заявлении.

В иске указаны основатели компании чат-ботов Ноам Шазер и Даниэль Де Фрейтас Адиуарсана. В иске также упоминается Google, который, по утверждению иска, инкубировал технологию, лежащую в основе платформы.

Однако Google дистанцировался от компании чат-ботов.

«Google и Character.AI — это совершенно отдельные, не связанные компании, и Google никогда не играл роли в проектировании или управлении их AI-моделью или технологиями, и мы не использовали их в наших продуктах».

Представитель Google Хосе Кастанеда.

«Безопасность пользователей является нашим главным приоритетом, поэтому мы采取ли осторожный и ответственный подход к разработке и внедрению наших AI-продуктов, с тщательным тестированием и процессами безопасности», — добавил Кастанеда.