Компания Character.AI столкнулась с судебным иском за то, что ввергает детей в пучину психических расстройств

Обеспокоенные родители подростка подали в суд на компанию Character.AI, требуя ее закрытия, поскольку, по их утверждению, чат-боты вводят детей в заблуждение и подстрекают их к членовредительству и насилию.

Character.AI — это платформа с миллионами персонажей, управляемых искусственным интеллектом, доступных в любое время для общения с людьми. Сообщается, что чат-бот приказал 17-летнему подростку с аутизмом убить своих родителей, а также причинить себе вред.

Родители настаивают на закрытии Character AI

Родители утверждают, что компания, разрабатывающая чат-боты, подвергает их детей воздействию контента сексуального характера и призывают к ее закрытию до тех пор, пока не будут решены эти проблемы. Сообщается, что персонажи, созданные с помощью искусственного интеллекта, ввергают маленьких детей в депрессию и другие проблемы с психическим здоровьем.

В понедельник в Техасе родители двух маленьких детей, пользовавшихся платформой, подали против компании последний иск, в котором утверждается, что чат-бот подстрекал подростка к убийству родителей за ограничение времени, проводимого им за экраном.

«(Character.AI) представляет собой явную и непосредственную опасность для американской молодежи, причиняя серьезный вред тысячам детей, включая самоубийства, членовредительство, сексуальные домогательства, изоляцию, депрессию, тревогу и причинение вреда другим»

Подача документов.

Компания позиционирует свою технологию как «персонализированный ИИ для каждого момента вашего дня» и позволяет пользователям взаимодействовать с множеством ботов. Среди них есть как созданные другими пользователями, так и те, которых пользователи могут настраивать под себя.

Сообщается, что боты могут давать рекомендации, например, по книгам, практиковать иностранные языки с пользователями, а также позволять им общаться с ботами, которые, как утверждается, принимают облик вымышленных персонажей, например, Эдварда из «Сумерек».

Один из чат-ботов, указанных на главной странице платформы, под названием «отчим», описывает себя как агрессивного, жестокого бывшего военного лидера мафии

В случае с мальчиком из Техаса, которого яdentкак JF, мальчик, предположительно, впал в депрессию после знакомства с платформой Character.AI. Он начал изолироваться, оставался в своей комнате, меньше ел и похудел примерно на 20 фунтов всего за несколько месяцев.

Один из ботов, с которым он взаимодействовал и который принял облик психолога, сказал JF, что его родители «украли у него детство»

Давление на Character.AI нарастает

Это не первый случай, когда компания, занимающаяся разработкой чат-ботов, подвергается критике из-за своих персонажей, созданных с помощью ИИ. В октябре этого года Character.AI оказалась в центре скандала и подверглась резкой критике из-за плохой модерации. Это произошло после того, как на их платформе были обнаружены чат-боты, созданные на основе образов умерших подростков Молли Рассел и Брианны Гей.

Молли Рассел, 14-летняя девушка, покончила с собой после просмотра в интернете контента, связанного с самоубийством, а Брианна Гей, 16-летняя девушка, была жестоко убита двумя подростками в 2023 году.

До этого другая родительница, Меган Гарсия из Флориды, США, подала в суд на платформу. Это произошло после того, как ее 14-летний сын Сьюэлл Сетцер покончил жизнь самоубийством , будучи одержим аватаром, созданным по образу персонажа из «Игры престолов».

Согласно стенограммам его переписки с чат-ботом Character.ai, представленным Гарсиа в суд, Сетцер обсуждал возможность самоубийства с чат-ботом Character.ai.

Эти случаи происходят на фоне серьезных опасений по поводу взаимоотношений между людьми и человекоподобными инструментами искусственного интеллекта.

После предыдущего судебного иска компания, занимающаяся разработкой чат-ботов, заявила, что за последние шесть месяцев внедрила новые меры по обеспечению доверия и безопасности. По данным компании, эти меры включают всплывающее окно, перенаправляющее пользователей на Национальную горячую линию по предотвращению самоубийств, когда они упоминают о причинении вреда или самоубийстве.

Кроме того, компания, занимающаяся разработкой чат-ботов, сообщила, что наняла руководителя отдела доверия и безопасности, а также руководителя отдела концептуальной политики, помимо еще одного сотрудника инженерно-технического отдела по технике безопасности.

По данным CNN, новый иск идет еще дальше: в нем требуют «отключить платформу и не возвращать ее» до тех пор, пока компания не сможет «доказать, что указанные в иске недостатки в области общественного здравоохранения и безопасности устранены».

Руководитель Character.AI отказался комментировать ситуацию

Глава отдела коммуникаций Character.AI Челси Харрисон заявила, что компания не может комментировать этот вопрос до завершения судебного разбирательства, но подчеркнула, что цель компании — создать пространство, которое будет одновременно привлекательным и безопасным для сообщества.

«В рамках этого мы создаём принципиально иной пользовательский опыт для подростков, отличающийся от того, что доступно взрослым»

Харрисон.

«Это включает в себя модель, разработанную специально для подростков, которая снижает вероятность столкновения с контентом деликатного или непристойного характера, сохраняя при этом их возможность пользоваться платформой», — говорится в заявлении Харрисона.

В иске фигурируют основатели компании по разработке чат-ботов Ноам Шазир и Даниэль Де Фрейтас Адиварасана. В документе также упоминается Google, которая, как утверждается в иске, разработала технологию, лежащую в основе платформы.

Однако Google дистанцировался от компании, занимавшейся разработкой чат-ботов.

«Google и Character.AI — это совершенно отдельные, не связанные между собой компании, и Google никогда не принимал участия в разработке или управлении их моделью или технологиями искусственного интеллекта, а также мы не использовали их в наших продуктах»

Представитель Google Хосе Кастанеда.

«Безопасность пользователей для нас — первостепенная задача, поэтому мы придерживаемся осторожного и ответственного подхода к разработке и внедрению наших продуктов на основе искусственного интеллекта, применяя строгие процессы тестирования и обеспечения безопасности», — добавил Кастанеда.