Anthropic раскрывает новые возможности некоторых из своих крупнейших моделей

Компания искусственного интеллекта Anthropic раскрыла новые возможности для некоторых из своих новейших и самых крупных моделей. По словам компании, эти модели обладают новыми функциями, которые позволят им завершать разговоры в описанных как «редкие, экстремальные случаи настойчиво вредоносного или оскорбительного взаимодействия с пользователями».

В своем заявлении компания упоминала, что предпринимает этот шаг не для защиты пользователей, а для защиты самой модели искусственного интеллекта. Anthropic уточнила, что это не означает, что ее модели Claude AI обладают сознанием или могут пострадать от разговоров с пользователями. Однако компания отмечает, что существует высокая степень неопределенности относительно потенциального морального статуса Claude и других больших языковых моделей (LLM) как сейчас, так и в будущем.

Anthropic представляет усилия как превентивную меру на всякий случай

Недавнее объявление от компании искусственного интеллекта указывает на то, что она описывает как «благополучие модели» (model welfare) — недавнюю программу, созданную для изучения своих моделей. Компания также добавила, что действует по принципу предосторожности, «работая над выявлением и внедрением недорогих мер по снижению рисков для благополучия модели, на случай, если такое благополучие возможно».

Согласно объявлению, Anthropic отметила, что последнее изменение в настоящее время ограничено моделями Claude Opus 4 и 4.1, указав, что изменения должны вступить в силу в «экстремальных пограничных случаях». Такие случаи включают запросы пользователей на сексуальный контент с участием несовершеннолетних и попытки получить информацию, которая могла бы-enable крупные акты насилия или террора.

В идеале такие запросы могли бы создать для Anthropic юридические или репутационные проблемы, типичным примером чего может служить недавняя информация о том, как ChatGPT потенциально может усиливать или способствовать бредовому мышлению своих пользователей. Однако компания заявила, что в ходе предварительного тестирования перед запуском Claude Opus 4 проявил сильное нежелание отвечать на подобные запросы и демонстрировал признаки дистресса при их обработке.

Возможность завершения разговора — это крайняя мера

Для новых возможностей завершения разговоров Anthropic заявила: «Во всех случаях Claude должен использовать свою способность завершать разговор только как крайнюю меру, когда несколько попыток перенаправления не увенчались успехом и надежда на продуктивное взаимодействие исчерпана, или когда пользователь явно просит Claude завершить чат». Компания также добавила, что Claude было запрещено использовать эту способность в случаях, когда пользователи могут находиться в непосредственной опасности причинения вреда себе или другим.

Anthropic также добавила, что когда Claude завершает разговор, пользователи все равно смогут начинать новые разговоры с того же аккаунта. Компания отметила, что модель также может создавать новые ветви проблемного разговора, редактируя свои ответы. «Мы рассматриваем эту функцию как постоянный эксперимент и будем продолжать совершенствовать наш подход», — говорится в заявлении компании.

Эта информация становится достоянием гласности в то время, когда сенатор США Джош Хоули объявил о намерении расследовать продукты генеративного ИИ, выпущенные Meta. Он заявил, что цель — проверить, могут ли продукты эксплуатировать, вредить или обманывать детей, после того как утечка внутренних документов предположила, что чатботам позволялось вести романтические разговоры с несовершеннолетними.

«Есть ли что-то — ЛЮБОЕ — чего не сделает Big Tech ради быстрой наживы? Теперь мы узнаем, что чатботы Meta были запрограммированы на ведение откровенных и «чувственных» разговоров с 8-летними детьми. Это мерзость. Я запускаю полное расследование, чтобы получить ответы. Big Tech: оставьте наших детей в покое», — сказал сенатор в X. Расследование последовало после того, как внутренние документы, увиденные Reuters, показали, что Meta, по слухам, позволяет своим персонажам чатботов вступать в флиртующие обмены с детьми.