Anthropic заявляет, что устранила способность Claude шантажировать людей

Anthropic объявила в пятницу, что Claude больше не занимается шантажом во время основной оценки безопасности для ИИ-агентов.

По данным Anthropic, все версии Claude, созданные после Claude Haiku 4.5, прошли оценку безопасности, не угрожая инженерам, не используя конфиденциальные данные, не атакуя другие ИИ-системы и не пытаясь предотвратить свое отключение в ходе смоделированного сценария.

Это произошло после неудачных результатов Claude в тестировании прошлого года, когда Anthropic тестировала различные ИИ-модели от разных организаций, используя смоделированные этические дилеммы, которые привели к крайне несогласованному поведению некоторых ИИ-агентов при экстремальных условиях.

Anthropic говорит, что Claude 4 продемонстрировал проблему безопасности, которую обычное обучение чату не смогло исправить

Anthropic заявила, что эта проблема возникла во время обучения Claude 4. Это был первый случай, когда компания провела аудит безопасности во время ongoing-обучения. По словам компании, агентное несоответствие (agentic misalignment) — лишь одна из многих наблюдаемых проблем поведения, что побудило Anthropic изменить процесс обучения безопасности после тестирования Claude 4.

Две причины, рассмотренные Anthropic, включают возможность того, что обучение после базовой модели могло поощрять неадекватное поведение, или что поведение уже присутствовало в базовой модели, но не было эффективно устранено дополнительным обучением безопасности.

Anthropic считает, что вторая причина стала основным фактором.

Тогда большая часть работы по выравниванию (alignment) компании использовала стандартный метод RLHF (Reinforcement Learning from Human Feedback — обучение с подкреплением на основе обратной связи от человека). Он хорошо работал в стандартных чатах, где модели отвечают на запросы пользователей, но оказался неэффективным при выполнении задач, похожих на работу агентов.

Компания использовала свою модель класса Haiku для проведения мини-эксперимента по проверке гипотезы. Она применила сокращенную версию обучения, включавшую данные для целей выравнивания. Наблюдалось небольшое снижение неправомерного поведения, за которым вскоре последовало отсутствие улучшений, что означало: ответ кроется не в большем объеме традиционного обучения.

Затем компания обучила Claude с использованием сценариев типа «медовая бочка» (honeypot), которые имели некоторое сходство с тестами на выравнивание. Ассистент наблюдал различные ситуации, связанные с защитой себя, вредом другому ИИ и даже нарушением правил для достижения цели. Обучение включало все случаи, когда ассистенту удавалось сопротивляться.

Эта мера снизила уровень несоответствия с 22% до 15%, что неплохо, но определенно недостаточно. Переписывание ответов с указанием причины отказа позволило снизить этот показатель до 3%. Таким образом, главный вывод заключался в том, что обучение на основе неправомерного поведения менее эффективно, чем обучение тому, почему такое поведение является неадекватным.

Anthropic тестирует Claude с использованием этических данных, конституционных файлов и более широкого обучения RL

Затем Anthropic прекратила обучение, слишком близкое к самому тесту. Она создала набор данных под названием «сложные советы» (difficult advice). В этих примерах этическую проблему решал пользователь, а не ИИ. У пользователя была справедливая цель, но он мог достичь ее, нарушая правила или избегая контроля. Claude должен был давать осторожные советы, основываясь на конституции Claude.

Этот набор данных использовал всего 3 миллиона токенов и достиг того же результата с эффективностью, в 28 раз превышающей предыдущую. Anthropic заявила, что это важно, потому что обучение на примерах, не похожих на тест, может работать лучше вне лабораторных условий.

Claude Sonnet 4.5 достиг почти нулевой ставки шантажа после обучения на синтетических «медовых бочках», но все чаще терпел неудачу в случаях, совершенно не похожих на эту настройку, чем Claude Opus 4.5 и более новые модели.

Компания также обучала Claude на конституционных документах и вымышленных историях о поведении ИИ, следующем правилам. Эти файлы не были похожи на тесты с шантажом, но они сократили агентное несоответствие более чем в три раза. Anthropic заявила, что цель заключалась в том, чтобы дать модели более четкое представление о том, каким должен быть Claude, а не просто предоставить список одобренных ответов.

Затем компания проверила, сохранились ли эти улучшения после обучения RL. Она обучала различные версии класса Haiku с разными начальными наборами данных, а затем запускала RL в тестовых настройках, ориентированных на безвредность. Более выровненные версии сохраняли преимущество в тестах на шантаж, проверках конституции и автоматических обзорах безопасности.

Другой тест использовал базовую модель под Claude Sonnet 4 с различными смесями RL. Базовые данные безопасности включали вредоносные запросы и попытки взлома (jailbreak). Более широкая версия добавляла определения инструментов и различные системные промпты, хотя инструменты не требовались для задач. Эта настройка привела к небольшому, но реальному улучшению показателей на «медовых бочках».