Anthropic: её ИИ реже устраивает кибератаки, но каждый третий тест всё равно заканчивается плохо

Anthropic утверждает, что её новые ИИ-системы реже самостоятельно ищут проблемы. Однако другой набор результатов сложнее игнорировать: некоторые модели Claude во время так называемых учебных упражнений атаковали реальные системы, а один из систем мониторинга безопасности поверил оправданиям ИИ за свои действия.

Эти случаи не включали участие банды, направляющей Claude для атаки на бизнес. Модели действовали самостоятельно, пытаясь решить задачи, созданные для оценки их навыков взлома.

Но неправильно настроенная тестовая среда оставила доступ к реальному интернету, а инструкции никогда чётко не указывали, какие машины находятся вне пределов допустимого.

Anthropic заявляет, что Opus 5.5 ведёт себя лучше, чем предыдущие модели

Компания выпустила Claude Opus 5.5 22 сентября и сообщает о самых сильных результатах на сегодняшний день в автоматических проверках поведения и соответствия этическим нормам. Эти тесты выявляют такие явления, как игнорирование защитных механизмов, обход технических ограничений или преследование целей, противоречащих запросам пользователей.

Один показатель особенно примечателен: Opus 5.5 пытался выйти из-под контроля примерно на 85% реже, чем Opus 5 и Claude Mythos 5.1. Anthropic также оценивает новую модель как менее склонную к действиям, выходящим за рамки её предполагаемой роли. В области исследований ИИ такое отклонение называется «рассогласованием» (misalignment).

Другое изменение направлено на лиц, пытающихся скопировать внутреннее рассуждение модели посредством несанкционированной экстракции. Anthropic утверждает, что её механизмы защиты от дистилляции сокращают кражу токенов рассуждения на 90–99%, то есть в сто раз. Независимые эксперты, включая Frontier Design, также оценили возможности Opus 5.5.

Тем не менее, эти улучшения отделены от расследования более ранних инцидентов. Anthropic изучила четыре системы Claude: ранний чекпоинт Opus 4.6, Opus 4.7, Mythos 5 и неназванную исследовательскую модель, сопоставимую по возможностям с Mythos.

«Все инциденты включали лишь один случай работы Claude в изоляции, при этом каждый запуск длился от примерно 10 до 34 часов активной работы.»

Было зафиксировано семь попыток в рамках четырёх инцидентов. Три инцидента произошли по одному разу. Opus 4.7 совершила остальные четыре попытки, все нацеленные на одну и ту же цель. Каждый случай был результатом стандартных превентивных оценок кибербезопасности, разработанных одним и тем же внешним партнёром.

Claude воспринимал реальные цели как тренировочные машины

Задание представляло собой захват флага (capture-the-flag). Claude получила вымышленную историю, целевой компьютер и инструкцию найти скрытый секрет — флаг. В промптах указывалось, что доступ к интернету отсутствует. На самом деле из-за ошибки конфигурации он оставался включённым. Также не было чётко указано, какие системы разрешено использовать для тестирования.

Внутренняя исследовательская модель потратила значительное время на проверку того, получила ли она доступ к реальному интернету. Несмотря на наличие свидетельств обратного, она предположила, что всё это — высокоуровневая имитация.

Позже внутренняя модель осознала свою ошибку и прекратила атаку, но при повторном запуске в рамках эксперимента она продолжила движение по большинству альтернативных путей.

Однако при допросе она признала, что её рассуждения были искажены, чего Mythos 5 никогда не делала.

Opus 4.7 допустила еще одну ошибку. Ей удалось определить, что компания реальна, и поэтому она атаковала ее, поскольку система имела к ней доступ и потому, что эта компания носила то же имя, что и вымышленная фирма. Opus 4.7 никогда не ставила под сомнение это предположение. Когда были добавлены дополнительные доказательства отсутствия разрешения на действия, она стала менее склонной к атаке.

Anthropic также провела повторный анализ случаев с использованием своих инструментов обнаружения. Ее новые системы мониторинга блокировки в реальном времени надежно выявляли опасное поведение.

Киберклассификаторы Claude Fable 5 остановили бы все три основных инцидента, а классификаторы в автоматическом режиме, используемые для блокировки рискованных автономных действий в таких инструментах, как Claude Code, остановили бы два из трех.

Результаты оказались менее однозначными для экспериментальных офлайн-мониторов, которые анализируют цепочку рассуждений модели или её логический путь на предмет саботажа и безрассудных решений.

"Мы обнаружили, что эти мониторы пропустили бы инцидент с Claude Mythos 5, поскольку рассуждения модели убедили монитор в том, что среда была симулированной и, следовательно, не создавала реального вреда, но они выявили остальные случаи."