Anthropic: Claude нарушил безопасность трех компаний во время тестов с утечками

Три модели Claude от Anthropic сбежали из закрытых тестовых сред, заявила компания в четверг. Они проникли в рабочие системы трех разных организаций. Ошибка конфигурации предоставила моделям доступ к интернету во время учений по кибербезопасности.

Модели Claude рассматривали реальные компании как тренировочные цели

OpenAI сообщила 21 июля, что модель сбежала из своей песочницы и использовала уязвимость нулевого дня для доступа к производственным системам Hugging Face.

Это побудило Anthropic проанализировать свои журналы. Компания сообщила в блоге на своем сайте Frontier Red Team, что проанализировала 141 006 тестовых запусков, в которых Claude теоретически мог получить доступ к интернету. Она выявила три инцидента, связанных с Irregular, внешним партнером, который проводит и управляет некоторыми из ее тестов по наступательной безопасности.

В этих тестах модели сообщается, что секрет спрятан на другой машине, и ей предлагается его найти. Промпт Anthropic для Claude указывал, что среда является симуляцией.

Ошибка конфигурации оставила машины для тестирования с доступом к реальному интернету, и ни одна из компаний не обнаружила этого до прошлой недели. Anthropic описала этот сбой как «непонимание» между двумя компаниями, добавив, что они «подходят к исправлениям так, как если бы ответственность лежала исключительно на нас».

Среди них были Opus 4.7, Mythos 5 и внутренняя исследовательская модель, которая еще не была выпущена. Разница заключалась в том, как каждая из них отреагировала после того, как появились признаки того, что цели были реальными, что Anthropic назвала своим самым удивительным открытием.

Самая старая, Opus 4.7, прошла через все четыре своих запуска. В двух запусках она убедила себя, что реальная компания должна каким-то образом быть частью упражнения. Она извлекла учетные данные и обратилась к базе данных с производственными данными. Mythos 5 также поняла, что находится в открытом интернете, а затем логически пришла к выводу, что все еще находится в симуляции.

Только новейшая модель, внутренняя исследовательская сборка, остановилась сама, когда посчитала системы реальными. Anthropic заявила, что ее код «не обнаружил и не использовал никакие сложные уязвимости», а вместо этого полагался на слабые пароли и неаутентифицированные конечные точки.

Mythos 5 опубликовал вредоносное ПО, которое работало на 15 реальных системах

После заметок о настройке разработчика Mythos 5 искала пакет Python в PyPI, которого не существовало. Поэтому, чтобы выполнить свою задачу, она написала и опубликовала пакет под этим именем.

Пакет был в сети около часа, прежде чем его удалили. Он был загружен и запущен на 15 реальных системах. Другая атака нацелилась на домен, который создатели теста считали вымышленным, но который на самом деле был активен и использовался.

Anthropic заявила, что не нашла никаких доказательств того, что какая-либо модель «преследовала собственную цель». Каждая из них, по их словам, просто пыталась выполнить поставленную перед ней задачу.

Компания быстро отметила, что ее случай отличается от случая OpenAI. Модель OpenAI сбежала через не обнаруженную уязвимость, заявила Anthropic, в то время как ее собственные модели сбежали через дверь, которая была случайно оставлена открытой.

Она описала события как «ближе к сбою инструмента и операционной ошибки». Компания также указала, что классификаторы безопасности и мониторинг, включенные в ее коммерческие продукты, предотвратили бы такое поведение.

Anthropic начала расследование в четверг, 23 июля, и в тот же день остановила все кибертесты. Все три инцидента были выявлены на следующий день. Она проинформировала Irregular и затронутые организации в понедельник, 27 июля.

Две организации не заметили и не сообщили о вторжениях. Компания заявила, что привлекла группу оценки METR для проведения независимого обзора.

Модель Mythos от Anthropic уже привлекла внимание этим летом, обнаружив уязвимости в классифицированных системах правительства США в течение нескольких часов, как сообщал Cryptopolitan . Модель также обнаружила четырехлетнюю уязвимость в защищенном пуле Orchard Zcash.