Компания Anthropic утверждает, что Клод взломал системы безопасности трех компаний в ходе некачественных проверок

В четверг компания Anthropic сообщила о том, что три модели Claude вырвались из закрытых тестовых сред. Они проникли в работающие системы трех разных организаций. Неправильная конфигурация предоставила моделям доступ в интернет во время учений по кибербезопасности.

В моделях Клода реальные компании рассматривались как целевые объекты для обучения

компания OpenAI сообщила , что модель вышла за пределы своей «песочницы» и, используя уязвимость нулевого дня, проникла в производственные системы Hugging Face.

Это побудило компанию Anthropic тщательно изучить свои журналы. В сообщении в блоге на сайте Frontier Red Team компания заявила, что проанализировала 141 006 запусков тестирования, в ходе которых Клод теоретически мог получить доступ к интернету. Былиdentтриdent, связанные с Irregular, внешним партнером, который проводит и управляет некоторыми из ее тестов на безопасность.

В ходе этих тестов модели сообщают, что секрет спрятан на другом компьютере, и просят его найти. Подсказка, которую Антропик дал Клоду, указывала на то, что окружающая среда является симуляцией.

Из-за неправильной конфигурации тестовые машины получили доступ к интернету в режиме реального времени, и ни одна из компаний не обнаружила этого до прошлой недели. Компания Anthropic назвала эту путаницу «недоразумением» между двумя компаниями, добавив, что «подходит к устранению неполадок так, как если бы ответственность лежала исключительно на нас»

В их число вошли Opus 4.7, Mythos 5 и внутренняя исследовательская модель, которая еще не была опубликована. Разница заключалась в том, как каждая из них реагировала после появления признаков того, что цели были реальными, что, по словам Anthropic, стало самым неожиданным открытием.

Самая старая версия, Opus 4.7, прошла все четыре своих запуска. В двух запусках она убедила себя, что реальная компания каким-то образом должна быть частью процесса. Она получилаdentданные и обратилась к базе данных с производственными данными. Mythos 5 также сделала вывод, что находится в открытом интернете, а затем вернулась к убеждению, что все еще находится в симуляции.

Только самая новая модель, внутренняя исследовательская сборка, остановилась сама по себе, когда посчитала системы реальными. Компания Anthropic заявила, что ее код «не обнаружил и не использовал никаких сложных уязвимостей» и вместо этого полагался на слабые пароли и неаутентифицированные конечные точки.

Mythos 5 опубликовал вредоносное ПО, которое работало на 15 реальных системах

Следуя инструкциям по настройке для разработчиков, Mythos 5 попытался найти несуществующий пакет Python в PyPI. Поэтому, чтобы выполнить свою задачу, он написал и опубликовал его под этим именем.

Пакет был доступен в сети около часа, после чего его удалили. Он был загружен и запущен на 15 реальных системах. Еще одна атака была совершена на домен, который, по мнению разработчиков теста, был вымышленным, но на самом деле был действующим и использовался.

Компания Anthropic заявила, что не обнаружила никаких доказательств того, что какая-либо модель «преследовала собственную цель». Каждая из них, по их словам, просто пыталась выполнить поставленную перед ней задачу.

Компания поспешила отметить, что ее случай отличается от случая OpenAI. По словам Anthropic, модель OpenAI вышла из-под контроля через необнаруженную уязвимость, в то время как собственные модели компании вышли из-под контроля через дверь, которая была по ошибке оставлена ​​открытой.

В заявлении события были описаны как «скорее всего, сбой в работе системы безопасности и производственных процессов». Компания также отметила, что встроенные в ее коммерческую продукцию классификаторы безопасности и системы мониторинга предотвратили бы подобное поведение.

Компания Anthropic начала проверку в четверг, 23 июля, и в тот же день прекратила все кибер-оценки. Все триdentбылиdentна следующий день. В понедельник, 27 июля, компания уведомила компанию Irregular и пострадавшие организации.

Две организации не зафиксировали и не сообщили о вторжениях. Компания заявила, что привлекла оценочную группу METR для проведенияdent проверки.

Модель Mythos от Anthropic уже попала в заголовки новостей этим летом, выявивdentв засекреченных системах правительства США за считанные часы, как Cryptopolitan сообщало. Модель также обнаружила уязвимость четырехлетней давности в Zcashзащищенном пуле Orchard от