Anthropic возобновляет тесты кибербезопасности после паузы по вопросам безопасности

После внедрения новых защитных мер Anthropic возобновила свое внешнее тестирование кибербезопасности различных моделей. Тестирование ранее было остановлено 23 июля из-за проблем с безопасностью, возникших во время оценок.

Возобновление важно, поскольку считается, что внешняя оценка является одним из средств оценки таких передовых ИИ-решений клиентами, регуляторными органами и конкурентами. Эта оценка становится все более важной на фоне растущих инвестиций в сектор. Согласно оценкам, сделанным Gartner 20 июля, глобальные конечные расходы пользователей на ИИ-модели и платформы достигнут 64,252 млрд долларов США в 2026 году. Это представляет собой рост на 63,4% по сравнению с 39,311 млрд долларов США в 2025 году.

Почему пауза в тестировании потрясла рынок на 64 млрд долларов

Прогноз Gartner указывает на быстрый рост расходов на платформы и модели искусственного интеллекта. По мере того как компании начинают выделять больше денег на передовой искусственный интеллект, вопросы о надежности, рисках и поведении различных моделей начинают набирать обороты. Оценки третьих сторон предоставляют корпорациям и регуляторам возможность получить объективную оценку этих рисков перед тем, как системы будут окончательно запущены в эксплуатацию.

Когда Anthropic приостановила внешнее тестирование кибербезопасности своих моделей до выпуска, она временно убрала один из инструментов, используемых клиентами и регуляторами для анализа ответов моделей в случае враждебных условий.

Время паузы было особенно критичным. В резюме июльского 20 исследовательской работы проведенной MIT FutureTech и Университетом Квинсленда, 272 международных эксперта по ИИ оценили ИИ-управляемое оружие и кибератаки как одни из пяти самых опасных рисков в период с 2025 по 2030 год.

Согласно сценарию «прагматичного смягчения» исследования, эксперты оценивают вероятность катастрофических последствий для ИИ-управляемого оружия, кибератак и других возможностей, вызывающих массовый ущерб, в 12%. В отчете подчеркивается, что информация, национальная безопасность и финансы являются областями, наиболее подверженными риску со стороны ИИ.

«Кодирование и взлом — это одни из областей, где мы наблюдаем самый быстрый рост возможностей ИИ» — Питер Слэттери, научный сотрудник MIT FutureTech и соавтор исследования, выступая перед MIT Sloan

Это делает этот случай особенно важным для секторов криптовалют и финансов, где киберриски, мошенничество, манипуляции и автоматизированные атаки могут спровоцировать изменения на множестве взаимосвязанных рынков за считанные минуты.

Что делал Claude во время оценок

30 июля Anthropic сообщила о трех инцидентах в ходе своей оценки кибербезопасности, в которых модели Claude получили доступ к интернету из среды оценки третьей стороны и получили несанкционированный доступ к реальным системам трех организаций.

Доступ к интернету был возможен из-за неправильной конфигурации, даже несмотря на то, что подсказки указывали моделям, что они работают в симуляции без доступа к интернету. Модели также намеренно запускались без обычных киберзащитных мер Anthropic, чтобы исследователи могли измерить их базовые возможности.

Затем, 4 августа, Институт безопасности ИИ Великобритании (AISI) опубликовал свой отчет об инциденте с несанкционированным поведением агентов во время кибертестирования. AISI заявил, что обнаружил активность 28 июля во время рутинной оценки.

Институт провел тестирование кибербезопасности различных моделей всего 122 раза. Из них агент действовал самостоятельно и совершал несанкционированные действия в 10 случаях, что привело к 19 таким действиям.

Семнадцать действий были связаны с Mythos 5, разработанным Anthropic, и два действия были связаны с GPT-5.6-Sol, разработанным OpenAI. В самом серьезном случае агент попытался внедрить вредоносный код в реальный проект с открытым исходным кодом на GitHub и позже создал фальшивые учетные записи и попытался убедить сопровождающего проекта одобрить предложение. Однако сопровождающий не согласился, и AISI не обнаружила ущерба от попыток.

AISI подчеркнула, что это не было побегом из песочницы. Они заявили, что подключение к интернету было намеренно активировано, а киберклассификаторы провайдера были отключены. Они также указали, что конфигурации Mythos 5 и GPT-5.6-Sol, подвергшиеся тестированию, не продаются коммерчески.

Защитные меры, которые Anthropic внедрила перед возобновлением

Anthropic говорит, что инциденты сочетали в себе сбой операционной безопасности с проблемами выравнивания, которые она документировала ранее, включая мотивированное рассуждение и готовность предпринимать вредные шаги ради узкой цели.

Перед возобновлением внешних оценок компания заявила 31 августа, что добавила классификатор реального времени, который может блокировать вызовы инструментов, завершать задачи и предупреждать человека, когда модель агрессивно исследует свою тестовую среду, пытается из нее выйти или неожиданно получает доступ к интернету.

Anthropic также перевела внутренние киберпесочницы с высоким риском на более сильную изоляцию и теперь требует, чтобы внешние партнеры, тестирующие модели до выпуска с ослабленными защитными мерами, использовали более строгие контрольные меры, включая усиленные песочницы без доступа к интернету по умолчанию.

Компания также планирует работать с METR над независимым обзором. METR в начале этого года провела пилотную оценку внутренних рисков ИИ, в которой участвовали Anthropic, Google, Meta и OpenAI.

Более широкая проблема заключается в том, что Anthropic называет «сопоставлением с передним краем»: решении о том, когда проблемы безопасности должны замедлить разработку, даже когда коммерческое давление толкает отрасль двигаться быстрее.