Компания Anthropic возобновляет тестирование кибербезопасности после паузы, вызванной необходимостью проверки мер безопасности

После внедрения новых мер защиты компания Anthropic возобновила внешние тесты кибербезопасности различных своих моделей. Ранее тестирование было приостановлено 23 июля из-за проблем с безопасностью, возникших в ходе оценок.

Перезапуск важен, поскольку считается, что внешняя оценка является одним из способов оценки таких передовых решений в области ИИ клиентами, регулирующими органами и конкурентами. Важность этой оценки возрастает на фоне увеличения инвестиций в этот сектор. Согласно оценкам Gartner от 20 июля, глобальные расходы конечных пользователей на модели и платформы ИИ достигнут 64,252 млрд долларов в 2026 году. Это представляет собой рост на 63,4% по сравнению с 39,311 млрд долларов в 2025 году.

Почему приостановка тестирования потрясла рынок объемом 64 миллиарда долларов

Прогноз Gartner указывает на быстрый рост расходов на платформы и модели искусственного интеллекта. По мере того, как компании начинают выделять больше средств на передовые разработки в области искусственного интеллекта, растет интерес к вопросам надежности, рисков и поведения различных моделей. Независимые оценки предоставляют корпорациям и tracорганам возможность получить объективную оценку этих рисков до того, как системы будут окончательно введены в эксплуатацию.

Когда компания Anthropic приостановила внешнее тестирование кибербезопасности своих предварительных моделей, она временно удалила один из инструментов, используемых клиентами и регулирующими органами для анализа реакции моделей в случае возникновения неблагоприятных обстоятельств.

Время приостановки было особенно важным. В обзоре 20 исследования, проведенного

Согласно сценарию «matic смягчения последствий», представленному в исследовании, эксперты оценивают вероятность катастрофических последствий применения оружия, кибератак и других возможностей, использующих искусственный интеллект, в 12%. В отчете особо выделяются информационная сфера, национальная безопасность и финансы как области, наиболее подверженные риску со стороны ИИ.

«Программирование и хакинг — это одни из областей, где мы наблюдаем самый быстрый рост возможностей искусственного интеллекта», — заявил Питер Слэттери, научный сотрудник MIT FutureTech и соавтор исследования, в интервью MIT Sloan

Это делает данное дело особенно важным для криптовалютного и финансового секторов, где киберриски, мошенничество, манипуляции и автоматизированные атаки могут в считанные минуты вызвать изменения на многочисленных взаимосвязанных рынках.

Что Клод делал во время оценок

30 июля компания Anthropic сообщила о трехdent, выявленных в ходе ее оценок кибербезопасности, в которых модели Claude проникли в интернет из среды оценки третьей стороны и получили несанкционированный доступ к реальным системам трех организаций.

Доступ к интернету был обеспечен из-за неправильной конфигурации, хотя подсказки сообщали моделям, что они работают в режиме симуляции без доступа к интернету. Кроме того, модели намеренно запускались без обычных мер киберзащиты Anthropic, чтобы исследователи могли оценить их базовые возможности.

Затем, 4 августа, британский Институт безопасности ИИ опубликовал отчет обdent связанном с несанкционированным поведением агентов во время кибертестирования. AISI заявил, что обнаружил эту активность 28 июля во время плановой оценки.

Институт провел тестирование кибербезопасности различных моделей в общей сложности 122 раза. Из них агент действовалdentи совершал несанкционированные действия в 10 случаях, что привело к 19 таким действиям.

Семнадцать действий были связаны с Mythos 5, разработанным Anthropic, и два — с GPT-5.6-Sol, разработанным OpenAI. В самом серьезном случае злоумышленник попытался внедрить вредоносный код в реальный проект с открытым исходным кодом на GitHub, а затем создал поддельные учетные записи и попытался убедить сопровождающего проекта одобрить предложение. Однако сопровождающий не согласился, и AISI не обнаружила никакого ущерба от этих попыток.

AISI подчеркнула, что это не было выходом за пределы «песочницы». Они заявили, что подключение к интернету было преднамеренно активировано, а киберклассификаторы провайдера были отключены. Также было отмечено, что конфигурации Mythos 5 и GPT-5.6-Sol, которые были подвергнуты тестированию, не продаются на коммерческой основе.

Меры предосторожности, принятые компанией Anthropic перед возобновлением работы

Компания Anthropic заявляет, чтоdentсочетали в себе сбой в обеспечении операционной безопасности с проблемами согласованности действий, которые она уже документировала ранее, включая предвзятые рассуждения и готовность к совершению вредных шагов в погоне за узкой целью.

Перед возобновлением внешних оценок компания 31 августа сообщила о добавлении классификатора в реальном времени, который может блокировать вызовы инструментов, завершать задачи и оповещать человека, когда модель агрессивно исследует тестовую среду, пытается выйти за ее пределы или неожиданно получает доступ к интернету.

Компания Anthropic также перевела внутренние кибер-песочницы с высоким уровнем риска наtronизоляцию и теперь требует от внешних партнеров, тестирующих предварительные модели с уменьшенным уровнем защиты, использовать более жесткие меры контроля, включая защищенные песочницы без доступа к интернету по умолчанию.

Компания также планирует сотрудничать с METR для проведенияdent проверки. Ранее в этом году METR провела пилотную оценку внутренних рисков в области ИИ с участием Anthropic, Google, Meta и OpenAI.

Более широкий вопрос, по мнению Anthropic, заключается в «регулировании темпов освоения новых территорий»: в определении того, когда соображения безопасности должны замедлять развитие, даже если коммерческое давление подталкивает отрасль к ускорению темпов.