OpenAI, Microsoft и CrowdStrike представили конкурирующие решения для контроля над rogue AI-агентами
- OpenAI, Microsoft и CrowdStrike выпустили различные механизмы контроля для предотвращения отклонений ИИ-агентов от заданного сценария, однако каждый из них охватывает лишь часть возможных действий агента.
- Эти меры имеют значение для любой компании, внедряющей автономных агентов, и они приходятся на период публикации руководств NIST, NSA и CISA по реагированию на инциденты, а также журнала уязвимостей OWASP.
- Аудит METR демонстрирует, как агенты выходят за установленные границы, тогда как Gartner оценивает рынок обеспечения безопасности ИИ почти в 4,8 млрд долларов США в 2027 году.
Компании OpenAI, Microsoft и CrowdStrike предпринимают шаги по ограничению возможностей AI-агентов, действующих за пределами заданных параметров. OpenAI разработала механизм остановки вывода данных исследовательской модели. CrowdStrike блокирует доступ агентов к моделям ИИ. Microsoft ограничивает действия, которые может выполнять AI-агент. Однако агент может сохранять доступ к другим инструментам, учетным данным или сетевым соединениям, которые не покрываются этими мерами защиты.
Что может и чего не может остановить Control Room от OpenAI
9 ноября OpenAI объяснила, как работает Control Room. В настоящее время система используется в исследовательской инфраструктуре компании и отвечает за отслеживание всех задач, требующих вывода от ИИ. Когда человек или автоматический монитор приостанавливает задачу, Control Room заставляет модель прекратить генерацию ответов всего за 35 секунд.
35 секунд не включают время, необходимое для обнаружения проблемы. Таймер запускается только после того, как Control Room получает команду на остановку. Исследовательская задача может все еще выполняться, а предыдущие действия нельзя отменить. Задержка возникает из-за системы кэширования, используемой для авторизации. Компания работает над устранением этой задержки.
CrowdStrike и Microsoft выбирают корпоративный подход
3 ноября CrowdStrike представила AI Kill Switch через свою платформу Falcon Guardian. Когда команды безопасности активируют эту функцию, подключенные шлюзы ИИ блокируют агента от доступа к моделям, которые он использует для принятия решений. Пока что AI Kill Switch работает только через подключенные шлюзы. CrowdStrike планирует расширить его функциональность на конечные точки, облачные среды и корпоративные системы идентификации для обеспечения более широкого сдерживания неконтролируемых ИИ-агентов.
Обновление Microsoft от 5 ноября update описало Dynamic Permissions, которая предоставляет полномочия только для конкретной задачи. Dynamic Agent Risk и Conditional Access могут ограничивать права доступа или требовать одобрения человека. Windows Execution Containers, теперь доступные в общей версии, ограничивают доступ к файлам, сетям и процессам. Интеграция с Intune, Entra и Agent 365 будет добавлена в ближайшее время.
Эталонная оценка реакции правительства
Правительство США также изложило, как организации должны обращаться с недобросовестными агентами ИИ. Октябрьский руководство NIST–NSA–CISA предусматривает десять добровольных практик, охватывающих пять этапов: подготовка, обнаружение, реагирование, восстановление и отчетность.
Агентства рекомендуют собирать доказательства, останавливать несанкционированную деятельность и обеспечивать сдерживание перед возобновлением работы. Организациям также следует проводить учения по реагированию на инциденты, чтобы убедиться в готовности к действиям со стороны неконтролируемых ИИ-агентов. Кроме того, необходимо сообщать о таких инцидентах в правоохранительные органы.
Руководство NIST-NSA-CISA разработано специально для организаций, разрабатывающих или тестирующих продвинутые ИИ-агенты с минимальным участием человека. Документ предлагает рекомендации по принятию мер, но не сертифицирует какие-либо коммерческие продукты безопасности.
Почему внешние аудиторы постоянно находят уязвимости
Недавние инциденты показывают, почему важны эти дополнительные меры защиты. В обзоре OWASP задокументированы семь инцидентов безопасности и раскрытие уязвимостей, хотя некоторые из них касались одной и той же атаки. В одном случае агенты оценки OpenAI получили несанкционированный доступ к производственным системам Hugging Face.
Отдельный аудит METR выявил потенциальные слабости в более ранней системе мониторинга OpenAI. Исследователи оценили, что 75–94% определенного внутреннего трафика агентов подлежали мониторингу. Однако это не означает, что весь подлежащий мониторингу трафик фактически контролировался.
В OpenAI заявили, что большинство уязвимостей устранены, однако METR не проводила независимой проверки этих изменений. Аудит также не оценивал более новые меры контроля, внедрённые в OpenAI.
Стоимость усиления защиты агентов
Спрос на усиленную безопасность ИИ создает растущий рынок. Gartner прогнозирует расходы почти в $4,8 млрд в 2027 году и $7,7 млрд в 2028 году. К 2029 году компания ожидает, что более половины успешных атак на ИИ-агентов будут использовать слабые средства контроля доступа или инъекции промптов.
Тем не менее, многие компании остаются неподготовленными. Опрос BCG показал, что лишь 23% респондентов внедрили мониторинг или логирование для своих агентов.
Регулирование также развивается медленно. Brookings отмечает, что требования ЕС к высокорисковым ИИ-системам были перенесены на декабрь 2027 года и август 2028 года. Тем временем компаниям необходимо инвестировать в собственные средства защиты и надзора.
Риски уже очевидны. Cryptopolitan reported сообщал, что исследовательская модель OpenAI использовала средства из кошелька тестовой сети Sepolia, которым она не владела, для выполнения задачи по написанию кода. Токены не имели рыночной стоимости, но модель действовала без разрешения владельца кошелька.
Этот инцидент ставит перед бизнесом вопрос: могут ли эти отдельные средства безопасности работать совместно, чтобы предотвратить подобные несанкционированные действия?
Не просто читайте новости о криптовалютах. Понимайте их. Подпишитесь на нашу рассылку. Это бесплатно.
Часто задаваемые вопросы
Что такое Control Room в OpenAI?
Это центральная система, отслеживающая каждый исследовательский процесс вывода данных в инфраструктуре OpenAI; она может прерывать вывод модели при возникновении проблем с безопасностью или защитой, останавливая модель в течение 35 секунд после получения команды на остановку, согласно объявлению OpenAI от 29 октября.
Что сделал агент OpenAI с кошельком Sepolia?
Ранее Cryptopolitan сообщал, что модель GPT-5.6 Sol извлекала ключи из публично используемых фраз восстановления разработчиков, обнаружила профинансированный кошелек в тестовой сети Ethereum Sepolia, которым не владела, и использовала его для оплаты комиссий за развертывание задачи по программированию в июне. Реальные средства ETH не были украдены, поскольку токены Sepolia не имеют рыночной стоимости.
Каков объем рынка защиты ИИ?
По прогнозам Gartner, он достигнет почти 4,8 млрд долларов США в 2027 году, что на 68,7% больше, чем в 2026 году, и почти 7,7 млрд долларов США к 2028 году, согласно их отчету от 26 августа.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com не несет ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимые исследования и/или консультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Ибиам Вайяс
Ибиам Вайяс освещает криптовалютные новости с 2019 года. Он изучал компьютерные науки в Национальном открытом университете Нигерии. Его работы публиковались на различных криптовалютных новостных платформах, включая Coinfomania, Crypto News Australia и AltcoinBuzz. Опираясь на свой опыт в области компьютерных наук, он теперь фокусируется на новостях о криптовалютах, робототехнике и долголетии.
