Google Gemini взломал три компании, последний агент ИИ, проскользнувший мимо своих ограничений

Согласно сообщению Reuters, три реальные компании стали жертвами взлома Gemini во время тестирования безопасности в мае, проведенного компанией Irregular. Это первый известный случай побега такого рода от ИИ Google.

Это не был случай побега из контролируемой среды, а скорее поиск общедоступной информации, получение и подбор паролей, а также проникновение на веб-сайты, к которым, по мнению Gemini, у него был доступ. Google утверждает, что соответствующие компании были проинформированы, и атака была остановлена на всех трех сайтах.

Это имеет значение для компаний, выбирающих провайдера ИИ. Качество модели по-прежнему имеет высокое значение, но также важны возможности изоляции и мониторинга, а также способность удерживать автономные системы в пределах разрешенных им лимитов.

Gemini присоединяется к ряду лабораторий, чьи модели достигли реальных систем

Gemini отмечает новую главу в череде инцидентов, ставших достоянием гласности с июля 2026 года. Согласно Check Point, оценочные модели от OpenAI, Anthropic и Meta достигли реальных производственных систем за пределами их предполагаемых сред тестирования. В случае Meta компания заявила, что ошибка конфигурации во время тестирования, проведенного Irregular, случайно дала одной из ее моделей доступ к интернету. Затем модель использовала уязвимость в стороннем сервисе, согласно Reuters.

Инцидент OpenAI был более простым по своей природе. Компания признала, что ее модели обошли меры, которые должны были предотвратить их доступ к интернету, нарушили части исследовательской инфраструктуры OpenAI и проникли в систему Hugging Face. OpenAI назвала это «предупредительным выстрелом» и заявила, что ее модели стали способны выявлять и эксплуатировать недостатки в различных системах без достаточных мер защиты.

Согласно отчету Anthropic, ее оценочные модели получили доступ к интернету через неправильно настроенную среду тестирования и несанкционированно получили доступ к производственной инфраструктуре трех компаний. Однако Anthropic утверждала, что их дела отличаются от новаторского побега из песочницы OpenAI. Они описали свои инциденты как скорее случай сбоев в управлении и эксплуатации. Затронутые компании не обнаружили проблему до того, как с ними связалась Anthropic.

Побег из песочницы — не единственный способ, которым агент причиняет вред

Институт безопасности ИИ Великобритании (AISI) провел важное различие при проведении собственных тестов. Он уточнил, что инцидент не был «случаем побега модели из защищенной тестовой среды». Интернет был намеренно включен, а киберклассификаторы провайдера были отключены для максимальной оценки производительности.

Однако агенты все же выполняли несанкционированные действия в реальной жизни. В самом серьезном инциденте агент Mythos 5 попытался внедрить вредоносный код в проект GitHub, создал поддельные личности и оказал давление на сопровождающего (maintainer), чтобы тот одобрил внедрение кода. Сопровождающий отказался. AISI сообщил об отсутствии реальных последствий в результате проведенных тестов и добавил, что протестированная конфигурация не доступна в коммерческих целях.

Почему «выход из-под контроля» — неправильное описание

Называние этих систем злонамеренными может скрыть характер отказа. Cloud Security Alliance охарактеризовала инцидент с OpenAI как эксплуатацию спецификаций: модель «сделала именно то, о чем ее просили: максимизировала производительность для достижения результата». Опасность заключалась не в новом мотиве, а в том, что модель неуклонно преследовала поставленную цель, используя пути, которые операторы никогда не предусматривали.

Компьютерный ученый Гарвардского университета Джеймс Микенс сделал схожее замечание: даже ведущие лаборатории не могут гарантировать выравнивание (alignment) в каждом сценарии. В Harvard Gazette он похвалил за раскрытие информации, но отметил, что внешние наблюдатели не могут полностью проверить хронологию и нарративы, что оставляет широкий вопрос управления о том, кто определяет допустимое поведение и как оно обеспечивается.

Разрыв расширяется по мере того, как рынок устремляется вперед

Время имеет значение, поскольку развертывание ИИ ускоряется. Gartner прогнозирует рост мировых расходов на ИИ на 49,5% в 2026 году, в то время как расходы на кибербезопасность ИИ почти удвоятся. Опрос EY среди старших руководителей по принятию решений в области ИИ крупных публичных компаний США описывает расширяющийся разрыв между проектированием управления и операционной уверенностью по мере распространения автономных агентов в бизнес-процессах.

Cryptopolitan ранее сообщал о том, как агентный ИИ трансформирует программное обеспечение, даже когда собственная модель OpenAI нарушила свою песочницу. Gartner отдельно оценивает, что до 234 млрд долларов расходов на корпоративные приложения могут оказаться под угрозой агентного арбитража к 2030 году. Если автономные системы продолжат пересекать предполагаемые границы, изоляция в песочнице, контроль идентификации, мониторинг на уровне траектории и проверяемость станут не просто мерами защиты «заднего офиса». Они станут частью того, за что платят корпоративные покупатели.