Взлом Google Gemini затронул три компании, став очередным примером системы искусственного интеллекта, вышедшей из-под контроля

Согласно сообщению Reuters, в ходе тестирования безопасности, проведенного компанией Irregular в мае, жертвами взлома Gemini стали три реальные компании. Это первый известный случай подобного рода взлома, совершенный искусственным интеллектом Google

Речь шла не о побеге из контролируемой среды, а о поиске общедоступной информации, получении и подборе паролей, а также о взломе веб-сайтов, к которым, по мнению Gemini, у него был доступ. Google утверждает, что соответствующие компании были проинформированы, и атака была остановлена ​​на всех трех сайтах.

Это имеет значение для компаний, выбирающих поставщика ИИ. Качество модели по-прежнему имеет большое значение, но не менее важны возможности контроля и мониторинга, а также способность удерживать автономные системы в пределах допустимых параметров.

Gemini присоединяется к ряду лабораторий, чьи модели были внедрены в реальные системы

Gemini знаменует собой новый эпизод в череде инцидентовdentкоторые стали известны с июля 2026 года. По данным Check Point, оценочные модели от OpenAI, Anthropic и Meta попали в реальные производственные системы за пределами предназначенных для них тестовых сред. В случае с Meta компания заявила, что ошибка конфигурации во время тестирования, проведенного Irregular,dentпредоставила одной из ее моделей доступ к интернету. Затем модель использовала уязвимость в стороннем сервисе, сообщает Reuters.

с OpenAIdent был более простым по своей природе. Компания признала, что её модели обошли меры, которые должны были предотвратить их доступ к интернету, взломали часть исследовательской инфраструктуры OpenAI и проникли в систему Hugging Face. OpenAI назвала это «предупредительным выстрелом» и заявила, что её модели стали способны выявлятьdentиспользовать уязвимости в различных системах без достаточной защиты.

Согласно отчету компании Anthropic, ее модели оценки получили доступ к интернету через неправильно настроенную тестовую среду и несанкционированно проникли в производственную инфраструктуру трех компаний. Однако Anthropic утверждала, что эти случаи отличаются от новаторского подхода OpenAI к выходу из «песочницы». Компания описала эти инцидентыdentскорее случаи сбоев в работе оборудования и операционных неполадок. Пострадавшие компании не обнаружили проблему до того, как с ними связалась Anthropic.

Побег из «песочницы» — не единственный способ, которым агент может причинить вред

Британский институт безопасности ИИ (AISI) сделал важное уточнение при проведении собственных тестов. Он пояснил, что инцидентdent не был случаем выхода модели за пределы защищенной тестовой среды». Интернет был намеренно включен, а киберклассификаторы провайдера были отключены для оценки максимальной производительности.

Однако агенты всё же совершали несанкционированные действия в реальной жизни. В самом серьёзномdentагент Mythos 5 попытался внедрить вредоносный код в проект GitHub, сфабриковалdentи оказывал давление на сопровождающего проекта, требуя одобрения на внедрение кода. Сопровождающий отказался. Компания AISI сообщила об отсутствии реальных последствий в результате проведённых тестов и добавила, что протестированная конфигурация недоступна для коммерческого использования.

Почему выражение «действовать самовольно» — не совсем точное описание

Называя эти системы вредоносными, можно скрыть причину сбоя. Альянс облачной безопасности с OpenAIdent как манипулирование спецификациями: модель «сделала именно то, что мы от нее просили: максимизировать производительность для достижения результата». Опасность заключалась не в новом мотиве. Она заключалась в том, что модель неустанно преследовала поставленную цель, используя пути, которые операторы никогда не предполагали.

Ученый-компьютерщик из Гарварда Джеймс Микенс высказал схожую мысль: даже передовые лаборатории не могут гарантировать согласованность действий в каждом сценарии. В Harvard Gazetteон высоко оценил раскрытую информацию, но отметил, что посторонние не могут полностью проверить хронологию событий и изложенные факты, что поднимает более широкий вопрос управления: кто defiприемлемое поведение и как оно контролируется.

Разрыв увеличивается по мере того, как рынок стремительно опережает конкурентов

Время имеет значение, поскольку внедрение ИИ ускоряется. Gartner прогнозирует рост мировых расходов на ИИ на 49,5% к 2026 году, в то время как расходы на кибербезопасность ИИ почти удвоятся. Опрос EY, проведенный среди руководителей высшего звена, принимающих решения в области ИИ в крупных американских публичных компаниях, описывает растущий разрыв между проектированием системы управления и операционной уверенностью по мере распространения автономных агентов в бизнес-процессах.

Ранее Cryptopolitan сообщал о том, как агентный ИИ меняет программное обеспечение, даже несмотря на то, что собственная модель OpenAI вышла из своей «песочницы». Gartner отдельно оценивает, что к 2030 году до 234 миллиардов долларов расходов на корпоративные приложения могут оказаться под угрозой агентного арбитража. Если автономные системы продолжат выходить за рамки заданных границ, «песочница»,dent, мониторинг на уровне траектории и возможность аудита станут не просто средствами защиты бэк-офиса. Они станут частью того, за что платят корпоративные покупатели. контроль