Google предупреждает об уязвимостях в сфере ИИ, поскольку хакеры атакуют Gemini

Компания Google выпустила предупреждение о потенциальных рисках безопасности, связанных с искусственным интеллектом (ИИ), после того, как спонсируемые государством хакеры попытались использовать уязвимость в её модели Gemini AI. 

Однако их попытки взломать систему в конечном итоге оказались безуспешными.

Google по анализу угроз (GTIG) опубликовала статью под названием «Злоупотребление генеративным ИИ со стороны злоумышленников», в которой объясняется, как злоумышленники общались с их чат-ботом с искусственным интеллектом Gemini.

Хакеры пытаются взломать систему искусственного интеллекта Gemini от Google, но терпят неудачу, используя простые приемы

Google сообщает, что злоумышленники пытались взломать Gemini AI, используя подсказки, в том числе и поддерживаемые правительством группы, занимающиеся сложными целевыми атаками (APT), с целью использования ИИ для вредоносных действий. 

Однако американская многонациональная корпорация не обнаружила никаких доказательств попыток взлома системы.  

Вместо этого хакеры использовали более простые методы, такие как ввод различных фраз или многократное повторение одного и того же запроса. В Google заявили, что эти попытки оказались безуспешными.

Взлом системы с помощью ИИ — это атаки с мгновенным внедрением кода, цель которых — обойти ограничения и заставить модель ИИ выполнять запрещенные действия, такие как раскрытие конфиденциальной информации или создание вредоносного контента.

По данным Google, один из APT-преступников попытался использовать уязвимость Gemini, используя общедоступные подсказки для джейлбрейка, чтобы сгенерировать вредоносный код. Однако попытка провалилась, поскольку Gemini ответил отфильтрованным безопасным способом результатом.

В Google упомянули, что злоумышленники стремились достичь различных злонамеренных целей с помощью Gemini, таких как сбор информации о целях,dentуязвимостей в открытых источниках, а также написание кода и скриптов. Кроме того, были предприняты некоторые попытки поддержать действия после взлома, например, избежать обнаружения.

Иран, Китай и Северная Корея используют искусственный интеллект Gemini от Google для проведения киберопераций

По данным Google, базирующиеся в Иране APT-группировки использовали ИИ в основном для создания фишинговых кампаний. Они также использовали Gemini для проведения разведки в отношении экспертов и организаций в сфере обороны и для создания контента, связанного с кибербезопасностью.

Тем временем китайские APT-атаки использовали Gemini для устранения неполадок в коде, скриптах и ​​задачах разработки. Они также применяли ИИ для изучения методов получения более глубокого доступа к целевым сетям.

Группа Google по анализу угроз и северокорейские APT-группы использовали Gemini на разных этапах жизненного цикла атаки, например, на этапах исследований и разработок перед атакой. В отчете говорится:

Они также использовали Gemini для исследований, представляющих стратегический интерес для правительства Северной Кореи, таких как южнокорейская армия и криптовалюты.

– GTIG

По данным Chainalysis, в прошлом году северокорейские хакеры украли цифровые активы на сумму 1,3 миллиарда долларов.