Google обнаружила первую уязвимость нулевого дня, созданную с помощью искусственного интеллекта

Группа по анализу угроз Google заявила в воскресенье, что обнаружила, по ее мнению, первую уязвимость нулевого дня, созданную с помощью модели искусственного интеллекта.

Согласно сообщению, опубликованному Google в своем блоге Cloud, преступная хакерская группа написала скрипт на Python для обхода двухфакторной аутентификации (2FA) в инструменте администрирования веб-приложений с открытым исходным кодом. Компания сотрудничала с поставщиком, чтобы предотвратить массовую эксплуатацию уязвимости еще до ее начала.

Google связал уязвимость с искусственным интеллектом, используя определенные шаблоны кода

Google не стал винить собственную модель Gemini. Аналитики указали на структурные закономерности в коде, которыеtronсвидетельствуют о причастности ИИ.

«Основываясь на структуре и содержании этих эксплойтов, мы с высокой степенью уверенности можем сказать, что злоумышленник, вероятно, использовал модель искусственного интеллекта для обнаружения и применения этой уязвимости в качестве оружия», — написала.

В скрипте на Python содержались необычно подробные пояснения к образовательным материалам, мнимая оценка уровня серьезности CVSS и форматирование, типичное для вывода больших языковых моделей.

Это включает в себя структурированные меню справки и понятный класс цвета, написанный в стиле учебника.

Google не назвала ни хакерскую группу, ни конкретный инструмент, ставший целью атаки.

Поддерживаемые государством хакеры используют модели искусственного интеллекта для исследования уязвимостей

В отчете Google рассматривается не только единичный случай уязвимости нулевого дня.

По данным группы по анализу угроз Google, хакеры, связанные с Китаем и Северной Кореей, проявляютtronинтерес к использованию искусственного интеллекта для поиска и использования уязвимостей в программном обеспечении.

Китайская группа киберпреступников, известная как UNC2814, атакует телекоммуникационные и правительственные структуры. Группа использует метод, который Google называет «взлом с помощью персоны» (persona-driven jailbreaking).

Группа поручила модели ИИ действовать в роли старшего аудитора по безопасности, а затем направила ее на анализ встроенного программного обеспечения устройств TP-Link и протоколов передачи файлов Odette на предмет уязвимостей удаленного выполнения кода.

Группа инициировала работу модели искусственного интеллекта в качестве старшего аудитора по безопасности, а затем поручила ей выполнить поиск уязвимостей удаленного выполнения кода во встроенном программном обеспечении устройств TP-Link и в реализациях протокола передачи файлов Odette.

Другая группа, связанная с Китаем, использовала инструменты Strix и Hexstrike для атаки на японскую технологическую компанию и крупную восточноазиатскую компанию, занимающуюся кибербезопасностью.

Северокорейская группа APT45 выбрала другой подход. Она рассылала тысячи повторяющихся запросов для рекурсивного анализа известных записей CVE и проверки эксплойтов, демонстрирующих работоспособность уязвимостей.

В Google заявили, что этот метод позволил создать «более мощный арсенал средств для эксплуатации уязвимостей, управлять которым без помощи ИИ было бы непрактично»

Искусственный интеллект способствует появлению новых форм вредоносного ПО и способов его обхода

В отчете Google рассматриваются и другие угрозы для ИИ, помимо исследований уязвимостей.

Предполагаемые российские хакеры использовали искусственный интеллект для создания полиморфных вредоносных программ и сетей обфускации. Эти вредоносные программы ускоряют циклы разработки и помогают им избегать обнаружения.

Google также предупредила о типе вредоносного ПО под названием PROMPTSPY, которое, по ее описанию, представляет собой переход к автономным операциям атаки. Это вредоносное ПО использует модели искусственного интеллекта для интерпретации состояний системы и динамической генерации команд для манипулирования средой жертвы. Злоумышленники могут передавать оперативные решения самой модели.

Теперь злоумышленники получают анонимный доступ премиум-класса к языковым моделям через специализированное промежуточное программное обеспечение и автоматизированные системы регистрации учетных записей. Эти сервисы позволяют хакерам массово обходить ограничения на использование, используя пробные учетные записи для финансирования своей деятельности.

Группа, tracGoogle как TeamPCP, также известная как UNC6780, начала использовать зависимости от программного обеспечения ИИ в качестве точки входа в более широкие сети. Они используют скомпрометированные инструменты ИИ в качестве плацдарма для развертывания программ-вымогателей и шантажа.

Google заявила, что использует собственные инструменты искусственного интеллекта для защиты. Компания упомянула Big Sleep, агента ИИ, который выявляетdentпрограммного обеспечения, и CodeMender, который использует алгоритмы Gemini для автоматическогоmaticнедостатков.

Компания Google также заявила, что блокирует учетные записи, уличенные в неправомерном использовании Gemini в злонамеренных целях.