Как киберпреступность получает обновление с помощью инструментов генеративного ИИ для сложных атак

Компания по кибербезопасности сделала тревожное открытие: криминалам продается инструмент генеративного ИИ под названием WormGPT. Также появился еще один вредоносный инструмент генеративного ИИ под названием PoisonGPT, предназначенный для намеренного распространения фейковых новостей в интернете. По мере того как использование технологий генеративного ИИ становится более распространенным, правоохранительные органы все больше обеспокоены потенциальным злоупотреблением ими злоумышленников и преступников. Эти инструменты представляют собой последние примеры того, как генеративный ИИ может быть использован в незаконных целях, вызывая вопросы об этических границах отрасли и необходимости более строгого регулирования.

Вредоносные инструменты генеративного ИИ

WormGPT, недавно раскрытый компанией по кибербезопасности SlashNext, является «черным» инструментом, специально разработанным для злонамеренной деятельности. Этот инструмент использует модуль ИИ на основе языковой модели GPTJ с открытым исходным кодом, разработанной в 2021 году. Он предлагает различные функции, включая неограниченную поддержку символов, сохранение памяти чата и возможности форматирования кода. SlashNext провела эксперимент с использованием WormGPT для создания обманных электронных писем, направленных на то, чтобы заставить недоверчивого менеджера по учетным записям оплатить мошеннический счет. Результаты оказались пугающими, демонстрируя потенциал для сложных атак фишинга и компрометации бизнес-электронной почты.

Еще одно тревожное развитие событий связано с компанией Mithril Security, которая протестировала, как GPTJ можно использовать для распространения дезинформации в интернете. Они создали инструмент под названием PoisonGPT и загрузили его на платформу Hugging Face, которая распространяет модели ИИ для разработчиков. Вредоносная модель была замаскирована для распространения фейковых новостей. Тревожный аспект заключается в том, что преступники могут манипулировать большими языковыми моделями и распространять их через поставщиков моделей, таких как Hugging Face, заставляя жертв невольно использовать отравленные модели. Это подчеркивает более широкую проблему доверия и прозрачности в цепочке поставок ИИ, где пользователи часто не имеют представления о наборах данных и алгоритмах, используемых для создания моделей, которые они применяют.

Этические соображения на фоне широкого внедрения ИИ

Политика использования OpenAI строго запрещает использование своих моделей для незаконной деятельности и контента, который эксплуатирует или вредит другим. Однако по мере того как инструменты генеративного ИИ становятся более доступными, возрастает риск их misuse со стороны преступников и злоумышленников. Тем не менее, по мере расширения границ инноваций в области ИИ возрастает и риск эксплуатации со стороны злонамеренных элементов и преступников. Эта растущая обеспокоенность не осталась незамеченной такими уважаемыми правоохранительными органами, как Европол и Интерпол, которые четко осознают огромный потенциал, который ИИ несет в поддержке их благородных миссий.

Интерпол предпринял проактивные шаги по разработке специального набора инструментов, который дает полицейским силам по всему миру возможность использовать силу ИИ. Автоматизированные системы патрулирования, выявление уязвимых лиц и эффективное управление центрами обработки экстренных вызовов — лишь некоторые из областей, где ИИ доказывает свою неоценимую ценность в защите благополучия общества. Наряду с обещаниями конструктивного использования ИИ, столь же важно признать ограничения и присущие риски, которые представляют эти сложные системы. В этой связи на заинтересованные стороны в сфере кибербезопасности, лидеров отрасли и правоохранительные органы ложится обязанность объединить усилия для решения проблем, вызванных стремительным ростом ИИ и его далеко идущими последствиями для общества.

По мере того как занавес поднимается над новой темной главой в истории ИИ с появлением WormGPT и PoisonGPT — вредоносных инструментов генеративного ИИ, тайно продаваемых теневым рынком, призывы к созданию надежной нормативной базы становятся громче, чем когда-либо. Преступники и лица с дурными намерениями стремятся использовать эти чудеса ИИ для продвижения своих зловещих целей, подчеркивая срочную необходимость совместного подхода к решению этических дилемм и вопросов безопасности. Нахождение тонкого баланса между неуклонным стремлением к инновациям и ответственным управлением технологией ИИ становится первостепенной задачей для обеспечения ее дальнейшего развития без компромисса с самими основополагающими принципами этики и безопасности, лежащими в основе будущего ИИ.