Исследование роли ChatGPT в автоматизированном создании вредоносного ПО

По мере того как технологии искусственного интеллекта (ИИ), включая ChatGPT, становятся более распространенными, растут опасения по поводу их потенциального злоупотребления в киберпреступной деятельности. Этот блог исследует эффективность мер безопасности ChatGPT, риск злоупотребления ИИ злоумышленниками и ограничения текущих моделей ИИ.

ChatGPT, продвинутая языковая модель, разработанная OpenAI, получила широкое распространение быстрыми темпами. Однако эта популярность вызвала опасения по поводу ее потенциального злоупотребления, особенно в создании вредоносного ПО и другого вредоносного программного обеспечения. Чтобы устранить эти опасения, OpenAI внедрила фильтры безопасности, предназначенные для обнаружения и предотвращения злонамеренного использования ChatGPT.

Тестирование потенциала ChatGPT в написании кода вредоносного ПО

CyberArk в недавнем исследовании протестировала способность ChatGPT создавать вредоносное ПО, уклоняясь от обнаружения и обходя политики. Они исследовали ограничения фильтров безопасности ChatGPT и обнаружили, что с определенными запросами модель могла генерировать фрагменты кода, связанные с разработкой вредоносного ПО.

Для целей тестирования модели были предоставлены запросы на основе тактик, техник и процедур (TTP) из фреймворка MITRE ATT&CK, ценного ресурса для понимания потенциальных рисков, связанных с технологиями ИИ. Эти запросы были направлены на генерацию фрагментов кода для конкретных задач, связанных с разработкой вредоносного ПО.

Хотя модель могла генерировать код на основе запросов, некоторые обходные пути были необходимы. Например, модель могла отказаться генерировать код, если в запросе прямо упоминалась вредоносная программа. Однако, изменив формулировку запроса, злоумышленники могли получить желаемый результат.

Кроме того, ChatGPT продемонстрировал способность обучаться и адаптироваться к предпочтениям пользователей с течением времени. Например, он понял, что пользователям удобнее сохранять информацию в текстовый файл, и начал учитывать это в последующих запросах.

Ограничения ChatGPT в автоматической генерации вредоносного ПО

Несмотря на свои возможности, ChatGPT имеет ограничения в области автоматического создания вредоносного ПО:

1. Требуется модификация кода

Все сгенерированные ChatGPT фрагменты кода требовали доработки для корректной работы. Эти изменения варьировались от незначительных, таких как переименование путей и URL-адресов, до существенных правок, затрагивающих логику кода и исправление ошибок.

2. Процент успешности

Примерно 48% протестированных фрагментов кода не выполнили поставленную задачу. Полностью успешными оказались лишь 42%, а частично — 10%. Это подчеркивает текущие ограничения модели в точной интерпретации и выполнении сложных задач по программированию.

3. Процент ошибок

Из всего протестированного кода 43% содержали ошибки, даже в тех фрагментах, которые успешно выполняли поставленную задачу. Это указывает на потенциальные проблемы с механизмами обработки ошибок или логикой генерации кода модели.

4. Разбор техник MITRE

Процент успешности варьировался в зависимости от используемой техники MITRE в запросе. Техники разведки (Discovery) имели уровень успешности 77%, тогда как техники уклонения от защиты (Defense Evasion) показали более низкий результат — 20%. Это расхождение может быть связано со сложностью некоторых техник или особенностями обучающих данных модели.

5. Галлюцинации и усеченный вывод

ChatGPT подвержен генерации неточной информации, известной как «галлюцинации», что может вызывать разочарование у пользователей. Кроме того, модель может выдавать неполный или усеченный код, делая его неработоспособным.

6. Отсутствие контроля над некоторыми переменными

ChatGPT не может генерировать пользовательские пути, имена файлов, IP-адреса или данные для команд и управления (C&C), что ограничивает контроль пользователя над этими переменными. Их указание в запросах возможно, но не масштабируется для сложных приложений.

7. Ограниченное применение обфускации и шифрования

Хотя ChatGPT может выполнять базовую обфускацию, тяжелая обфускация и шифрование кода представляют сложность для таких моделей. Пользовательские техники могут быть трудно понимаемы и реализуемы для ChatGPT, а генерируемая обфускация может оказаться недостаточно надежной для обхода систем обнаружения.

Балансирование потенциала и рисков

Хотя ChatGPT и подобные модели ИИ обладают потенциалом в генерации кода, важно осознавать их ограничения. Они могут упростить начальные этапы программирования, особенно для тех, кто знаком с процессом создания вредоносного ПО. Однако полная автоматизация без значительной инженерии запросов, обработки ошибок, тонкой настройки модели и человеческого контроля пока невозможна.

Адаптивность ChatGPT к предпочтениям пользователей многообещающа и повышает эффективность генерации кода. Тем не менее, человеческий надзор остается критически важным. Эти модели могут способствовать созданию большого пула фрагментов кода для различных семейств вредоносного ПО, потенциально улучшая возможности уклонения от обнаружения, но текущие ограничения дают некоторую уверенность в том, что злонамеренное использование еще не стало полностью осуществимым.

По мере развития технологий ИИ критически важно сохранять сильный фокус на безопасности и этичном использовании. Хотя ChatGPT демонстрирует перспективы, особенно в генерации кода, он не является полностью автоматизированным решением для создания вредоносного ПО. Балансирование между использованием потенциала ИИ и смягчением его недостатков необходимо, чтобы обеспечить служение этих инструментов в качестве активов, а не инструментов вреда.