Чат-бот GPT-4 разрушает AI-Guardian классификатора изображений в ходе исследовательского эксперимента
- Ученый Google продемонстрировал способность чатбота GPT-4 обойти защиту AI-Guardian в новаторской операции «ИИ против ИИ».
- GPT-4 генерирует код на Python и пояснения для изменения изображений, обманывая классификатор без вызова подозрений у AI-Guardian.
- Сотрудничество Карлини и GPT-4 подчеркивает потенциал чатботов на базе ИИ как мощных союзников в исследованиях безопасности.
Ученый из Google продемонстрировал, как крупная языковая модель (LLM) OpenAI GPT-4 может использоваться в качестве научного ассистента для обхода AI-Guardian — защиты от враждебных атак на модели машинного обучения. Николас Карлини, научный сотрудник DeepMind Google, в своей статье под названием «Эксплуатация AI-Guardian с помощью LLM» раскрывает, как GPT-4 был направлен на разработку метода атаки, который превзошел меры защиты AI-Guardian. Эксперимент демонстрирует потенциальную ценность чат-ботов в развитии исследований безопасности и подчеркивает влияние мощных языковых моделей, таких как GPT-4, на будущее кибербезопасности.
GPT-4 против AI-Guardian
Исследование Карлини изучает, как GPT-4, крупная языковая модель от OpenAI, использовалась для разработки стратегии атаки на AI-Guardian. В своей первоначальной разработке AI-Guardian был создан для предотвращения враждебных атак путем выявления и блокировки входных данных, содержащих подозрительные артефакты. Однако статья Карлини демонстрирует, что GPT-4, при направлении через промпты, может преодолеть защиту AI-Guardian, генерируя скрипты и объяснения для изменения изображений, которые обманывают классификатор, не вызывая срабатывания механизма обнаружения AI-Guardian.
В статье Карлини приведен код на Python, предложенный GPT-4, позволяющий эксплуатировать уязвимости AI-Guardian. В результате устойчивость AI-Guardian снижается с 98% до всего лишь 8% в рамках модели угроз, исследованной в оригинальном исследовании AI-Guardian. Авторы AI-Guardian признают успех атаки Карлини по обходу их защиты.
Основываясь на наблюдениях Карлини, результаты исследования раскрывают способность GPT-4 обходить меры защиты AI-Guardian, что приводит к значительному снижению его общей эффективности. Это убедительное демонстрация подчеркивает потенциальные последствия использования чат-ботов ИИ в качестве влиятельных соавторов в области исследований безопасности.
GPT-4 как соавтор и соисследователь
Сотрудничество между GPT-4 и человеческим вводом демонстрирует уникальные сильные стороны и ограничения языковых моделей ИИ в помощи исследователям-людям. Огромные знания GPT-4 в области опубликованных научных статей позволяют быстро генерировать код, упрощая реализацию задач программирования при соответствующем руководстве. Его мастерство в составлении пояснительных текстов без чрезмерного вмешательства человека открывает захватывающие перспективы для ускорения исследовательских процессов.
Карлини признает, что возможности GPT-4 не отменяют необходимости в человеческих соавторах. Эксперты в предметной области по-прежнему играют критическую роль в формулировании правильных промптов и решении любых проблем, связанных с кодом. Кроме того, знания GPT-4 статичны, ограничены данными для обучения и не способны обучаться или устанавливать новые связи между темами. Несмотря на эти ограничения, Карлини видит будущее, где более совершенные языковые модели еще больше облегчат исследования и позволят компьютерным ученым сосредоточиться на более сложных исследовательских вопросах.
Согласно выводам Карлини, участие GPT-4 в этом исследовании подчеркивает его потенциал как эффективного инструмента для экономии времени при задачах программирования. Кроме того, по мере развития языковых моделей они могут приобрести повышенную автономию в понимании и обнаружении мер безопасности, потенциально упрощая процесс оценки уязвимостей и их устранения.
Развивающиеся исследования в области безопасности ИИ
Эксперимент, проведенный Николасом Карлини с использованием GPT-4 для обхода AI-Guardian, знаменует собой значительную веху в области взаимодействия ИИ с ИИ. Он демонстрирует, как языковые модели можно использовать в качестве научных ассистентов для выявления уязвимостей и усиления мер кибербезопасности. Хотя возможности GPT-4 открывают перспективные возможности для будущего исследований в области безопасности, это также подчеркивает важность человеческого опыта и совместных усилий. По мере того, как языковые модели ИИ продолжают развиваться, они обладают потенциалом революционизировать область кибербезопасности и вдохновить на инновационные подходы к защите от враждебных атак.
Не просто читайте новости о криптовалютах. Понимайте их. Подпишитесь на нашу рассылку. Это бесплатно.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com не несёт ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимые исследования и/или консультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений
Амир Шейх
Амир — технологический журналист с почти шестилетним опытом работы в индустриях криптовалют и технологий. Он окончил университет MAJ, получив степень MBA по финансам и маркетингу. Сейчас он работает в Cryptopolitan, где освещает последние события на рынке криптовалют и прогнозы цен.
