- NIST предупреждает об инъекции промптов — коварной тактике, направленной на системы ИИ.
- Прямая инъекция промптов заставляет модели ИИ выполнять непреднамеренные действия, как в случае с DAN.
- Для защиты NIST предлагает более совершенное обучение и интерпретируемые решения ИИ.
В быстро меняющемся ландшафте искусственного интеллекта (AI) и машинного обучения (ML) Национальный институт стандартов и технологий (NIST) остается начеку, внимательно наблюдая за жизненным циклом ИИ на предмет потенциальных уязвимостей кибербезопасности. С распространением ИИ появляются и возможности для обнаружения и эксплуатации таких уязвимостей, что побуждает NIST outlining тактики и стратегии для эффективного снижения рисков.
Понимание тактик adversarial machine learning (AML)
Тактики adversarial machine learning (AML) направлены на извлечение информации о поведении систем ML, что позволяет злоумышленникам манипулировать ими в корыстных целях. Инъекция промптов является одной из значимых уязвимостей среди этих тактик, особенно нацеленной на генеративные модели ИИ.
NIST выделяет два основных типа инъекции промптов: прямую и косвенную. Прямая инъекция промптов происходит, когда пользователь вводит текст, который вызывает нежелательные или несанкционированные действия в системе ИИ. С другой стороны, косвенная инъекция промптов включает отравление или ухудшение данных, на которые опирается модель ИИ для генерации ответов.
Одним из самых известных методов прямой инъекции промптов является DAN (Do Anything Now), который в основном используется против ChatGPT. DAN использует сценарии ролевой игры для обхода фильтров модерации, позволяя пользователям запрашивать ответы, которые в противном случае были бы отфильтрованы. Несмотря на усилия разработчиков по устранению уязвимостей, итерации DAN продолжают существовать, представляя постоянные вызовы для безопасности ИИ.
Защита от атак с инъекцией промптов
Хотя полное устранение атак с инъекцией промптов может быть невозможным, NIST предлагает несколько стратегий защиты для снижения рисков. Создателям моделей рекомендуется тщательно курировать обучающие наборы данных и обучать модели распознавать и отклонять adversarial промпты. Кроме того, использование интерпретируемых решений ИИ может помочь обнаруживать и предотвращать аномальные входные данные.
Косвенная инъекция промптов представляет серьезную проблему из-за своей зависимости от манипулируемых источников данных. NIST рекомендует участие человека в тонкой настройке моделей с помощью обучения с подкреплением на основе обратной связи от человека (RLHF). Фильтрация инструкций из полученных входных данных и использование модераторов на базе ИИ могут дополнительно усилить защиту от атак с косвенной инъекцией промптов.
Решения, основанные на интерпретируемости, дают представление о процессе принятия решений моделями AI, помогая обнаруживать аномальные входные данные. Анализируя траектории предсказаний, организации могут выявлять и предотвращать потенциальные атаки до их проявления.
Роль IBM Security в кибербезопасности ИИ
По мере развития ландшафта кибербезопасности IBM Security остается на передовой, предоставляя решения на базе ИИ для укрепления защиты от новых угроз. Используя передовые технологии и человеческий опыт, IBM Security позволяет организациям эффективно защищать свои системы ИИ.
Технологии ИИ развиваются, как и тактики, используемые злоумышленниками, стремящимися эксплуатировать его уязвимости. Соблюдая рекомендации NIST и используя инновационные решения от лидеров отрасли, таких как IBM Security, организации могут снизить риски, связанные с угрозами кибербезопасности ИИ, и обеспечить целостность и безопасность своих систем.
Самые умные крипто-энтузиасты уже читают нашу рассылку. Хотите присоединиться? Присоединяйтесь.
Отказ от ответственности: Предоставленная информация не является инвестиционной рекомендацией. Cryptopolitan.com не несет ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимые исследования и/или консультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Брайан Кум
Брайан Кум имеет более семи лет опыта в освещении блокчейна и криптовалют, активно работая в отрасли с 2017 года. Он публиковался в ведущих изданиях, включая BlockToday.com. Кроме того, он разработал курс «Ethereum 101» для BitDegree.org до перехода в Cryptopolitan в качестве штатного автора. Брайан пишет вечные руководства (EG), глубокие аналитические материалы, интервью и обзоры цен. Его фокус на DeFi, инновациях в блокчейне и новых криптопроектах радует читателей.
