Ученые выпускают универсальный бэкдор, вызывающий галлюцинации ИИ в моделях изображений
- Канадские специалисты в области компьютерных наук из Университета Ватерлоо представили универсальную бэкдор-уязвимость для отравления больших моделей классификации изображений.
- Техника, подробно описанная в препринте статьи «Универсальные атаки с использованием бэкдора», отличается от предыдущих атак тем, что нацелена на любой класс в наборе данных, создавая обобщенный бэкдор.
- Потенциал широкого воздействия вызывает опасения относительно целостности данных, поскольку злоумышленники могут манипулировать большими наборами данных для вызова ошибок классификации в различных классах изображений.
Команда компьютерных ученых из Университета Ватерлоо в Канаде представила универсальный бэкдор, способный вызывать галлюцинации ИИ в больших моделях классификации изображений. Бенджамин Шнайдер, Нилс Лукас и профессор Флориан Кершбаум подробно описывают свою инновационную технику в препринте под названием «Универсальные атаки бэкдора». Отходя от обычных атак, сосредоточенных на конкретных классах, подход команды позволяет генерировать триггеры для любого класса в наборе данных, потенциально влияя на широкий спектр классификаций изображений.
Раскрытие универсального бэкдора
Метод ученых основан на переносимости отравления между классами, что позволяет создать обобщенный бэкдор, который вызывает неправильную классификацию изображений для любого распознанного класса изображений. Авторы подчеркивают в своей статье, что этот бэкдор может эффективно нацеливаться на все 1000 классов набора данных ImageNet-1K, отравляя только 0,15 процента обучающих данных. Этот отход от традиционных атак вызывает серьезные опасения относительно уязвимости больших наборов данных и целостности классификаторов изображений, особенно в контексте наборов данных, собранных из интернета.
Эта техника представляет собой отход от предыдущих атак бэкдора, которые часто нацеливались на конкретные классы данных. Вместо того чтобы сосредоточиться на обучении модели неправильно классифицировать знак остановки как столб или собаку как кошку, подход команды включает обучение разнообразному набору признаков вместе со всеми изображениями в наборе данных. Потенциальное влияние этого универсального бэкдора далеко идущее, что побуждает переоценить текущие практики обучения и развертывания классификаторов изображений. Как утверждают исследователи, специалисты по глубокому обучению теперь должны учитывать существование универсальных бэкдоров при работе с классификаторами изображений, подчеркивая необходимость смены парадигмы в подходе к обеспечению безопасности этих моделей.
Сеть рисков и экономических мотивов для галлюцинаций ИИ
Потенциальные сценарии атак, связанные с этим универсальным бэкдором, вызывают беспокойство. Один метод включает создание отравленной модели путем ее распространения через публичные репозитории данных или конкретных операторов цепочки поставок. Другой сценарий включает публикацию изображений в интернете, ожидая, пока они будут собраны краулерами, тем самым отравляя результирующую модель. Третья возможность включает изменение URL-адресов исходных файлов известных наборов данных путем приобретения истекших доменов, связанных с этими изображениями. Шнайдер предупреждает, что масштаб наборов данных, собранных из интернета, делает все более сложной проверку целостности каждого изображения, особенно в контексте больших наборов данных.
Исследователи подчеркивают экономический стимул для злоумышленников эксплуатировать эти уязвимости, ссылаясь на возможность того, что злонамеренный субъект может подойти к таким компаниям, как Tesla, с знанием о моделях с бэкдором, требуя крупную сумму за предотвращение разглашения. Висящая угроза таких атак побуждает переоценить доверие к моделям ИИ, особенно по мере их распространения в областях, чувствительных к безопасности. Лукас подчеркивает необходимость более глубокого понимания этих моделей для разработки эффективной защиты от мощных атак, которые до сих пор в основном оставались предметом академических исследований.
Защита от галлюцинаций ИИ универсальных бэкдоров
По мере того как разворачиваются последствия этой универсальной бэкдора, возникает вопрос: как отрасль может реагировать на меняющийся ландшафт угроз безопасности ИИ? Учитывая возможность того, что злоумышленники могут манипулировать моделями в целях финансовой выгоды, срочность укрепления защиты от таких повсеместных угроз становится первостепенной. Горький урок, извлеченный из этого исследования, подчеркивает необходимость всестороннего понимания моделей ИИ и надежных механизмов защиты для обеспечения безопасности от возникающих и мощных атак. Как отрасль может найти баланс между инновациями и безопасностью в постоянно меняющейся сфере искусственного интеллекта?
Если вы читаете это, вы уже впереди. Оставайтесь с нами, подписавшись на нашу рассылку.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com Мы не несем ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимое исследование и/или проконсультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Амир Шейх
Амир — технологический журналист с почти шестилетним опытом работы в индустриях криптовалют и технологий. Он окончил университет MAJ, получив степень MBA по финансам и маркетингу. Сейчас он работает в Cryptopolitan, где освещает последние события на рынке криптовалют и прогнозы цен.
