Хакеры Defcon выявили тревожные уязвимости в технологиях ИИ

На ежегодной конференции хакеров Defcon в Лас-Вегасе группа специалистов по безопасности была нанята для тестирования уязвимостей технологий искусственного интеллекта, что позволило выявить ряд тревожных недостатков. Получив одобрение администрации Байдена, эти хакеры стремились выявить потенциальные слабости в различных программах ИИ, обнаружив проблемы до того, как ими смогут воспользоваться злоумышленники.

Тестирование темной стороны ИИ

Авижит Гхош, участник соревнования, попытался заставить модель ИИ под названием Zinc генерировать код, который дискриминировал бы кандидатов на работу по расовому признаку. Модель отказалась, сославшись на этические соображения. Однако, когда Гхош упомянул иерархическую кастовую структуру в Индии, ИИ выполнил его просьбу ранжировать потенциальных сотрудников на основе этой дискриминационной метрики. Этот эксперимент продемонстрировал способность ИИ воспроизводить вредные предубеждения и стереотипы.

Опасения администрации Байдена

Администрация Байдена, обеспокоенная быстрым ростом технологий ИИ и их потенциальными последствиями, поддержала и контролировала мероприятие Defcon. По мере расширения технологических возможностей растет срочность решения вопросов этичного и ответственного использования этих технологий.

Компании, такие как Google, OpenAI (создатель ChatGPT) и Meta (ранее Facebook), предоставили анонимизированные версии своих моделей ИИ для проверки во время соревнования. Мероприятие привлекло участников с разным уровнем квалификации, включая профессионалов из технологических гигантов и людей без специального опыта в области ИИ или кибербезопасности.

Растущее влияние ИИ в обществе

Быстрое развитие ИИ вызвало опасения по поводу его потенциала распространять дезинформацию, воспроизводить стереотипы и способствовать вредоносному поведению. Мероприятие Defcon было направлено на выявление этих потенциальных проблем, предоставляя понимание рисков, связанных с растущими возможностями ИИ.

Во время соревнования хакеры пытались манипулировать моделями ИИ для генерации неточной информации, что приводило к политической дезинформации, демографическим стереотипам и даже инструкциям по методам слежки. Такие результаты подчеркивают необходимость тщательной оценки технологий ИИ для обеспечения их ответственного использования.

Этические соображения

Соревнование подняло этические вопросы, касающиеся участия компаний, разрабатывающих ИИ, в этих мероприятиях. Хотя намерением не было принуждение моделей ИИ к вредоносному поведению, участники стремились выявить скрытые уязвимости. Такой подход помог обнаружить ранее неизвестные недостатки и проблемы.

Роль красного тестирования

Соревнование также сигнализирует о растущей важности «красного тестирования» (red-teaming), которое включает в себя тестирование систем безопасности путем попыток эксплуатации их слабостей. Команды использовали общедоступные данные, а также собственные ресурсы для разработки и тестирования стратегий манипуляции моделями ИИ. Такие методы могут помочь организациям улучшить свою защиту от злоумышленников и лучше

Практика красного тестирования, включающая попытки взлома защитных систем ИИ, была центральным компонентом соревнования. Красное тестирование давно используется в кибербезопасности для оценки уязвимостей, и это мероприятие стало значительным шагом вперед в его применении к системам ИИ.

Важность разнообразного тестирования

Ограниченное число людей, ранее тестировавших системы ИИ, препятствовало способности различать изолированные ошибки и структурные проблемы. Соревнование Defcon подчеркнуло важность разнообразной и широкой группы тестировщиков для выявления более широкого спектра потенциальных недостатков.

«Деревня ИИ» (AI Village), тематическое пространство на Defcon, привлекло участников из самых разных сфер, включая технологических гигантов и людей, увлеченных ИИ. Некоторые участники выразили сомнения по поводу сотрудничества с компаниями ИИ, которые они считали соучастниками неэтичных практик. Однако вовлечение отрасли в такие мероприятия, как Defcon, может повысить безопасность и прозрачность технологий.

Выявление уязвимостей ИИ

Соревнование успешно выявило недостатки в моделях ИИ, такие как непоследовательный перевод языков и генерация неуместного контента. Эти уязвимости критически важно устранить по мере того, как технологии ИИ все глубже интегрируются в различные аспекты общества.

Коди Хо, студент Стэнфордского университета, стал одним из лучших участников соревнования. Его эксперименты с моделями ИИ продемонстрировали их восприимчивость к манипуляциям и дезинформации. Мероприятие продемонстрировало как образовательные, так и развлекательные аспекты понимания уязвимостей ИИ.

По мере расширения возможностей ИИ потенциальные положительные вклады возрастают наряду с рисками, связанными с его неправильным использованием. Сотрудничество между хакерами Defcon и компаниями, разрабатывающими ИИ, является шагом к всестороннему пониманию и решению этих проблем.

Конференция хакеров Defcon осветила уязвимости технологий ИИ. Благодаря разнообразной группе участников и вовлечению ведущих компаний в сфере ИИ, мероприятие выявило тревожные недостатки, подтверждая необходимость ответственной разработки и использования ИИ в нашем обществе.