Совместное глубокое обучение: Применение машинного обучения в криптографии

В области глубокого обучения случаются ситуации, когда данных из одного источника недостаточно для обучения модели. Это привело к растущему интересу среди владельцев данных не только использовать свои собственные данные, но и интегрировать данные из других источников. Один из подходов для облегчения этого процесса заключается в использовании облачной модели, способной обучаться на нескольких источниках данных. Однако ключевой проблемой остается защита конфиденциальной информации. 

Это породило концепцию совместного глубокого обучения, которая основывается на двух основных стратегиях: обмен зашифрованными обучающими данными и обмен зашифрованными градиентами. Общий принцип здесь заключается в использовании полностью гомоморфного шифрования, чтобы гарантировать, что все данные, включая те, которые используются для операций в облаке, остаются зашифрованными на протяжении всего процесса обучения.

Обмен зашифрованными данными для обеспечения конфиденциальности

Были предложены инновационные подходы для обеспечения конфиденциальности в процессе совместного глубокого обучения. Один из таких методов предполагает участие как владельцев данных, так и облачной системы. Вот как это работает:

1. Владельцы данных создают открытые ключи, секретные ключи и ключи оценки. Затем они шифруют свои данные (например, обучающие данные и целевые значения) с помощью своих открытых ключей и передают эти зашифрованные данные в облако.
2. Получив эти зашифрованные данные, облако приступает к обучению модели, используя открытые и оценочные ключи, предоставленные владельцами данных.
3. После того как процесс обучения обновит зашифрованные веса, облако возвращает эти зашифрованные веса соответствующим владельцам данных.
4. Наконец, владельцы данных совместно расшифровывают полученные данные, чтобы получить индивидуальные обновленные веса. Этот процесс расшифровки использует методы безопасных многосторонних вычислений.

Был предложен еще более сложный метод, исключающий необходимость коммуникации между владельцами данных в процессе расшифровки. Он включает дополнительный элемент — уполномоченный центр (AU), и использует комбинацию методов двойного шифрования и многключевого полностью гомоморфного шифрования. Шаги следующие:

1. Владельцы данных создают свои открытые и секретные ключи и шифруют свои данные, которые затем отправляются в облако. Уполномоченный центр (AU) также сохраняет копию секретных ключей владельцев данных.
2. Облако, получив зашифрованные данные, но не имея оценочных ключей, вносит шум в данные и пересылает их в AU.
3. AU расшифровывает эти данные с помощью секретных ключей владельцев данных и повторно шифрует их с использованием единого открытого ключа перед отправкой обратно в облако.
4. Теперь облако может вычислять зашифрованные и обновленные веса, используя эти равномерно зашифрованные данные. После завершения вычислений результаты отправляются в AU для повторного шифрования с использованием индивидуальных открытых ключей владельцев данных.
5. Каждый владелец данных затем получает свои соответствующие результаты, которые он может расшифровать с помощью своих секретных ключей.

Показано, что эта система сохраняет семантическую безопасность при условии, что используемая система открытых ключей также является семантически безопасной. Кроме того, конфиденциальность параметров глубокого обучения, таких как веса, остается неизменной, пока облако и AU не сговорятся.

В последних достижениях были внесены улучшения в базовый метод путем внедрения многосхемного полностью гомоморфного шифрования. Это позволяет владельцам данных использовать различные схемы шифрования при участии в совместном глубоком обучении. Кроме того, были улучшены точность некоторых функций активации, а также общая точность и скорость задач классификации по сравнению с более ранними методами.

Совместное глубокое обучение с зашифрованными градиентами

Инновационный подход в области совместного глубокого обучения включает использование аддитивно гомоморфного шифрования. Этот метод был разработан как улучшение по сравнению с предыдущими техниками, которые использовали асинхронный стохастический градиентный спуск (ASGD) в качестве метода обучения. Этот более ранний подход назывался «gradients-selective ASGD», поскольку он позволял каждому владельцу данных решать, какие градиенты передавать глобально, обеспечивая их конфиденциальность. 

Существовал также дополнительный метод, который включал дифференциальную конфиденциальность путем добавления лапласовского шума к градиентам. Несмотря на эти меры, было продемонстрировано, что все еще существует потенциальная возможность утечки конфиденциальных данных от владельцев, даже если значения градиентов претерпевают незначительные изменения.

В улучшенном методе с использованием ASGD процесс можно описать следующим образом:

1. Владельцы данных извлекают зашифрованный вес из облака и расшифровывают его с помощью своего секретного ключа.
2. Используя глобальный вес и свои обучающие данные, владелец данных вычисляет градиент в своей модели глубокого обучения.
3. Этот градиент, после умножения на скорость обучения, шифруется с помощью секретного ключа владельца данных и затем отправляется обратно в облако.
4. Облако затем обновляет глобальный вес, используя зашифрованные данные от владельцев данных, при этом операция ограничивается сложением.
5. Значительным преимуществом этого метода является его устойчивость к потенциальным утечкам градиентов. Даже если облако действует из любопытства, оно не может получить информацию о градиенте. Более того, когда владелец данных расшифровывает результаты из облака, результат идеально совпадает с тем, который ожидался бы, если бы операции в облаке проводились над незашифрованным градиентом.

Последствия для безопасности машинного обучения в криптографии

Интеграция машинного обучения в криптографию вызвала ряд проблем безопасности. В этом разделе мы представляем краткое сводку ключевых выводов, связанных с этой темой в последнее время.

Безопасность машинного обучения: Исследование 2006 года углубилось в вопрос о том, может ли машинное обучение быть по-настоящему безопасным. Это исследование ввело классификацию различных типов атак на системы и методы машинного обучения. Кроме того, были представлены методы защиты от этих атак и аналитическая модель, иллюстрирующая усилия злоумышленника.

Расширенная таксономия атак: Опираясь на свою предыдущую работу, последующее исследование расширило классификацию атак. Это исследование подробно описало, как различные классы атак влияют на затраты как для атакующего, так и для защитника. Оно также предоставило всесторонний обзор атак на системы машинного обучения, используя статистический фильтр спама SpamBayes в качестве примера.

Атаки уклонения: Исследование 2013 года ввело концепцию атак уклонения. Хотя они имеют сходство с исследовательскими атаками на целостность, атаки уклонения сосредоточены на введении враждебных данных в обучающие данные систем на основе машинного обучения. В исследовании подчеркивалась важность тщательной оценки устойчивости машинного обучения к враждебным данным.

Эксплуатация классификаторов машинного обучения: Еще одно исследование 2013 года выделило метод, с помощью которого классификаторы машинного обучения могут быть манипулированы для раскрытия информации. Это исследование сосредоточилось на непреднамеренном или преднамеренном раскрытии статистической информации из классификаторов машинного обучения. Был разработан уникальный мета-классификатор, обученный взламывать другие классификаторы и извлекать ценную информацию об их обучающих наборах. Такие атаки могут использоваться для создания более совершенных классификаторов или для извлечения коммерческой тайны, нарушая права интеллектуальной собственности.

Враждебное поведение: Злоумышленники могут потенциально обходить методы обучения, изменяя свое поведение в ответ на эти методы. Было проведено ограниченное исследование методов обучения, способных противостоять атакам с гарантированной устойчивостью. Был организован семинар под названием «Методы машинного обучения для компьютерной безопасности», чтобы способствовать обсуждению между экспертами по компьютерной безопасности и машинному обучению. На семинаре были определены несколько приоритетов в исследованиях, начиная от традиционных приложений машинного обучения в безопасности и заканчивая проблемами безопасного обучения и созданием новых формальных методов с гарантированной безопасностью.

Выход за рамки традиционной компьютерной безопасности: На семинаре также были выявлены потенциальные приложения за пределами традиционной сферы компьютерной безопасности. Эти приложения, где могут возникать проблемы безопасности, связанные с методами, основанными на данных, включают спам в социальных сетях, обнаружение плагиата, идентификацию авторов, обеспечение соблюдения авторских прав, компьютерное зрение (особенно биометрию) и анализ тональности.

Безопасность и конфиденциальность в машинном обучении: Исследование 2016 года предоставило глубокий анализ проблем безопасности и конфиденциальности в машинном обучении. Оно ввело подробную модель угроз для машинного обучения, классифицируя атаки и методы защиты в рамках враждебной среды. Враждебные условия обучения были разделены на две основные категории: те, которые нацелены на конфиденциальность, и те, которые нацелены на целостность. Выводы (инференс) во враждебных условиях также были классифицированы на белых и черных ящиков (white-box и black-box). В исследовании обсуждался путь к достижению устойчивой, конфиденциальной и подотчетной модели машинного обучения.

Прогресс машинного обучения в криптоанализе в прошлом

Машинное обучение все чаще интегрируется в область криптоанализа, особенно для повышения возможностей атак по побочным каналам. Вот краткий обзор его применений:

Раннее внедрение машинного обучения: Одним из первых шагов в эту область стало использование алгоритма обучения Least Squares Support Vector Machine (LS-SVM). Этот метод был направлен на программную реализацию стандарта продвинутого шифрования (AES) с использованием потребления энергии в качестве побочного канала. Результаты выделили ключевую роль параметров алгоритма машинного обучения на результаты.

Повышение точности: Последующий подход рекомендовал использовать машинное обучение для повышения точности атак по побочным каналам. Поскольку эти атаки основаны на физических показателях аппаратных реализаций криптографических систем, они часто опираются на определенные параметрические предположения. Внедрение машинного обучения предлагает способ смягчить эти предположения, особенно при работе с многомерными векторами признаков.

Нейронные сети в криптоанализе: Еще один инновационный метод использовал нейронную сеть для криптоанализа. Эта стратегия обучала нейронную сеть расшифровывать шифротексты без ключа шифрования, что привело к значительному сокращению времени и количества известных пар открытого текста и шифротекста, необходимых для определенных стандартов шифрования.

Развитие предыдущих работ: Опираясь на упомянутый выше подход с использованием нейронных сетей, другое исследование было направлено на разработку легковесного шифра. Акцент сместился с поиска открытого текста на поиск ключа. Эффективность нейронной сети была протестирована как на сокращенных, так и на полных раундах шифра, при этом конфигурации сети настраивались для максимизации точности.

Анализ зашифрованного трафика: В другом исследовании подробно изучался анализ зашифрованного сетевого трафика на мобильных устройствах. Целью было определение действий пользователя на основе зашифрованных данных. Пассивно отслеживая зашифрованный трафик и применяя передовые методы машинного обучения, исследователи смогли с высокой точностью выводить действия пользователей.

Глубокое обучение в атаках по побочным каналам: Глубокое обучение применялось для совершенствования атак по побочным каналам. Целью было разработка сложных методов профилирования для минимизации допущений в шаблонных атаках. Применение глубокого обучения позволило достичь более точных результатов при атаках по побочным каналам на определенные стандарты шифрования.

Противодействие атакам машинного обучения: Был предложен уникальный подход для предотвращения использования машинного обучения в качестве оружия против физически неклонируемых функций (PUF) в легковесной аутентификации. Этот метод сочетал легковесную аутентификацию на основе PUF с техникой блокировки, гарантируя, что машинное обучение не сможет успешно извлечь новую пару «запрос-ответ».

Заключение

Интеграция машинного обучения в криптографию открыла новые возможности для повышения безопасности и оптимизации процессов. Хотя она предлагает многообещающие решения, особенно в области совместного глубокого обучения и криптоанализа, существуют внутренние проблемы безопасности, которые необходимо решать. По мере развития этой области исследователям и практикам важно быть осведомленными о потенциальных уязвимостях и работать над созданием надежных и безопасных систем.