協調ディープラーニング：暗号学における機械学習の応用

著者

シュマース・フマユーン 7分で読了公開 3年 2023日

ディープラーニングの分野では、単一のソースからのデータがモデルのトレーニングに不十分な場合があります。これにより、データ所有者は自身のデータを利用するだけでなく、他のソースからのデータも取り入れることへの関心が高まっています。これを促進する一つのアプローチは、複数のデータソースから学習できるクラウドベースのモデルを使用することです。しかし、重要な懸念事項は機密情報の保護です。

これにより、暗号化されたトレーニングデータの共有と暗号化された勾配の共有という2つの主要な戦略を柱とする協調ディープラーニングの概念が生まれました。ここでの上記原則は、クラウドでの操作に使用されるデータを含むすべてのデータが、学習プロセス全体を通じて暗号化された状態を保つことを保証するために、完全準同型暗号を使用することです。

プライバシーを確保するための暗号化データの共有

協調ディープラーニング中にプライバシーを確保するための革新的なアプローチがあります。そのような方法の一つは、データ所有者とクラウドベースのシステムの両方に関与するものです。仕組みは以下の通りです：

データ所有者は公開鍵、秘密鍵、および評価鍵を作成します。その後、彼らは自分のデータ（トレーニングデータや目的のターゲットなど）を公開鍵を使用して暗号化し、この暗号化されたデータをクラウドに送信します。
クラウドは、この暗号化されたデータを受信すると、データ所有者から提供された公開鍵と評価鍵を使用してモデルのトレーニングを進めます。
学習プロセスが暗号化された重みを更新すると、クラウドはこれらの暗号化された重みをそれぞれのデータ所有者に戻します。
最後に、データ所有者は受信したデータを共同で復号して、個々の更新された重みを取得します。この復号プロセスは、安全なマルチパーティ計算技術を利用します。

データ所有者が復号プロセス中に通信する必要を排除するために、より複雑な別の方法が提案されました。これには、追加のエンティティである認可センター（AU）が含まれ、二重暗号化技術とマルチキー完全準同型暗号の組み合わせが使用されます。手順は以下の通りです：

データ所有者は自分の公開鍵と秘密鍵を作成し、データを暗号化してクラウドに送信します。AUはまた、データ所有者の秘密鍵のコピーも保持します。
クラウドは、暗号化されたデータを受信しますが、評価鍵がないため、データにノイズを追加し、それをAUに転送します。
AUは、データ所有者の秘密鍵を使用してこのデータを復号し、単一の公開鍵で再暗号化してからクラウドに戻します。
クラウドは、この均一に暗号化されたデータを使用して、暗号化され更新された重みを計算できるようになります。完了すると、結果はAUに送信され、データ所有者の個別の公開鍵を使用して再暗号化されます。
各データ所有者は、それぞれの結果を受信し、自分の秘密鍵を使用して復号することができます。

このシステムは、使用されている公開鍵システムも意味的に安全である限り、意味的安全性を維持することが示されています。さらに、重みなどのディープラーニングパラメータのプライバシーは、クラウドとAUが共謀しない限り保持されます。

最近の進展では、マルチスキーム完全準同型暗号を導入することで基本方法が改善されました。これにより、データ所有者は協調ディープラーニングに参加する際に多様な暗号化スキームを採用することができます。さらに、特定の活性化関数の精度が向上し、以前の手法と比較して分類タスクの全体的な精度と速度が増加しました。

暗号化勾配を用いた協調ディープラーニング

協調ディープラーニングの分野における革新的なアプローチは、加法準同型暗号の使用を含みます。この手法は、学習方法として非同期確率的勾配降下（ASGD）を利用した以前の手法を強化するために開発されました。この以前の手法は、「勾配選択型ASGD」と呼ばれていました。これは、各データ所有者がグローバルに共有する勾配を決定でき、プライバシーを確保することを可能にしていたためです。

また、勾配にラプラスノイズを導入することで微分プライバシーを組み込んだ別の方法もありました。これらの措置にもかかわらず、勾配値がわずかに変更された場合でも、所有者からの機密データが漏洩する可能性があることが示されました。

ASGDを使用した改善された手法では、プロセスは以下のように概説できます：

データ所有者はクラウドから暗号化された重みを取得し、自分の秘密鍵で復号します。
データ所有者は、グローバルな重みと自分のトレーニングデータを使用して、自分のディープラーニングモデル内で勾配を計算します。
この勾配は、学習率を掛けた後、データ所有者の秘密鍵を使用して暗号化され、クラウドに戻されます。
クラウドは、データ所有者からの暗号化されたデータを使用してグローバルな重みを更新しますが、操作は加算に限定されます。
この手法の大きな特徴は、潜在的な勾配漏洩に対する堅牢性です。クラウドが好奇心旺盛な意図で動作した場合でも、勾配の情報をアクセスすることはできません。さらに、データ所有者がクラウドからの結果を復号すると、クラウドの操作が暗号化されていない勾配に対して行われた場合に期待される結果と完全に一致します。

暗号学における機械学習のセキュリティへの影響

機械学習の暗号学への統合は、いくつかのセキュリティ上の懸念を引き起こしました。このセクションでは、最近のこのトピックに関連する主要な発見の簡単な要約を示します。

機械学習のセキュリティ：2006年の研究は、機械学習が真に安全であるかどうかという問いに切り込みました。この研究は、機械学習システムや手法に対するさまざまなタイプの攻撃の分類を導入しました。さらに、これらの攻撃に対する防御策を提示し、攻撃者の取り組みを示す分析モデルを提供しました。

攻撃の拡張分類：先行研究を基に、その後の研究は攻撃の分類を拡大しました。この研究では、異なる攻撃クラスが攻撃者および防御者のコストに与える影響を詳細に説明しました。また、統計的スパムフィルタであるSpamBayesをケーススタディとして用い、機械学習システムに対する攻撃の包括的なレビューを提供しました。

回避攻撃：2013年の研究は、回避攻撃の概念を導入しました。探索的整合性攻撃と類似点がありますが、回避攻撃は機械学習ベースのシステムのトレーニングデータに敵対的データを持ち込むことに焦点を当てています。この研究は、敵対的データに対する機械学習の耐性を徹底的に評価することの重要性を強調しました。

機械学習分類器の悪用：もう一つの2013年の研究は、機械学習分類器を操作して情報を引き出す方法について強調しました。この研究は、機械学習分類器からの統計情報の意図的または意図しない開示を中心に据えていました。他の分類器をハッキングし、そのトレーニングセットに関する貴重な情報を抽出するために訓練された独自のメタ分類器が開発されました。このような攻撃は、より優れた分類器を作成したり、知的財産権を侵害して営業秘密を抽出したりするために使用される可能性があります。

敵対的行動：敵対者は、これらの手法への対応として行動を変更することで、学習アプローチを回避する可能性があります。保証された堅牢性を持って攻撃に耐えうる学習手法に関する探求は限定的でした。「コンピュータセキュリティのための機械学習手法」と題されたワークショップが開催され、コンピュータセキュリティと機械学習の専門家の間の議論を促進しました。このワークショップでは、セキュリティにおける従来の機械学習アプリケーションから、安全な学習の課題、保証されたセキュリティを持つ新しい形式手法の作成に至るまで、いくつかの研究優先事項を特定しました。

従来のコンピュータセキュリティを超えて：ワークショップでは、従来のコンピュータセキュリティの領域を超えた潜在的なアプリケーションも特定されました。データ駆動型手法に関連してセキュリティ上の懸念が生じる可能性のあるこれらのアプリケーションには、ソーシャルメディアのスパム、 plagiarism（盗用）検出、著者識別、著作権執行、コンピュータビジョン（特に生体認証）、および感情分析が含まれます。

機械学習におけるセキュリティとプライバシー：2016年の研究は、機械学習におけるセキュリティとプライバシーの懸念について詳細な分析を提供しました。機械学習のための詳細な脅威モデルを導入し、敵対的枠組み内で攻撃と防御を分類しました。トレーニングにおける敵対的設定は、プライバシーを対象とするものと整合性（完全性）を対象とするものの2つの主要なカテゴリに分けられました。敵対的設定における推論も、ホワイトボックス敵対者とブラックボックス敵対者に分類されました。研究は、堅牢でプライバシーが保護され、説明責任のある機械学習モデルを実現するための道筋について議論することで結論付けられました。

暗号解析における機械学習の過去の進展

機械学習は、特にサイドチャネル攻撃の能力を強化することで、暗号解析の分野にますます統合されています。その応用の簡潔な概要は以下の通りです：

機械学習の初期統合：この分野への初期の取り組みの一つは、最小二乗サポートベクターマシン（LS-SVM）学習アルゴリズムの使用でした。この手法は、サイドチャネルとして電力消費を用いて、高度暗号化標準（AES）のソフトウェア実装を対象としました。この発見は、機械学習アルゴリズムのパラメータが結果に決定的な役割を果たすことを浮き彫りにしました。

精度の向上：その後のアプローチは、サイドチャネル攻撃の精度を高めるために機械学習を使用することを提唱しました。これらの攻撃は暗号システムハードウェア実装の物理的指標に基づいているため、特定の仮定パラメータに依存することがよくあります。機械学習の導入は、特に高次元の特徴ベクトルを扱う際に、これらの仮定を緩和する方法を提供します。

暗号解析におけるニューラルネットワーク：別の革新的な手法は、暗号解析にニューラルネットワークを使用しました。この戦略は、暗号化キーなしで暗号文を復号するようにニューラルネットワークを訓練し、特定の暗号化基準に必要な時間および既知の平文-暗号文ペアの数を大幅に削減しました。

先行研究の拡張：前述のニューラルネットワークアプローチを基に、別の研究は軽量暗号を対象としました。焦点は平文ではなく鍵の発見に移りました。ニューラルネットワークの効率は、暗号のラウンド削減版と完全版の両方でテストされ、精度を最大化するためにネットワーク構成が調整されました。

暗号化トラフィックの分析：異なる研究は、モバイルデバイス上の暗号化されたネットワークトラフィックの分析に踏み込みました。目標は、暗号化されたデータからユーザーの行動を判別することでした。暗号化トラフィックをパッシブに監視し、高度な機械学習技術を適用することで、彼らは驚くべき精度でユーザーの行動を推論することができました。

サイドチャネル攻撃におけるディープラーニング：ディープラーニングは、サイドチャネル攻撃を洗練させるために探求されました。目標は、テンプレート攻撃における仮定を最小限に抑えるための洗練されたプロファイリング手法を開発することでした。ディープラーニングを適用することで、特定の暗号化基準に対するサイドチャネル攻撃でより正確な結果が達成されました。

機械学習攻撃への対抗：軽量認証における物理的クローン不可能関数（PUF）に対して機械学習が武器化されるのを阻止するためのユニークなアプローチが導入されました。この手法は、軽量PUFベースの認証とロックダウン技術を組み合わせ、機械学習が新しいチャレンジ-レスポンスペアを正常に抽出できないようにしました。

結論

機械学習の暗号学への統合は、セキュリティの強化とプロセスの最適化のための新たな道を開きました。協調ディープラーニングや暗号解析において特に有望な解決策を提供しますが、内在するセキュリティ上の懸念に対処する必要があります。分野が進化するにつれて、研究者や実務者は潜在的な脆弱性を認識し、堅牢で安全なシステムの作成に向けて取り組むことが重要です。