協調型ディープラーニング：暗号学における機械学習の応用

著

読了時間7分 2023年11月3日

ディープラーニングの分野では、単一のソースからのデータだけではモデルの学習に不十分な場合があります。そのため、データ所有者は自社のデータだけでなく、他のソースのデータも活用することに関心が高まっています。これを促進する一つの方法は、複数のデータソースから学習できるクラウドベースのモデルを利用することです。しかし、重要な懸念事項として、機密情報の保護が挙げられます。.

この結果、協調型ディープラーニングの概念が生まれました。これは、暗号化されたトレーニングデータの共有と暗号化された勾配の共有という2つの主要な戦略を軸としています。ここでの包括的な原則は、クラウドでの演算に使用されるデータも含め、すべてのデータが学習プロセス全体を通して暗号化された状態を維持するため、完全準同型暗号化を使用することです。.

プライバシーを確保するために暗号化されたデータを共有する

協調型ディープラーニングにおけるプライバシー確保のための革新的なアプローチが存在します。その一つは、データ所有者とクラウドベースのシステムの両方が関与する方法です。その仕組みは以下のとおりです。

データ所有者は公開鍵、秘密鍵、評価鍵を作成します。そして、公開鍵を使用してデータ（トレーニングデータや目標ターゲットなど）を暗号化し、暗号化されたデータをクラウドに転送します。.
クラウドは、この暗号化されたデータを受信すると、データ所有者によって提供された公開キーと評価キーを使用してモデルのトレーニングを開始します。.
学習プロセスによって暗号化された重みが更新されると、クラウドはこれらの暗号化された重みをそれぞれのデータ所有者に返します。.
最後に、データ所有者は受信したデータを共同で復号し、個々の更新された重みを取得します。この復号プロセスでは、安全なマルチパーティ計算技術が活用されます。.

復号プロセス中にデータ所有者が通信する必要をなくすため、より複雑な別の方法が提案されています。これは、認可センター（AU）と呼ばれる追加のエンティティを介し、二重暗号化技術と複数鍵完全準同型暗号化を組み合わせて使用します。手順は以下のとおりです。

データ所有者は公開鍵と秘密鍵を作成し、データを暗号化してクラウドに送信します。AUはデータ所有者の秘密鍵のコピーも保持します。.
クラウドは、暗号化されたデータを受信したが評価キーが不足しているため、データにノイズを導入し、AU に転送します。.
AU はデータ所有者の秘密鍵を使用してこのデータを復号化し、単一の公開鍵で再暗号化してからクラウドに送り返します。.
クラウドは、この均一に暗号化されたデータを用いて、暗号化および更新された重みを計算できるようになりました。計算が完了すると、結果はAUに送信され、データ所有者の個別の公開鍵を用いて再暗号化されます。.
各データ所有者はそれぞれの結果を受け取り、秘密鍵を使用して復号化できます。.

このシステムは、使用されている公開鍵システムも意味的に安全であれば、意味的安全性を維持することが示されています。さらに、クラウドとAUが共謀しない限り、重みなどの深層学習パラメータのプライバシーは損なわれません。.

近年の進歩では、マルチスキーム完全準同型暗号の導入により、基本的な手法が改良されました。これにより、データ所有者は協調型ディープラーニングに参加する際に、多様な暗号化スキームを利用できるようになります。さらに、特定の活性化関数の精度が向上し、従来の手法と比較して分類タスクの全体的な精度と速度が向上しました。.

暗号化された勾配を用いた協調型ディープラーニング

協調型ディープラーニングの分野における革新的なアプローチとして、加法準同型暗号が挙げられます。この手法は、学習法として非同期確率的勾配降下法（ASGD）を用いた従来の手法を改良したものとして開発されました。この従来のアプローチは、各データ所有者がどの勾配をグローバルに共有するかを決定し、プライバシーを確保できることから、「勾配選択型ASGD」と呼ばれていました。.

勾配にラプラスノイズを導入することで差分プライバシーを組み込んだ追加手法もありました。これらの対策にもかかわらず、勾配値がわずかに変更された場合でも、所有者の機密データが漏洩する可能性があることが実証されました。.

ASGD を使用した改良された方法では、プロセスは次のように概説できます。

データ所有者は、クラウドから暗号化された重みを取得し、秘密鍵で復号化します。.
データ所有者は、グローバルウェイトとトレーニングデータを使用して、ディープラーニングモデル内の勾配を計算します。.
この勾配は学習率で乗算された後、データ所有者の秘密鍵を使用して暗号化され、クラウドに送り返されます。.
次に、クラウドはデータ所有者からの暗号化されたデータを使用してグローバル重みを更新しますが、操作は追加に限定されます。.
この手法の大きな特徴は、勾配漏洩の可能性に対する堅牢性です。クラウドは、たとえ何らかの意図を持って操作したとしても、勾配の情報にアクセスできません。さらに、データ所有者がクラウドから結果を復号すると、その結果は、クラウド操作が暗号化されていない勾配に対して実行された場合に予想される結果と完全に一致します。.

暗号学における機械学習のセキュリティへの影響

機械学習と暗号技術の統合は、いくつかのセキュリティ上の懸念を引き起こしています。このセクションでは、このトピックに関する最近の主要な知見を簡単にまとめます。.

機械学習のセキュリティ：2006年の研究では、機械学習が本当に安全であるかどうかという疑問に深く切り込みました。この研究では、機械学習システムと技術に対する様々な種類の攻撃を分類しました。さらに、これらの攻撃に対する防御策を提示し、攻撃者の行動を示す分析モデルを提供しました。

攻撃の分類の拡張：先行研究を基に、その後の研究で攻撃の分類が拡張されました。この研究では、異なる攻撃クラスが攻撃者と防御者の両方にどのようなコストをもたらすかを詳細に説明しました。また、統計的スパムフィルターであるSpamBayesをケーススタディとして用い、機械学習システムに対する攻撃の包括的なレビューも提供しました。

回避攻撃：2013年の研究で、回避攻撃という概念が提唱されました。探索的整合性攻撃と類似点はあるものの、回避攻撃は機械学習システムの訓練データに敵対的データを導入することに焦点を当てています。この研究では、機械学習の敵対的データに対する耐性を徹底的に評価することの重要性が強調されました。

機械学習分類器の悪用：2013年の別の研究では、機械学習分類器を操作して情報を漏洩させる手法が明らかにされました。この研究は、機械学習分類器から統計情報が意図せずまたは意図的に漏洩することに焦点を当てていました。独自のメタ分類器が開発され、他の分類器をハッキングするように訓練され、tracするために利用される可能性がありますtrac、知的財産権を侵害して企業秘密を

敵対的行動：攻撃者は、これらの手法に対応して行動を変えることで、学習アプローチを回避する可能性があります。攻撃に耐えうる堅牢性を保証する学習手法については、これまで十分な研究が行われてきませんでした。「コンピュータセキュリティのための機械学習手法」と題したワークショップが開催され、コンピュータセキュリティと機械学習の専門家間の議論が促進されました。このワークショップではdent、セキュリティにおける従来の機械学習アプリケーションから、セキュアな学習の課題、そしてセキュリティを保証する新しい形式的手法の作成まで、いくつかの研究優先事項が特定されました

従来のコンピュータセキュリティを超えて：ワークショップでは、dent従来のコンピュータセキュリティの領域を超えた潜在的な応用分野も特定されました。データ駆動型手法に関連してセキュリティ上の懸念が生じる可能性のあるこれらの応用分野には、ソーシャルメディアスパム、盗作検出、著者dent著作権執行、コンピュータビジョン（特に生体認証）、感情分析などが挙げられます。

機械学習におけるセキュリティとプライバシー：2016年の研究は、機械学習におけるセキュリティとプライバシーの懸念について詳細な分析を行いました。この研究では、機械学習の詳細な脅威モデルが提示され、攻撃と防御を敵対的フレームワークに分類しています。学習における敵対的設定は、プライバシーを標的とするものと完全性を標的とするものの2つの主要なカテゴリーに分類されています。敵対的設定における推論もまた、ホワイトボックス型とブラックボックス型の2つに分類されています。この研究は、堅牢でプライバシーが確保され、説明責任が果たせる機械学習モデルを実現するための道筋について議論して結論づけています。

暗号解読における機械学習のこれまでの進歩

機械学習は暗号解読の分野、特にサイドチャネル攻撃の能力強化においてますます活用されつつあります。その応用例を簡潔に概説します。

機械学習の早期導入：この分野における初期の取り組みの一つとして、最小二乗サポートベクターマシン（LS-SVM）学習アルゴリズムが用いられました。この手法は、消費電力をサイドチャネル攻撃として利用し、高度暗号化標準（AES）のソフトウェア実装を対象としていました。その結果、機械学習アルゴリズムのパラメータが結果に極めて重要な役割を果たすことが明らかになりました。

精度の向上：その後のアプローチでは、サイドチャネル攻撃の精度を向上させるために機械学習を活用することが提唱されました。これらの攻撃は暗号システムのハードウェア実装の物理的メトリクスに基づいているため、多くの場合、特定のパラメータに関する仮定に基づいています。機械学習の導入により、特に高次元の特徴ベクトルを扱う際に、これらの仮定を緩和することが可能になります。

暗号解読におけるニューラルネットワーク：暗号解読にニューラルネットワークを用いた革新的な手法がもう一つありました。この戦略では、ニューラルネットワークを暗号鍵なしで暗号文を復号できるように訓練することで、特定の暗号化規格に必要な時間と既知の平文と暗号文のペアの数を大幅に削減しました。

これまでの研究の発展：前述のニューラルネットワークアプローチを基に、別の研究では軽量暗号を対象としました。焦点は平文ではなく鍵の発見に移りました。ニューラルネットワークの効率は、ラウンド数を減らしたバージョンと完全なバージョンの両方の暗号でテストされ、精度を最大化するためにネットワーク構成が調整されました。

暗号化トラフィックの分析：別の研究では、モバイルデバイス上の暗号化されたネットワークトラフィックの分析が詳細に行われました。その目的は、暗号化されたデータからユーザーの行動を識別することでした。暗号化されたトラフィックを受動的に監視し、高度な機械学習技術を適用することで、驚くべき精度でユーザーの行動を推測することができました。

サイドチャネル攻撃におけるディープラーニング：サイドチャネル攻撃の精度向上を目的として、ディープラーニングが研究されました。その目的は、テンプレート攻撃における仮定を最小限に抑える高度なプロファイリング技術の開発でした。ディープラーニングを適用することで、特定の暗号規格に対するサイドチャネル攻撃において、より正確な結果が得られました。

機械学習攻撃への対策：軽量認証における物理的複製不可能関数（PUF）に対する機械学習の悪用を防ぐための独自のアプローチが導入されました。この手法は、軽量なPUFベースの認証とロックダウン技術を組み合わせることで、機械学習がtrac新しいチャレンジ・レスポンスペアを

結論

機械学習を暗号学に統合することで、セキュリティ強化とプロセス最適化の新たな道が開かれました。特に協調型ディープラーニングや暗号解読において有望なソリューションを提供する一方で、対処すべきセキュリティ上の懸念も存在します。この分野が進化するにつれ、研究者や実務家は潜在的な脆弱性を認識し、堅牢で安全なシステムの構築に取り組むことが不可欠です。.