协作式深度学习：机器学习在密码学中的应用

在深度学习领域，有时仅凭单一数据源不足以训练模型。这促使数据所有者越来越关注如何利用自身数据并整合其他数据源。一种可行的方法是使用云端模型，该模型能够从多个数据源中学习。然而，如何保护敏感信息仍然是一个关键问题。. 

这催生了协作式深度学习的概念，其核心策略主要有两个：共享加密训练数据和共享加密梯度。其基本原则是使用全同态加密，以确保所有数据（包括用于云端操作的数据）在整个学习过程中始终保持加密状态。.

共享加密数据以确保隐私

为了确保协作式深度学习过程中的隐私安全，已经出现了一些创新方法。其中一种方法涉及数据所有者和云端系统。其工作原理如下：

1. 数据所有者创建公钥、私钥和评估密钥。然后，他们使用公钥加密数据（例如训练数据和目标值），并将加密后的数据转发到云端。.
2. 云端在收到这些加密数据后，会使用数据所有者提供的公钥和评估密钥来训练模型。.
3. 学习过程更新加密权重后，云端会将这些加密权重返回给相应的数据所有者。.
4. 最后，数据所有者协作解密接收到的数据，以获得各自的更新权重。此解密过程利用了安全的多方计算技术。.

为了避免数据所有者在解密过程中进行通信，人们提出了一种更为复杂的方法。该方法引入了一个额外的实体——授权中心（AU），并结合了双重加密技术和多密钥全同态加密。具体步骤如下：

1. 数据所有者创建自己的公钥和私钥，并对数据进行加密，然后将加密后的数据发送到云端。澳大利亚也保留一份数据所有者的私钥副本。.
2. 云在收到加密数据但缺少评估密钥后，会向数据中引入噪声，然后将其转发给评估单元 (AU)。.
3. AU 使用数据所有者的私钥解密此数据，然后使用单个公钥重新加密，之后将其发送回云端。.
4. 云端现在可以使用这些统一加密的数据计算加密后的更新权重。计算完成后，结果将发送到AU（应用单元），使用数据所有者的个人公钥进行重新加密。.
5. 然后，每个数据所有者都会收到各自的结果，他们可以使用自己的密钥对其进行解密。.

该系统已被证明能够维护语义安全性，前提是所使用的公钥系统本身也具有语义安全性。此外，只要云端和自主单元（AU）不串通，深度学习参数（例如权重）的隐私性就能得到保障。.

近年来，通过引入多方案全同态加密，基本方法得到了改进。这使得数据所有者在参与协同深度学习时能够采用不同的加密方案。此外，与早期方法相比，某些激活函数的精度也得到了提升，分类任务的整体精度和速度也得到了提高。.

基于加密梯度的协同深度学习

协作式深度学习领域的一项创新方法是使用加性同态加密。该方法是对先前采用异步随机梯度下降（ASGD）作为学习方法的技术的改进。早期的方法被称为“梯度选择性ASGD”，因为它允许每个数据所有者决定全局共享哪些梯度，从而确保其隐私。. 

此外，还有一种方法通过在梯度中引入拉普拉斯噪声来实现差分隐私。尽管采取了这些措施，但结果表明，即使梯度值发生微小变化，仍然存在数据所有者敏感数据泄露的风险。.

采用改进的ASGD方法，其过程可概括如下：

1. 数据所有者从云端检索加密后的权重，并使用他们的私钥对其进行解密。.
2. 利用全局权重和训练数据，数据所有者计算其深度学习模型中的梯度。.
3. 该梯度乘以学习率后，使用数据所有者的私钥进行加密，然后发送回云端。.
4. 然后，云端使用来自数据所有者的加密数据更新全球权重，操作仅限于加法。.
5. 该方法的一大亮点在于其对潜在梯度泄露的鲁棒性。即使云端出于某种不正当目的进行操作，也无法访问梯度信息。此外，当数据所有者解密来自云端的结果时，其结果与在未加密梯度上执行云端操作的预期结果完全一致。.

机器学习在密码学中的安全隐患

将机器学习融入密码学引发了诸多安全隐患。本节将简要概述近期与此主题相关的主要研究成果。.

机器学习安全：2006 年的一项研究深入探讨了机器学习是否真正安全的问题。该研究对针对机器学习系统和技术的各种攻击类型进行了分类。此外，它还提出了针对这些攻击的防御措施，并提供了一个分析模型来说明攻击者的攻击手段。

攻击分类扩展：在前期工作的基础上，后续研究扩展了攻击分类。该研究详细阐述了不同类型的攻击如何影响攻击者和防御者的成本。此外，它还以统计垃圾邮件过滤器 SpamBayes 为例，对机器学习系统的攻击进行了全面的回顾。

规避攻击：2013 年的一项研究引入了规避攻击的概念。规避攻击与探索性完整性攻击有相似之处，但它侧重于将对抗性数据引入基于机器学习的系统的训练数据中。该研究强调了全面评估机器学习对对抗性数据的抵抗能力的重要性。

利用机器学习分类器：另一项2013年的研究重点介绍了一种操纵机器学习分类器以泄露信息的方法。该研究的核心在于机器学习分类器无意或有意地泄露统计信息。研究人员开发了一种独特的元分类器，并对其进行训练以入侵其他分类器，提取trac训练集的宝贵信息。此类攻击可用于创建更强大的分类器或窃取trac秘密，从而侵犯知识产权。

对抗行为：攻击者可能通过改变自身行为来绕过学习方法。目前，针对能够抵御攻击并保证鲁棒性的学习技术的研究还很有限。为了促进计算机安全和机器学习专家之间的交流，我们组织了一场题为“计算机安全机器学习方法”的研讨会。研讨会确定了dent研究重点，涵盖了从传统机器学习在安全领域的应用到安全学习挑战，以及创建具有安全保障的新型形式化方法等多个方面。

超越传统计算机安全：本次研讨会还dent了传统计算机安全领域之外的潜在应用。这些应用可能因数据驱动方法而引发安全问题，包括社交媒体垃圾信息、抄袭检测、作者身份识别、dent保护、计算机视觉（尤其是生物识别）和情感分析。

机器学习中的安全与隐私：2016 年的一项研究对机器学习中的安全与隐私问题进行了深入分析。该研究引入了一个详细的机器学习威胁模型，并在对抗框架内对攻击和防御进行了分类。训练的对抗设置被分为两大类：针对隐私的和针对完整性的。对抗设置中的推理也被分为白盒攻击和黑盒攻击。该研究最后探讨了如何实现稳健、私密且可问责的机器学习模型。

机器学习在密码分析中的历史进展

机器学习已越来越多地应用于密码分析领域，尤其是在增强侧信道攻击能力方面。以下简要概述其应用：

机器学习的早期应用：该领域的早期尝试之一是使用最小二乘支持向量机（LS-SVM）学习算法。该方法以功耗作为侧信道为目标，针对高级加密标准（AES）的软件实现进行测试。研究结果凸显了机器学习算法参数对结果的关键影响。

提高准确率：后续方法提倡使用机器学习来提高侧信道攻击的准确率。由于这些攻击基于密码系统硬件实现的物理指标，因此通常依赖于某些参数假设。引入机器学习可以放宽这些假设，尤其是在处理高维特征向量时。

神经网络在密码分析中的应用：另一种创新方法是利用神经网络进行密码分析。该策略训练神经网络在无需加密密钥的情况下解密密文，从而显著减少了某些加密标准所需的时间和已知的明文-密文对数量。

在前人工作的基础上：基于上述神经网络方法，另一项研究针对一种轻量级密码。研究重点从明文转移到密钥的发现。研究人员测试了神经网络在密码的缩减轮数版本和完整轮数版本上的效率，并调整网络配置以最大限度地提高准确率。

分析加密流量：另一项研究深入分析了移动设备上的加密网络流量。其目标是从加密数据中识别用户行为。通过被动监控加密流量并应用先进的机器学习技术，研究人员能够以惊人的准确率推断用户行为。

侧信道攻击中的深度学习：我们探索了利用深度学习改进侧信道攻击的方法。目标是开发更精细的分析技术，以最大限度地减少模板攻击中的假设。通过应用深度学习，针对某些加密标准的侧信道攻击取得了更精确的结果。

应对机器学习攻击：我们提出了一种独特的方法来阻止机器学习被用于攻击轻量级身份验证中的物理不可克隆函数 (PUF)。该方法将基于轻量级 PUF 的身份验证与锁定技术相结合，确保机器学习无法成功提取trac的挑战-响应对。

结论

将机器学习融入密码学，为增强安全性和优化流程开辟了新的途径。尽管它提供了前景广阔的解决方案，尤其是在协同深度学习和密码分析领域，但其固有的安全隐患仍需解决。随着该领域的不断发展，研究人员和从业人员必须意识到潜在的漏洞，并致力于构建稳健、安全的系统。.