协作式深度学习：机器学习在密码学中的应用

在深度学习领域，有时单一来源的数据不足以训练模型。这导致数据所有者不仅希望利用自己的数据，还希望整合来自其他来源的数据，从而引起了越来越多的兴趣。一种促进这一目标的方法是使用可以从多个数据源学习的基于云的模型。然而，一个关键问题是保护敏感信息。 

这催生了协作式深度学习的概念，其围绕两个主要策略：共享加密的训练数据和共享加密的梯度。这里的基本原则是使用全同态加密，以确保在整个学习过程中，包括在云中用于操作的所有数据都保持加密状态。

共享加密数据以确保隐私

在协作式深度学习期间确保隐私方面，已有创新方法。其中一种方法涉及数据所有者和基于云的系统。其工作原理如下：

1. 数据所有者创建公钥、私钥和评估密钥。然后，他们使用公钥加密其数据（如训练数据和目标值），并将这些加密数据转发到云端。
2. 云端在收到这些加密数据后，使用数据所有者提供的公钥和评估密钥来训练模型。
3. 一旦学习过程更新了加密权重，云端会将这些加密权重返回给相应的数据所有者。
4. 最后，数据所有者协作解密接收到的数据，以获得各自更新的权重。此解密过程利用了安全多方计算技术。

还提出了一种更复杂的方法，以消除数据所有者在解密过程中进行通信的需要。这涉及一个额外的实体——授权中心（AU），并采用双重加密技术和多密钥全同态加密的组合。步骤如下：

1. 数据所有者创建其公钥和私钥并加密数据，然后发送给云端。AU也保留数据所有者私钥的副本。
2. 云端在收到加密数据但缺乏评估密钥的情况下，向数据引入噪声，并将其转发给AU。
3. AU使用数据所有者的私钥解密这些数据，并使用单一公钥重新加密，然后将其发送回云端。
4. 现在，云端可以使用这种统一加密的数据计算加密和更新的权重。完成后，结果发送给AU，使用数据所有者各自的公钥进行重新加密。
5. 每个数据所有者随后收到其各自的结果，他们可以使用私钥对其进行解密。

研究表明，只要所使用的公钥系统本身具有语义安全性，该系统就能维持语义安全性。此外，只要云端和AU不串通，深度学习参数（如权重）的隐私就能得到保持。

在最近的发展中，通过引入多方案全同态加密，基本方法得到了改进。这允许数据所有者在参与协作式深度学习时采用不同的加密方案。此外，某些激活函数的准确性有所提高，与早期方法相比，分类任务的整体准确性和速度也有所提升。

使用加密梯度的协作式深度学习

协作式深度学习领域的一种创新方法涉及使用加法同态加密。该方法作为对先前利用异步随机梯度下降（ASGD）作为学习方法的技术的增强而开发。这种较早的方法被称为“梯度选择性ASGD”，因为它允许每个数据所有者决定向全局共享哪些梯度，从而确保其隐私。 

还有一种额外方法通过向梯度引入拉普拉斯噪声来结合差分隐私。尽管采取了这些措施，但事实证明，即使梯度值经过轻微修改，数据所有者的敏感数据仍存在泄露的潜在风险。

在使用ASGD的改进方法中，流程概述如下：

1. 数据所有者从云端检索加密权重，并使用其私钥对其进行解密。
2. 数据所有者使用全局权重和其训练数据，在其深度学习模型中计算梯度。
3. 该梯度在乘以学习率后，使用数据所有者的私钥进行加密，然后发送回云端。
4. 云端随后使用来自数据所有者的加密数据更新全局权重，该操作仅限于加法。
5. 该方法的一个显著亮点是其对潜在梯度泄露的鲁棒性。即使云端怀有好奇意图，也无法访问梯度的信息。此外，当数据所有者解密来自云端的结果时，结果与如果在未加密梯度上执行云端操作所预期的结果完全一致。

机器学习在密码学中的安全影响

机器学习在密码学中的整合引发了若干安全担忧。在本节中，我们简要总结近期与此主题相关的关键发现。

机器学习安全：2006年的一项研究深入探讨了机器学习是否真正能够安全的问题。该研究引入了对机器学习系统和技术各类攻击的分类。此外，它还提出了针对这些攻击的防御措施，并提供了一个分析模型来说明攻击者的努力。

攻击分类法的扩展：在先前工作的基础上，后续研究扩展了攻击分类。该研究详细说明了不同攻击类别如何影响攻击者和防御者的成本。它还全面回顾了针对机器学习系统的攻击，以统计垃圾邮件过滤器SpamBayes为例进行了案例研究。

规避攻击：2013年的一项研究引入了规避攻击的概念。虽然与探索性完整性攻击相似，但规避攻击侧重于向基于机器学习的系统的训练数据中引入对抗性数据。研究强调了对机器学习抵御对抗性数据能力进行全面评估的重要性。

利用机器学习分类器：另一项2013年的研究突出了一种方法，即可以通过操纵机器学习分类器来泄露信息。该研究集中在机器学习分类器中统计信息的无意或有意泄露上。开发了一种独特的元分类器，经过训练以破解其他分类器，并提取有关其训练集的有价值信息。此类攻击可用于创建更优越的分类器，或提取商业秘密，侵犯知识产权。

对抗性行为：对手可能会通过根据这些方法改变其行为来绕过学习途径。对于能够以保证的鲁棒性抵御攻击的学习技术，目前的探索有限。一场名为“计算机安全的机器学习方法”的研讨会被组织起来，以促进计算机安全与机器学习专家之间的讨论。研讨会确定了多项研究优先事项，范围从传统机器学习在安全领域的应用，到安全学习挑战以及创建具有保证安全性的新形式化方法。

超越传统计算机安全：研讨会还确定了传统计算机安全领域之外的潜在应用。在这些应用中，与数据驱动方法相关的安全问题可能包括社交媒体垃圾邮件、抄袭检测、作者身份识别、版权执行、计算机视觉（特别是生物识别）和情感分析。

机器学习中的安全与隐私：2016年的一项研究深入分析了机器学习中的安全和隐私问题。它为机器学习引入了详细的威胁模型，在对抗性框架内对攻击和防御进行了分类。训练中的对抗性设置主要分为两类：针对隐私的攻击和针对完整性的攻击。对抗性设置下的推理也被分类为白盒和黑盒对手。研究最后讨论了实现鲁棒、私密且可问责的机器学习模型的路径。

机器学习在密码分析中的过去进展

机器学习越来越多地整合到密码分析领域，特别是在增强侧信道攻击的能力方面。以下是其应用的简要概述：

机器学习的早期应用：进入该领域的早期尝试之一涉及使用最小二乘支持向量机（LS-SVM）学习算法。该方法利用功耗作为侧信道，针对高级加密标准（AES）的软件实现。研究结果突出了机器学习算法参数对结果的关键作用。

提高准确性：随后的方法提倡使用机器学习来提高侧信道攻击的精度。由于这些攻击基于密码系统硬件实现的物理指标，它们通常依赖于某些参数假设。机器学习的引入提供了一种缓解这些假设的方法，特别是在处理高维特征向量时。

神经网络在密码分析中的应用：另一种创新方法利用神经网络进行密码分析。该策略训练神经网络在无需加密密钥的情况下解密密文，从而显著减少了某些加密标准所需的时间和已知明文-密文对的数量。

在先前工作基础上的扩展：在上述神经网络方法的基础上，另一项研究针对轻量级密码。重点从发现明文转移到发现密钥。神经网络在简化轮次和完整轮次的密码版本上测试了其效率，通过调整网络配置以最大化准确性。

分析加密流量：另一项不同的研究深入分析了移动设备上的加密网络流量。目标是辨别加密数据中的用户行为。通过被动监控加密流量并应用先进的机器学习技术，他们能够以令人印象深刻的准确率推断用户行为。

侧信道攻击中的深度学习：深度学习被探索用于完善侧信道攻击。目的是开发复杂的配置技术，以最小化模板攻击中的假设。通过应用深度学习，在某些加密标准的侧信道攻击中取得了更精确的结果。

对抗机器学习攻击：引入了一种独特的方法来阻止机器学习被武器化以针对轻量级认证中的物理不可克隆函数（PUF）。该方法结合了轻量级基于PUF的认证和锁定技术，确保机器学习无法成功提取新的挑战-响应对。

结论

机器学习在密码学中的整合为增强安全性和优化流程开辟了新的途径。虽然它提供了有希望的解决方案，特别是在协作式深度学习和密码分析方面，但存在固有的安全担忧需要解决。随着该领域的发展，研究人员和从业者必须意识到潜在的漏洞，并致力于创建鲁棒、安全的系统。