AI 中新兴的隐私风险：语言模型中的记忆挑战

一项由 Google DeepMind、华盛顿大学、加州大学伯克利分校等研究人员参与的突破性研究揭示了一个令人震惊的大语言模型（如 ChatGPT）的特性：它们能够记住并复制其训练过的特定数据。这种现象被称为“记忆”（memorization），引发了严重的隐私担忧，尤其是考虑到这些模型通常在包含潜在敏感信息的大量且多样化的文本数据上进行训练。

理解可提取的记忆

这项聚焦于“可提取记忆”的研究旨在确定外部实体是否能够在不了解训练集的情况下，从这些模型中提取特定的学习数据。这种记忆不仅仅是理论上的担忧；它具有现实世界的隐私影响。

研究方法与发现

研究人员采用了一种新颖的方法，从各种模型生成大量标记，并将这些标记与训练数据集进行比较，以识别直接记忆实例。他们为 ChatGPT 开发了一种独特的方法，称为“发散攻击”（divergence attack），即提示模型重复说一个词，直到它反复转入记忆中的数据。令人惊讶的是，包括 ChatGPT 在内的模型显示出显著的记忆能力，在特定提示下会复述训练数据的片段。

发散攻击与 ChatGPT

对于 ChatGPT 而言，发散攻击被证明特别具有揭示性。研究人员提示模型多次重复一个词，导致它偏离标准响应并发出记忆中的数据。这种方法既实用又令人担忧，因为它展示了提取潜在敏感信息的能力。

该研究的惊人发现是，记忆的数据可能包括电子邮件地址和电话号码等个人信息。研究人员使用正则表达式和语言模型提示，评估了 15,000 个生成结果中类似个人身份信息（PII）的子字符串。大约 16.9% 的生成结果包含记忆的 PII，其中 85.8% 是真实的 PII，而非幻觉内容。

对语言模型设计和使用的启示

这些发现对语言模型的设计和应用程序具有重要意义。当前的技术，即使是在 ChatGPT 中采用的技术，可能不足以防止数据泄露。该研究强调了需要更强大的训练数据去重方法，并更深入地理解模型容量如何影响记忆。

核心方法涉及从各种模型生成文本，并检查这些输出与模型各自的训练数据集是否存在记忆。使用后缀数组进行高效匹配，从而在大型文本语料库中实现快速的子字符串搜索。

模型越大，记忆风险越高

一个显著的关联出现在模型大小与其记忆倾向之间。GPT-Neo、LLaMA 和 ChatGPT 等大型模型显示出更高的发出记忆训练数据的可能性，这表明模型容量与记忆之间存在直接关系。

该研究阐明了 AI 开发中的一个关键方面——确保强大的模型尊重用户隐私。它为研究和开发开辟了新的途径，重点关注增强 AI 模型中的隐私保护，特别是那些用于隐私敏感应用的模型。

随着 AI 的不断发展，这项研究揭示了其开发中的一个重要方面：语言模型需要加强隐私措施。AI 能够记忆并可能泄露敏感信息的揭露，呼吁该领域立即采取行动，敦促开发人员和研究人员创建不仅强大而且能保护用户隐私的模型。这项研究标志着在理解和缓解与 AI 和机器学习技术相关的隐私风险方面迈出了重要一步。