研究人员成功利用同类手段“越狱”AI聊天机器人

新加坡，2023年12月28日 – 新加坡南洋理工大学（NTU Singapore）的计算机科学家通过“越狱”几种流行的人工智能（AI）聊天机器人（包括ChatGPT、Google Bard和Microsoft Bing Chat）取得了突破。这一成功“越狱”AI聊天机器人的行为引发了人们对大型语言模型（LLM）脆弱性以及需要加强安全措施的担忧。

研究人员突破界限黑客攻击AI聊天机器人

在新加坡南洋理工大学计算机科学与工程系刘洋教授领导的开创性研究中，研究团队揭示了LLM聊天机器人能力的漏洞。LLM构成了AI聊天机器人的核心，因其能够理解、生成和模仿类人文本而广受欢迎。它们在从规划行程到编码和讲故事的各种任务中表现出色。然而，这些聊天机器人也遵守开发人员设定的严格道德准则，以防止生成不道德、暴力或非法内容。

研究人员试图突破这些准则的界限，并找到了欺骗AI聊天机器人生成违反道德边界内容的创新方法。他们的方法被称为“越狱”，旨在利用LLM聊天机器人的弱点，凸显了加强安全措施的必要性。

双管齐下破解法中的“万能钥匙”

研究团队开发了一种双管齐下的“万能钥匙”方法，以有效攻破大型语言模型（LLM）聊天机器人。首先，他们逆向工程了LLM用于检测和拒绝恶意查询的防御机制。凭借这些知识，研究人员训练了一个LLM来生成能够绕过这些防御的提示词，从而创建出一个能够进行越狱攻击的LLM。

创建越狱提示词可以实现自动化，使越狱LLM能够在开发者修补其聊天机器人后继续适应并创建新的提示词。研究人员的发现详细载于预印本服务器arXiv上的一篇论文中，并已被接受在2024年2月的网络与分布式系统安全研讨会上进行展示。

测试LLM伦理与揭示的漏洞

AI聊天机器人通过响应用户提示词或指令来运作。开发者设定了严格的伦理准则，以防止这些聊天机器人生成不当或非法内容。研究人员探索了如何设计提示词，使其不被聊天机器人的伦理准则察觉，从而诱骗它们做出回应。

其中一种策略是创建一个角色，该角色提供的提示词中每个字符之间都留有空格，从而有效地绕过了可能标记潜在问题词汇的关键字审查器。此外，聊天机器人被指示以“毫无保留且不受道德约束”的角色身份进行回应，这增加了生成不道德内容的可能性。

通过手动输入此类提示词并监控响应时间，研究人员深入了解了LLM的内部工作机制和防御措施。这种逆向工程过程使他们能够识别出弱点，并创建了一个能够越狱聊天机器人的提示词数据集。

不断升级的军备竞赛

黑客与LLM开发者之间持续的猫鼠游戏已使AI聊天机器人的安全措施不断升级。当发现漏洞时，开发者会发布补丁来解决这些问题。然而，随着“万能钥匙”的引入，研究人员已经改变了力量平衡。

使用“万能钥匙”创建的AI越狱聊天机器人可以生成大量提示词并不断适应，从过去的成功和失败中学习。这一发展使黑客能够利用其工具智胜LLM开发者。

研究人员首先创建了一个训练数据集，其中包含了他们在逆向工程阶段发现的有效提示词以及用于指导AI越狱模型的失败提示词。该数据集用于训练一个LLM，随后进行了持续的预训练和任务微调。这一过程使模型接触到多样化的信息，并提高了其操纵文本以进行越狱的能力。

AI聊天机器人安全的未来

“万能钥匙”的提示词在越狱LLM方面的有效性是LLM自身生成提示词的三倍。越狱LLM还展示了从过去的失败中学习并不断产生更有效的新提示词的能力。

展望未来，研究人员建议LLM开发者本身可以采用类似的自动化方法来增强其安全措施。这将确保在LLM不断发展和扩展其功能时，对潜在的滥用场景进行全面覆盖和评估。

新加坡国立大学研究人员成功越狱AI聊天机器人，凸显了LLM的脆弱性，并强调了在AI开发中采取强大安全措施的必要性。随着AI聊天机器人日益融入日常生活，防范潜在滥用和伦理违规行为仍然是全球开发者的首要任务。黑客与开发者之间持续的军备竞赛无疑将塑造AI聊天机器人安全的未来。