了解人工智能系统中快速注入的威胁

在人工智能 ( AI ) 和机器学习 (ML)快速发展的领域，美国国家标准与技术研究院 (NIST) 始终保持警惕，密切监控 AI 的生命周期，以发现潜在的网络安全漏洞。随着 AI 的普及，此类漏洞也随之被发现和利用，促使 NIST 制定策略和方法，以有效降低风险。

了解对抗性机器学习（AML）策略

对抗性机器学习（AML）策略旨在trac机器学习系统行为的洞察，使攻击者能够操纵这些系统以达到恶意目的。提示注入是这些策略中的一个重大漏洞，尤其针对生成式人工智能模型。.

美国国家标准与技术研究院 (NIST)dent注入分为两大类：直接提示注入和间接提示注入。直接提示注入是指用户输入的文本触发了人工智能系统中的意外或未经授权的操作。而间接提示注入则涉及篡改或降低人工智能模型用于生成响应的数据质量。.

DAN（Do Anything Now，即“立即执行任何操作”）是最臭名昭著的直接提示注入方法之一，主要用于攻击 ChatGPT。DAN 利用角色扮演场景绕过审核机制，允许用户获取原本会被过滤掉的回复。尽管开发者努力修复漏洞，但 DAN 的各种变体仍然存在，持续对人工智能安全构成挑战。.

防御快速注入攻击

尽管完全消除提示注入攻击可能无法实现，但美国国家标准与技术研究院 (NIST) 提出了几种防御策略来降低风险。NIST 建议模型创建者精心整理训练数据集，并训练模型识别和拒绝对抗性提示。此外，采用可解释的 AI 解决方案也有助于检测和阻止异常输入。.

由于间接提示注入依赖于被篡改的数据源，因此构成了一项艰巨的挑战。美国国家标准与技术研究院 (NIST) 建议通过基于人类反馈的强化学习 (RLHF) 来微调模型，并引入人工干预。从检索到的输入中过滤掉指令，并利用人工智能审核员，可以进一步加强对间接提示注入攻击的防御。

基于可解释性的解决方案能够深入了解人工智能模型的决策过程，从而帮助检测异常输入。通过分析预测轨迹，组织可以识别dent阻止潜在攻击，防患于未然。

IBM 安全在人工智能网络安全中的作用

随着网络安全形势的不断演变，IBM Security始终处于行业领先地位，提供人工智能驱动的解决方案，以加强对新兴威胁的防御。凭借先进技术和专家经验，IBM Security助力企业有效保护其人工智能系统。.

人工智能技术不断进步，恶意攻击者也随之不断升级，利用其漏洞进行攻击。通过遵循美国国家标准与技术研究院 (NIST) 的建议，并利用 IBM Security 等行业领先企业的创新解决方案，企业可以降低人工智能网络安全威胁带来的风险，并确保系统的完整性和安全性。.