微软推出全新 Azure AI 安全功能，防范 AI 幻觉

微软推出了一套先进的工具包，旨在增强 Azure AI 平台的安全性。微软感知人工智能计划首席产品官 Sarah Bind 将发布一系列精心设计的工具，以应对使用人工智能应用程序所带来的风险。. 

在预览阶段，新的安全措施将保护 Azure AI 免受威胁，提供受保护的答案，并防止恶意提示注入（包括公开和隐藏的提示），而无需专门的红队。

微软 Azure 的高级 AI 安全工具

解决这些问题对于将人工智能技术有效融入公共部门至关重要，因为这对于减轻可能阻碍其实施和长期成功的不可预见的风险和担忧至关重要。.

一些冰山一角的工具，例如 Prompt Shields、接地检测和复杂的漏洞评估，也已亮相，以帮助筛选模型漏洞。. 

提示盾提供了一个入口，可以阻止恶意提示注入，并通过禁止使用违禁语言/隐蔽提示来保护用户免受人工智能模型利用人工智能攻击数字世界的风险，因为这些提示可能会导致用户输入和第三方数据的被利用。. 

这一点尤其重要，因为要避免制作关于历史事件的虚假或不准确材料，而这正是人工智能驱动模型所面临的挑战。

Azure生态系统中的AI安全性和幻觉缓解

微软安全工具包的另一重要组成部分——基于文本的幻觉缓解功能，旨在应对和消除一系列幻觉。该功能旨在创建一个环境，在这个环境中，并非任何想法都能被接受；只有那些有证据支持且可验证的想法才是最适合输入人工智能系统的信息。. 

此外，安全评估能够对模型的漏洞进行深入监控，以便及时dent这些弱点，并根据需要调整安全措施。鉴于此，微软已做好准备，满足客户的个性化需求并提供充分的人工智能安全措施。. 

Azure 客户可以根据自身需求，自定义设置，选择是否包含性别歧视内容、仇恨言论和其他贬损性内容。. 

同样，未来的此类升级还将通过提供报告功能，帮助管理员确定用户是真正的测试人员还是恶意用户。.

微软在安全且符合伦理的人工智能开发方面采取的开创性方法

这些安全措施的意义不仅在于其带来的直接安全效益，更在于信息技术行业秉持着对人工智能发展负责的整体性理念。将 Llama 等工具集成到 GPT-4 和 Llama 2 等主流版本中，意味着 Azure AI 上的众多人工智能应用将依赖于更严格的欺诈和错误控制措施。. 

然而，需要指出的是，一些不太流行的开源模型可能需要用户手动将安全工具集成到主系统中。这些强制执行功能是微软构建安全且符合伦理的人工智能环境的综合战略的一部分。Azure AI 的客户（例如 KPMG、AT&T 和 Reddit）都是实力雄厚的企业，致力于在各个领域推动技术进步。. 

因此，预计它们的影响将是广泛的。此外，微软通过与 OpenAI 的合作以及 Azure OpenAI 服务的推出，证明了其在人工智能领域的主导地位，为开发者和组织提供在人工智能应用方面取得卓越成就所需的工具。.

微软最新推出的这项自动安全功能旨在应对人工智能技术语音交互带来的巨大风险。通过深入研究如何保护人工智能免受安全威胁，并确保人工智能工具的实时输出准确无误，微软正在 defi一套新的人工智能安全准则。这些措施旨在提升人工智能解决方案的安全性、完整性和可靠性，并帮助人工智能开发者利用语音交互实现自我进化。.

随着人工智能的不断发展，安全监管的必要性无疑也日益凸显。凭借这些新型安全技术，微软显著提升了人工智能安全与伦理范式的门槛。有了这些保障措施，Azure 的人工智能客户可以dent 将自动化系统部署到他们的运营中，并充分了解人工智能可能带来的所有风险。.

原文来自 https://thehorizo​​n.ai/microsofts-new-safety-system-can-catch-hallucinations-in-its-customers-ai-apps