微软推出新的 Azure AI 安全功能以防范 AI 幻觉

Microsoft推出了一套先进的功能工具包，以增强Azure AI平台的安全性。Microsoft感知人工智能倡议（Sentient AI Initiative）的首席产品官Sarah Bind将推出一系列精心设计的工具，以解决使用人工智能启用应用程序的风险。 

在预览阶段，新的安全措施将保护 Azure AI免受威胁，提供受保护的答案，并防止推广和隐藏的恶意提示注入，而无需特定的红队参与。

Microsoft Azure的高级AI安全工具

有效解决这些关切对于将人工智能技术有效整合到公共部门至关重要，因为减轻可能阻碍其实施和长期成功的意外风险和关切至关重要。

如Prompt Shields、Groundedness Detection等冰山一角工具，以及用于帮助筛选模型漏洞的详细漏洞评估也已揭晓。 

Prompt Shields提供了一个网关，阻止恶意提示注入，并通过禁止使用被禁语言/隐蔽提示来保护用户免受利用用户输入和第三方数据的风险，从而防止用户通过人工智能模型将人工智能用于数字世界。 

这一点尤为重要，尤其是在避免生成关于历史事件的虚假或不准确材料方面，这是人工智能驱动模型面临的挑战。

Azure生态系统中的AI安全和幻觉缓解

文本幻觉缓解是Microsoft安全工具包的另一重要组成部分，旨在针对一系列幻觉和中和。实现这一点创造了一个环境，其中并非任何想法都是可接受的；只有那些有证据支持且可验证的想法才是最适合输入人工智能系统的。 

此外，安全评估将能够对模型的漏洞进行深入监控，以便立即识别这些弱点，并随后根据需要调整安全措施。考虑到这一点，Microsoft已准备好满足个别客户的需求并提供充分的人工智能安全措施。 

Azure客户可以通过包含或排除性别偏见内容、仇恨言论和其他贬低内容来自定义其设置，以符合其特定需求。 

同样，这种未来的升级也将有助于管理员通过提供报告功能来确定用户是真正的测试者还是恶意用户。

Microsoft在安全且合乎道德的人工智能开发方面的开创性方法

这些安全措施的意义不仅在于即时的安全效益，还在于信息技术行业采用了一种对社会负责的人工智能开发整体方法。将Llama等工具集成到GPT-4和Llama 2等领先版本中，意味着Azure AI上的一系列人工智能应用程序将依赖于更高的欺诈和错误控制措施。 

然而，不太受欢迎开源模型可能需要用户手动将安全工具集成到主系统中，这是一个旁注。这些强制功能被视为Microsoft创建安全和合乎道德的人工智能环境的综合战略的一部分。Azure AI客户（如KPMG、AT&T、Reddit）构成了旨在在各个领域实施进步的主要力量。 

因此，其影响预计将是广泛的。此外，Microsoft通过与OpenAI的合作伙伴关系以及Azure OpenAI服务的推出，证明了它是人工智能领域的主要力量，为开发人员和组织提供实现人工智能应用程序能力所需的工具。

Microsoft的最后一个自动安全功能被指示为对人工智能技术产生的巨大风险的回应。通过深入研究如何保护人工智能免受其中的安全威胁并使人工智能工具的实时输出准确，Microsoft以这种方式定义了新的AI安全代码。它们提高了人工智能解决方案的安全性、完整性和可靠性，并帮助负责任的人工智能使用话语的发展。

随着人工智能的发展，安全监督的必要性无疑会增加。通过这些新的安全技术，Microsoft将目标显著推向真正安全和合乎道德的人工智能范式。通过这些保障措施，Azure的人工智能客户可以确信，他们可以将其自动机器实施到其运营中，并充分了解人工智能带来的所有可能风险。

原始故事来自 https://thehorizon.ai/microsofts-new-safety-system-can-catch-hallucinations-in-its-customers-ai-apps