Microsoft Revela Novos Recursos de Segurança do Azure AI para Proteger Contra Alucinações de IA

A Microsoft lançou um kit de ferramentas avançado de recursos para melhorar a segurança da plataforma Azure AI. Sarah Bind, diretora principal de produtos da Iniciativa de IA Sentiente da Microsoft, lançará uma série de ferramentas cuidadosamente projetadas para abordar os riscos do uso de aplicativos habilitados para IA. 

Na fase de visualização, as novas precauções de segurança protegerão Azure AI contra ameaças, fornecerão respostas seguras e protegerão contra injeção de prompts maliciosos e ocultos, sem a necessidade de equipes de teste específicas.

Ferramentas avançadas de segurança de IA do Microsoft Azure

Abordar essas preocupações é primordial para a integração eficaz da tecnologia de IA no setor público, pois é crucial mitigar riscos e preocupações imprevistos que possam impedir sua implementação e sucesso a longo prazo.

As ferramentas de ponta do iceberg, como Prompt Shields, Groundedness Detection e avaliação de vulnerabilidade elaborada para ajudar a filtrar as vulnerabilidades do modelo, também foram reveladas. 

Os Prompt Shields fornecem uma porta de entrada que bloqueia a injeção de prompts maliciosos e protege os usuários contra o risco de usar a IA contra o mundo digital por meio de modelos de IA, proibindo o uso de linguagem proibida/prompts ocultos, pois podem levar à exploração de entradas do usuário e dados de terceiros. 

Isso se torna particularmente importante, especialmente ao evitar a produção de material falso ou impreciso sobre eventos históricos, o que foi um desafio enfrentado em modelos impulsionados por IA

Segurança de IA e mitigação de alucinações no ecossistema da Azure

Mitigação de Alucinações Baseadas em Texto, outra parte essencial do kit de segurança da Microsoft, é direcionada a uma série de alucinações e neutralização. Concluir isso cria um ambiente onde não apenas qualquer ideia é aceitável; apenas aquelas apoiadas por evidências e que podem ser verificadas são as entradas mais adequadas para sistemas de IA. 

Além disso, as avaliações de segurança permitirão o monitoramento aprofundado das vulnerabilidades dos modelos, para que essas fraquezas possam ser identificadas imediatamente e as medidas de segurança possam ser ajustadas conforme necessário. Considerando isso, a Microsoft está pronta para atender às necessidades individuais dos clientes e às medidas adequadas de segurança de IA. 

Os clientes da Azure podem personalizar suas configurações, incluindo ou excluindo conteúdo com viés de gênero, discurso de ódio e outros conteúdos depreciativos que ressoam com suas necessidades específicas. 

Da mesma forma, essa atualização futura também será útil para os administradores determinarem se um usuário é um verdadeiro testador ou um usuário malicioso, fornecendo um recurso de relatório.

Abordagem pioneira da Microsoft para o desenvolvimento de IA seguro e ético

A importância dessas medidas de segurança abrange não apenas os benefícios imediatos de segurança, mas também o fato de que a indústria de tecnologia da informação adota uma abordagem holística para o desenvolvimento de IA, que é socialmente responsável. A integração dessas ferramentas, como Llama, em versões líderes como GPT-4 e Llama 2 significaria que uma longa lista de aplicativos de IA no Azure AI dependeria de medidas mais rigorosas de controle de fraude e erro. 

No entanto, o fato de que modelos de código aberto menos populares podem exigir que o usuário integre manualmente as ferramentas de segurança no sistema principal é uma nota lateral. Esses recursos de aplicação são reconhecidos como parte da estratégia abrangente da Microsoft de criar um ambiente de IA seguro e ético. Os clientes da Azure AI (por exemplo, KPMG, AT&T, Reddit) constituem grandes poderes que visam implementar avanços em vários campos. 

Assim, seu impacto deve ser amplo. Além disso, a Microsoft, por meio da parceria com a OpenAI e do lançamento do Azure OpenAI Service, serve como evidência de que é a principal força no domínio da IA, oferecendo as ferramentas que desenvolvedores e organizações precisam para alcançar competência em aplicativos de IA.

A última função de segurança automática da Microsoft é indicada como uma resposta aos grandes riscos produzidos pela fala das tecnologias de inteligência artificial. Ao explorar maneiras de proteger a IA contra ameaças de segurança e tornar as saídas ao vivo das ferramentas de IA precisas, a Microsoft, dessa forma, está definindo um novo código de segurança de IA. Eles melhoram a segurança, integridade e confiabilidade das soluções de IA e ajudam a evolução do discurso sobre o uso responsável da IA.

Quanto mais a inteligência artificial se desenvolve, mais a necessidade de supervisão segura aumenta sem dúvida. Com essas novas tecnologias de segurança, a Microsoft eleva significativamente a barra em direção a um paradigma de IA verdadeiramente seguro e ético. Com essas salvaguardas, os clientes da Azure de IA podem ter certeza de que podem implementar máquinas automáticas em suas operações com pleno entendimento de todos os riscos que a inteligência artificial implica.

História original de https://thehorizon.ai/microsofts-new-safety-system-can-catch-hallucinations-in-its-customers-ai-apps