Microsoft revela novos recursos de segurança de IA do Azure para proteger contra alucinações de IA

A Microsoft lançou um conjunto avançado de recursos para aprimorar a segurança da plataforma de IA do Azure. Sarah Bind, diretora principal de produtos da Iniciativa de IA Sensível da Microsoft, apresentará uma série de ferramentas cuidadosamente projetadas para lidar com os riscos do uso de aplicativos habilitados para IA. 

Na fase de pré-visualização, as novas precauções de segurança protegerão o Azure AI contra ameaças, fornecerão respostas seguras e protegerão contra a promoção e a ocultação de injeções maliciosas sem a necessidade de equipes vermelhas específicas.

Ferramentas avançadas de segurança com IA do Microsoft Azure

Abordar essas preocupações é fundamental para integrar efetivamente a tecnologia de IA no setor público, pois é crucial mitigar riscos e receios imprevistos que possam dificultar sua implementação e sucesso a longo prazo.

Ferramentas como Prompt Shields, Groundedness Detection e avaliações de vulnerabilidade elaboradas para ajudar a identificar as vulnerabilidades do modelo também foram reveladas. 

O Prompt Shields oferece uma proteção que bloqueia a injeção de prompts maliciosos e protege os usuários contra o risco de uso de IA contra o mundo digital por meio de modelos de IA, proibindo o uso de linguagem proibida/prompts ocultos, pois estes podem levar à exploração de dados inseridos pelo usuário e de terceiros. 

Isso se torna particularmente importante, especialmente ao evitar a produção de material falso ou impreciso sobre eventos históricos, um desafio enfrentado pelos modelos baseados em IA

Segurança de IA e mitigação de alucinações no ecossistema do Azure

A Mitigação de Alucinações Baseada em Texto, outra parte essencial do conjunto de ferramentas de segurança da Microsoft, visa uma série de alucinações e sua neutralização. Isso cria um ambiente onde nem toda ideia é aceitável; apenas aquelas apoiadas por evidências e verificáveis ​​são as entradas mais adequadas para sistemas de IA. 

Além disso, as avaliações de segurança permitirão o monitoramento aprofundado das vulnerabilidades dos modelos, de modo que essas fragilidades possam serdentimediatamente e as medidas de segurança ajustadas conforme necessário. Considerando isso, a Microsoft está preparada para atender às necessidades individuais dos clientes e implementar medidas de segurança de IA adequadas. 

Os clientes do Azure podem personalizar suas configurações incluindo ou excluindo conteúdo com viés de gênero, discurso de ódio e outros conteúdos depreciativos que atendam às suas necessidades específicas. 

Da mesma forma, essa futura atualização também será útil para os administradores determinarem se um usuário é um testador legítimo ou um usuário malicioso, fornecendo um recurso de relatório.

A abordagem pioneira da Microsoft para o desenvolvimento de IA seguro e ético

A importância dessas medidas de segurança abrange não apenas os benefícios imediatos em termos de segurança, mas também o fato de que a indústria de tecnologia da informação adota uma abordagem holística para o desenvolvimento de IA, que é socialmente responsável. A integração dessas ferramentas, como o Llama, em versões líderes como o GPT-4 e o Llama 2 significaria que uma longa lista de aplicações de IA no Azure AI dependeria de medidas mais robustas de controle de fraudes e erros. 

No entanto, o fato de modelos de código aberto menos populares poderem exigir que o usuário integre manualmente as ferramentas de segurança ao sistema principal é um detalhe à parte. Esses recursos de implementação são reconhecidos como parte da estratégia abrangente da Microsoft para criar um ambiente de IA seguro e ético. Os clientes do Azure AI (por exemplo, KPMG, AT&T, Reddit) representam grandes empresas que visam implementar avanços em diversas áreas. 

Assim, espera-se que seu impacto seja amplo. Além disso, a Microsoft, por meio da parceria com a OpenAI e do lançamento do Azure OpenAI Service, demonstra ser a principal potência no domínio da IA, oferecendo as ferramentas necessárias para que desenvolvedores e organizações alcancem competência em aplicações de IA.

O último recurso de segurança automotiva da Microsoft surge como resposta aos grandes riscos gerados pela comunicação em tecnologias de inteligência artificial. Ao explorar maneiras de proteger a IA contra ameaças à segurança e garantir a precisão dos resultados em tempo real das ferramentas de IA, a Microsoft defium novo código de segurança para IA. Dessa forma, a empresa aprimora a segurança, a integridade e a confiabilidade das soluções de IA e auxilia os profissionais responsáveis ​​pela IA a evoluir.

Quanto mais a inteligência artificial se desenvolve, mais a necessidade de uma supervisão segura aumenta, sem dúvida. Com essas novas tecnologias de segurança, a Microsoft eleva significativamente o padrão rumo a um paradigma de IA verdadeiramente seguro e ético. Com essas salvaguardas, os clientes do Azure que utilizam IA podem ter adent de que podem implementar máquinas automatizadas em suas operações com pleno conhecimento de todos os riscos que a inteligência artificial acarreta.

Matéria original de https://thehorizon.ai/microsofts-new-safety-system-can-catch-hallucinations-in-its-customers-ai-apps