Microsoft aprimora segurança do chatbot de IA para frustrar golpistas

A Microsoft Corp. adicionou vários recursos de segurança no Azure AI Studio que, ao longo do tempo, devem continuar reduzindo a probabilidade de seus usuários configurarem modelos de IA em um modo que os faça agir de maneira anormal ou inadequada. A multinacional de tecnologia sediada em Redmond, Washington, detalhou as melhorias em um post de blog, enfatizando a garantia da integridade das interações com IA e o fomento da confiança na base de usuários.

Escudos de prompt e mais 

Entre os principais desenvolvimentos está a criação dos “escudos de prompt”, uma tecnologia projetada para encontrar e bloquear injeções de prompt durante a conversa com chatbots de IA. Esses são os chamados “jailbreaks” e são basicamente entradas dos usuários que são intencionalmente formuladas de maneira a elicitar uma resposta indesejada dos modelos de IA.

Por exemplo, a Microsoft está atuando indiretamente contra injeções de prompt, onde a execução de ordens maliciosas é possível, e um cenário como esse pode levar a graves consequências de segurança, como roubo de dados e sequestro de sistemas. Os mecanismos são fundamentais para detectar e responder a essas ameaças únicas em tempo real, segundo Sarah Bird, Diretora de Produtos da Microsoft para IA Responsável.

A Microsoft adiciona que haverá alertas na tela do usuário, que indicarão quando um modelo provavelmente estiver expressando informações falsas ou enganosas, garantindo maior facilidade de uso e confiança.

Construindo confiança nas ferramentas de IA 

O esforço da Microsoft faz parte de uma iniciativa maior, destinada a dar confiança às pessoas na cada vez mais popular IA generativa, que está sendo aplicada extensivamente em serviços voltados para consumidores individuais e clientes corporativos. A Microsoft passou por uma análise minuciosa após ocorrerem casos em que os usuários tinham a capacidade de manipular o chatbot Copilot para produzir saídas bizarras ou prejudiciais. Isso apoiará um resultado que mostra a necessidade de defesas fortes contra as táticas manipulativas mencionadas, que provavelmente aumentarão com as tecnologias de IA e o conhecimento popular. Prever e depois mitigar é o reconhecimento de padrões de ataque, comojson onde um atacante repete questionamentos ou prompts de role-playing.

Como o maior investidor e parceiro estratégico da OpenAI, a Microsoft está expandindo os limites de como incorporar e criar tecnologias de IA generativa responsáveis e seguras. Ambas estão comprometidas com a implantação responsável e com modelos fundamentais de IA Generativa para medidas de segurança. Mas Bird admitiu que esses grandes modelos de linguagem, mesmo à medida que passam a ser vistos como a base para grande parte da inovação futura em IA, não são à prova de manipulação.

Construir sobre essas fundações exigirá muito mais do que apenas confiar nos próprios modelos; será necessária uma abordagem abrangente para a segurança e proteção da IA.

A Microsoft anunciou recentemente o fortalecimento das medidas de segurança para seu Azure AI Studio para demonstrar e garantir medidas proativas que estão sendo tomadas para proteger o cenário em mudança das ameaças de IA.

Ela se esforça para evitar o uso indevido da IA e preservar a integridade e a confiabilidade da interação com a IA, incorporando telas e alertas oportunos.

Com a evolução constante da tecnologia de IA e sua adoção em muitas facetas do cotidiano, será hora da Microsoft e do restante da comunidade de IA manterem uma postura de segurança muito vigilante.