Microsoft aprimora a segurança de chatbots com IA para impedir fraudes

A Microsoft adicionou uma série de recursos de segurança ao Azure AI Studio que, com o tempo, devem continuar reduzindo a probabilidade de seus usuários configurarem modelos de IA em um modo que os faça agir de forma anormal ou inadequada. A multinacional de tecnologia, com sede em Redmond, Washington, detalhou as melhorias em uma postagem no blog, enfatizando a garantia da integridade das interações de IA e o fomento da confiança na base de usuários.

Escudos rápidos e muito mais 

Entre os principais avanços está a criação dos "escudos de prompts", uma tecnologia projetada para encontrar e eliminar injeções de prompts durante conversas com chatbots de IA. Esses prompts são os chamados "jailbreaks" e consistem basicamente em entradas de usuários intencionalmente inseridas de forma a provocar uma resposta indesejada nos modelos de IA.

Por exemplo, a Microsoft está desempenhando seu papel indiretamente com injeções imediatas, onde a execução de comandos maliciosos é possível, e um cenário como esse pode levar a graves consequências de segurança, como roubo de dados e sequestro de sistemas. Os mecanismos são essenciais para detectar e responder a essas ameaças singulares em tempo real, de acordo com Sarah Bird, Diretora de Produtos de IA Responsável da Microsoft.

A Microsoft acrescenta que em breve haverá alertas na tela do usuário, que indicarão quando um modelo provavelmente estiver expressando informações falsas ou enganosas, garantindo maior facilidade de uso e confiança.

Construindo confiança em ferramentas de IA 

O esforço da Microsoft faz parte de uma iniciativa maior, destinada a dar às pessoas confiança na IA generativa cada vez mais popular, que está sendo amplamente aplicada em serviços voltados para consumidores individuais e clientes corporativos. A Microsoft realizou uma análise minuciosa, após constatar casos em que usuários conseguiram manipular o chatbot Copilot para produzir resultados bizarros ou prejudiciais. Isso contribuirá para um resultado que demonstra a necessidade de defesastroncontra as táticas de manipulação mencionadas, que provavelmente aumentarão com as tecnologias de IA e o conhecimento popular. Prever e mitigar esses ataques envolve o reconhecimento de padrões, como, por exemplo, quando um invasor repete perguntas ou instruções em simulações de papéis.

Como maior investidora e parceira estratégica da OpenAI, a Microsoft está expandindo os limites de como incorporar e criar tecnologias de IA generativa responsáveis ​​e seguras. Ambas estão comprometidas com a implementação responsável e com os modelos fundamentais da IA ​​generativa para medidas de segurança. Mas Bird reconheceu que esses grandes modelos de linguagem, mesmo sendo vistos como a base para grande parte da inovação futura em IA, não são à prova de manipulação.

Construir sobre esses alicerces exigirá muito mais do que simplesmente confiar nos próprios modelos; será necessária uma abordagem abrangente para a segurança da IA.

A Microsoft anunciou recentemente o reforço das medidas de segurança para o Azure AI Studio, demonstrando e garantindo as ações proativas que estão sendo tomadas para proteger o ambiente de ameaças à IA em constante mudança.

O projeto busca evitar o uso indevido da IA ​​e preservar a integridade e a confiabilidade da interação com a IA, incorporando telas e alertas oportunos.

Com a constante evolução da tecnologia de IA e sua adoção em diversos aspectos da vida cotidiana, é crucial que a Microsoft e toda a comunidade de IA mantenham uma postura de segurança extremamente vigilante.