Microsoft renforce la sécurité de son chatbot IA pour contrer les arnaqueurs

Microsoft Corp a ajouté plusieurs fonctionnalités de sécurité dans l'Azure AI Studio qui devraient, avec le temps, continuer à réduire la probabilité que ses utilisateurs configurent des modèles d'IA dans un mode les amenant à agir de manière anormale ou inappropriée. La multinationale technologique basée à Redmond, dans l'État de Washington, a détaillé les améliorations dans un article de blog, en insistant sur la garantie de l'intégrité des interactions IA et sur la promotion de la confiance au sein de la base d'utilisateurs.

Boucliers de prompt et plus encore 

Parmi les développements majeurs figure la création de « boucliers de prompt », une technologie conçue pour détecter et neutraliser les injections de prompt lors de la conversation avec des chatbots IA. Il s'agit des soi-disant « jailbreaks », qui sont essentiellement des entrées utilisateur intentionnelles conçues de manière à provoquer une réponse indésirable des modèles d'IA.

Par exemple, Microsoft joue indirectement son rôle face aux injections de prompt, où l'exécution d'ordres malveillants est possible, et un scénario comme celui-ci peut entraîner de graves conséquences en matière de sécurité, telles que le vol de données et la prise de contrôle du système. Les mécanismes sont essentiels pour détecter et répondre à ces menaces uniques en temps réel, selon Sarah Bird, directrice principale des produits pour l'IA responsable chez Microsoft.

Microsoft ajoute qu'il y aura bientôt des alertes à l'écran de l'utilisateur, qui indiqueront lorsqu'un modèle est susceptible d'exprimer des informations fausses ou trompeuses, garantissant ainsi une meilleure convivialité et confiance.

Construire la confiance dans les outils IA 

L'effort de Microsoft fait partie d'une initiative plus large, destinée à donner aux gens confiance dans l'IA générative de plus en plus populaire, qui est largement appliquée dans des services ciblant les consommateurs individuels et la clientèle d'entreprise. Microsoft a passé au peigne fin la situation après avoir subi des incidents où les utilisateurs avaient la capacité de manipuler le chatbot Copilot pour produire des sorties bizarres ou nuisibles. Cela soutiendra un résultat montrant la nécessité de solides défenses contre les tactiques manipulatoires mentionnées, qui sont susceptibles d'augmenter avec les technologies IA et la connaissance populaire. Prédire puis atténuer est une reconnaissance des modèles d'attaque, telsjson où un attaquant répète des questions ou des prompts de jeu de rôle.

En tant que plus grand investisseur et partenaire stratégique d'OpenAI, Microsoft repousse les limites de la manière d'incorporer et de créer des technologies d'IA générative responsables et sûres. Les deux parties sont engagées dans le déploiement responsable et les modèles fondamentaux de l'IA générative pour des mesures de sécurité. Mais Bird a admis que ces grands modèles de langage, même s'ils sont de plus en plus considérés comme une base pour une grande partie de l'innovation future en IA, ne sont pas à l'abri de la manipulation.

S'appuyer sur ces fondations nécessitera bien plus que de simplement compter sur les modèles eux-mêmes ; cela nécessitera une approche globale de la sécurité et de la sûreté de l'IA.

Microsoft a récemment annoncé le renforcement des mesures de sécurité pour son Azure AI Studio afin de montrer et de garantir des mesures proactives prises pour se protéger de l'évolution du paysage des menaces IA.

Il s'efforce d'éviter les abus de l'IA et de préserver l'intégrité et la fiabilité des interactions IA en intégrant des écrans et des alertes opportuns.

Avec l'évolution constante de la technologie IA et son adoption dans de nombreux aspects de la vie quotidienne, il est grand temps pour Microsoft et le reste de la communauté IA de maintenir une posture de sécurité très vigilante.