Les applications IA peuvent désormais être surveillées en temps réel avec le Centre de contrôle IA pour arrêter les entrées utilisateur nuisibles
- Désormais, les utilisateurs peuvent détecter en temps réel les interactions nuisibles et la mauvaise utilisation de leurs applications IA.
- Les opérateurs d'applications IA peuvent détecter les contenus dangereux, trompeurs, les attaques par injection de prompt, ainsi que les sorties nuisibles générées par leurs modèles.
- Le Centre de contrôle AI de WhyLabs facilite l'investigation des problèmes survenant lors de l'utilisation et permet un réglage fin pour une meilleure maîtrise.
Une startup d’observation de l’intelligence artificielle, WhyLabs, a lancé un nouveau produit IA qui fournira un contrôle en temps réel des sorties de leurs applications IA. La plateforme appelée Centre de contrôle IA est conçue pour surveiller et contrôler les opérations des solutions IA afin d’en garantir la fiabilité et la sécurité, car les systèmes de surveillance traditionnels ne sont pas capables d’observer les IA de manière fiable.
WhyLabs présente le Centre de contrôle IA
L’entreprise a déclaré qu’il existe de nombreux défis auxquels les entreprises sont confrontées aujourd’hui, en particulier concernant les LLM. Les équipes des entreprises doivent s’assurer que les attaques par injection de prompt ne rendent pas leurs LLM vulnérables, afin qu’ils ne fournissent pas de sorties nuisibles ou inexactes qui pourraient nuire à leur réputation.
La solution de l’entreprise peut aider à résoudre ces problèmes en évaluant le fonctionnement des LLM en temps réel. Elle peut traiter l’ensemble des aspects qui peuvent poser problème aux LLM, par exemple les prompts utilisateur, le processus de génération de réponses (RAG) et les retours qu’elle génère. Alessya Visnjic, PDG et cofondatrice de WhyLabs, a mentionné que
« Nos clients font passer leurs initiatives d’IA générative des prototypes à la production, où la sécurité et la qualité sont primordiales. »
Évoquant les outils d’observabilité traditionnels qui ne font que de la surveillance passive, elle a ajouté :
« Les outils d’observabilité passive seuls ne suffisent pas pour cette avancée, car vous ne pouvez pas vous permettre un délai de 5 minutes pour apprendre qu’un incident de jailbreak s’est produit dans une application. Nos nouvelles capacités de sécurité équipent les équipes IA de garde-fous qui empêchent les interactions non sécurisées en moins de 300 millisecondes, avec une précision de détection des menaces de 93 %. »
Source : Businesswire.
Surveillance traditionnelle vs surveillance basée sur l’IA pour
Selon Visnjic, la différence entre la surveillance traditionnelle et l’observabilité IA réside dans le fait que le point clé à rechercher est l’identification des facteurs de risque à mesurer et la procédure adoptée pour les mesurer de manière cohérente. Elle dit :
« Les LLM et les applications d’IA générative ouvrent tout un nouvel ensemble de défis de sécurité que nous n’avons pas résolus auparavant. »
Source : Siliconangle.
Elle explique les défis liés à la manière dont un système identifie une injection de prompt ou un jailbreak, y compris tout type d’entrée à mauvaise intention de la part de l’utilisateur final. Le Centre de contrôle IA peut fournir aux entreprises un contrôle en temps réel des performances des applications IA, ce qui aide les équipes de cybersécurité et d’affaires à gérer de nombreux risques, affirme WhyLabs. Les entreprises peuvent affiner le système d’observabilité et également définir leurs propres règles pour la détection avancée des menaces afin d’obtenir un contrôle plus précis, ce qui peut également être un exercice continu face aux menaces émergentes.
De cette manière, les équipes peuvent construire des ensembles de données de haute qualité basés sur leurs interactions avec les utilisateurs de leur application IA, car la plateforme permet également d’enquêter sur les problèmes qui apparaissent avec le temps. Ces capacités sont désormais disponibles sur la plateforme de contrôle AI de WhyLabs, ainsi que sur de nombreux autres outils pour la performance des modèles IA, alors que l’entreprise élargit son offre avec un soutien de 14 millions de dollars. Les principaux investisseurs sont Bezos Expeditions et AI Funds, ainsi que Madrona Venture Group.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
Avertissement : Les informations fournies ne constituent pas des conseils de trading. Cryptopolitan.com décline toute responsabilité quant aux investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener des recherches indépendantes et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Aamir Sheikh
Aamir est journaliste technologique avec près de six ans d'expérience dans les secteurs de la cryptomonnaie et de la technologie. Il est diplômé de l'université MAJ avec un MBA en finance et marketing. Il travaille désormais pour Cryptopolitan, où il rend compte des dernières évolutions des marchés de la cryptomonnaie et des prévisions de prix.
