Il est désormais possible de surveiller en temps réel les applications d'IA grâce à un centre de contrôle d'IA afin de bloquer les saisies utilisateur nuisibles

WhyLabs, une startup spécialisée dans l'observation de l'intelligence artificielle, a lancé un nouveau produit d'IA permettant de contrôler en temps réel les résultats de ses applications. La plateforme, baptisée AI Control Center, est conçue pour surveiller et contrôler le fonctionnement des solutions d'IA afin d'en garantir la fiabilité et la sécurité, contrairement aux systèmes de surveillance traditionnels qui ne permettent pas une observation fiable de l'IA.

WhyLabs présente le centre de contrôle IA

L'entreprise a indiqué que les entreprises sont confrontées à de nombreux défis aujourd'hui, notamment en ce qui concerne les logiciels de modélisation de données (LLM). Les équipes doivent veiller à ce que les attaques par injection de vulnérabilités ne rendent pas leurs LLM vulnérables, afin d'éviter la production de résultats erronés ou nuisibles qui pourraient impacter leur réputation.

La solution proposée par l'entreprise peut contribuer à résoudre ces problèmes en évaluant le fonctionnement des LLM en temps réel. Elle permet de gérer l'ensemble des aspects susceptibles de posermatic aux LLM, tels que les invites utilisateur, le processus de génération de réponses (RAG) et les retours d'information obtenus. Alessya Visnjic, PDG et cofondatrice de WhyLabs, a indiqué que

« Nos clients font passer leurs initiatives d'IA générative du stade du prototype à la production, où la sécurité et la qualité sont primordiales. »

Évoquant les outils d'observabilité traditionnels qui ne font qu'effectuer une surveillance passive, elle a ajouté :

« Les outils d’observabilité passive ne suffisent pas à eux seuls pour franchir ce cap, car on ne peut se permettre un délai de 5 minutes avant de détecter undent de jailbreak dans une application. Nos nouvelles fonctionnalités de sécurité dotent les équipes d’IA de protections qui empêchent les interactions dangereuses en moins de 300 millisecondes, avec une précision de détection des menaces de 93 %. »

Source : Businesswire.

Surveillance traditionnelle vs surveillance basée sur l'IA pour

Selon Visnjic, la différence entre la surveillance traditionnelle et l'observabilité par l'IA réside dans le fait qu'il est essentiel d'identifier les facteurs de risque à mesurer et la procédure adoptée pour les mesurer de manière cohérente. Elle explique :

« Les LLM et les applications d'IA générique soulèvent toute une série de nouveaux défis en matière de sécurité que nous n'avons jamais résolus auparavant. »

Source : Siliconangle.

Elle explique les difficultés liées à la détection d'une injection de code malveillante ou d'un jailbreak, y compris toute saisie malveillante de l'utilisateur final. Selon WhyLabs, AI Control Center permet aux entreprises de contrôler en temps réel les performances de leurs applications d'IA, aidant ainsi les équipes de cybersécurité et les équipes métiers à gérer de nombreux risques. Les entreprises peuvent affiner le système d'observabilité et définir leurs propres règles de détection avancée des menaces pour un contrôle plus précis, un processus continu face aux menaces émergentes.

Ainsi, les équipes peuvent constituer des ensembles de données de haute qualité à partir des interactions de leurs applications d'IA avec les utilisateurs, la plateforme permettant également d'analyser les problèmes qui apparaissent au fil du temps. Ces fonctionnalités sont désormais disponibles sur la plateforme WhyLabs AI Control, qui propose également de nombreux autres outils d'analyse des performances des modèles d'IA. L'entreprise, qui a levé 14 millions de dollars, élargit ainsi son offre. Les principaux investisseurs sont Bezos Expeditions and AI Funds et Madrona Venture Group.