WhyLabs, une startup spécialisée dans l'observation de l'intelligence artificielle, a lancé un nouveau produit d'IA qui fournira un contrôle en temps réel des sorties de ses applications d'IA. La plate-forme appelée AI Control Center est conçue pour surveiller et contrôler les opérations des solutions d'IA afin de garantir leur fiabilité et leur sécurité, car les systèmes de surveillance traditionnels ne sont pas capables d'observer l'IA de manière fiable.
WhyLabs présente le centre de contrôle AI
L'entreprise a déclaré que les entreprises sont aujourd'hui confrontées à de nombreux défis, notamment en ce qui concerne les LLM. Les équipes des entreprises doivent s'assurer que les attaques par injection rapide ne rendent pas leurs LLM vulnérables, afin qu'elles ne fournissent pas de résultats nuisibles ou inexacts susceptibles de nuire à leur réputation.
La solution de l'entreprise peut aider à résoudre ces problèmes en évaluant le fonctionnement des LLM en temps réel. Comme il peut traiter l’ensemble des aspects qui peuvent matic problème pour les LLM, par exemple les invites des utilisateurs, le processus de génération de réponses (RAG) et les commentaires qu’il génère. Alessya Visnjic, PDG et co-fondatrice de WhyLabs, a mentionné que
« Nos clients font passer les initiatives d'IA générative des prototypes à la production, où la sécurité et la qualité sont primordiales. »
Mentionnant les outils d'observabilité traditionnels qui effectuent uniquement une surveillance passive, elle a ajouté :
« Les outils d’observabilité passive ne suffisent pas à eux seuls pour franchir ce pas, car vous ne pouvez pas vous permettre un délai de 5 minutes pour apprendre qu’un dent de jailbreak s’est produit dans une application. Nos nouvelles capacités de sécurité équipent les équipes d’IA de protections qui empêchent les interactions dangereuses en moins de 300 millisecondes, avec une précision de détection des menaces de 93 %.
Source : Businesswire .
Surveillance traditionnelle par rapport à la surveillance basée sur l'IA pour
Selon Visnjic, la différence entre la surveillance traditionnelle et l'observabilité de l'IA réside dans le fait que le point clé à rechercher est d'indiquer les facteurs de risque à mesurer et la procédure adoptée pour les mesurer de manière cohérente. Elle dit,
« Les LLM et les applications gen AI ouvrent un tout nouvel ensemble de défis de sécurité que nous n'avons jamais résolus auparavant. »
Source : Siliconangle .
Elle explique les défis liés à la manière dont un système identifie une injection rapide ou un jailbreak, y compris tout type d'entrée mal intentionnée de la part de l'utilisateur final. AI Control Center peut fournir aux entreprises un contrôle en temps réel des performances des applications d'IA, ce qui aide les équipes de cybersécurité et commerciales à faire face à de nombreux risques, affirme WhyLabs. Les entreprises peuvent affiner le système d’observabilité et également définir leur propre ensemble de règles de détection avancée des menaces pour un contrôle plus précis, ce qui peut également constituer un exercice continu face aux menaces émergentes.
De cette manière, les équipes peuvent créer des ensembles de données de haute qualité basés sur les interactions de leurs applications d'IA avec les utilisateurs, car la plateforme permet également d'enquêter sur les problèmes qui apparaissent avec le temps. Ces capacités peuvent désormais être utilisées sur WhyLabs AI Control Platform, ainsi que de nombreux autres outils pour les performances des modèles d'IA, alors que la société étend son offre avec un soutien de 14 millions de dollars. Les principaux investisseurs sont Bezos Expeditions and AI Funds et Madrona Venture Group.
L'histoire originale peut être vue ici .
