Una startup para la observación de inteligencia artificial, WhyLabs, presentó un nuevo producto de inteligencia artificial que proporcionará control en tiempo real de los resultados de sus aplicaciones de inteligencia artificial. La plataforma denominada AI Control Center está diseñada para monitorear y controlar las operaciones de las soluciones de IA para garantizar su confiabilidad y seguridad, ya que los sistemas de monitoreo tradicionales no son capaces de observar la IA de manera confiable.
WhyLabs presenta el Centro de control de IA
La compañía dijo que hay muchos desafíos que enfrentan las empresas hoy en día, especialmente en lo que respecta a los LLM. Ya que los equipos de las empresas deben asegurarse de que los ataques de inyección rápida no hagan que sus LLM sean susceptibles para que no proporcionen resultados dañinos o inexactos que puedan dañar su reputación.
La solución de la empresa puede ayudar a abordar estos problemas mediante la evaluación del funcionamiento de los LLM en tiempo real. Ya que puede abordar toda la gama de aspectos que pueden ser matic para los LLM, por ejemplo, las indicaciones de los usuarios, el proceso de generación de respuestas (RAG) y la retroalimentación que genera. Alessya Visnjic, directora ejecutiva y cofundadora de WhyLabs, mencionó que
"Nuestros clientes están trasladando iniciativas de IA generativa de prototipos a producción, donde la seguridad y la calidad son primordiales".
Al mencionar las herramientas de observabilidad tradicionales que solo realizan un monitoreo pasivo, agregó:
“Las herramientas de observabilidad pasiva por sí solas no son suficientes para este salto porque no se puede permitir un retraso de cinco minutos para saber que se ha producido un dent de jailbreak en una aplicación. Nuestras nuevas capacidades de seguridad equipan a los equipos de IA con salvaguardas que evitan interacciones inseguras en menos de 300 milisegundos, con una precisión de detección de amenazas del 93 %”.
Fuente: Businesswire .
Monitoreo tradicional versus monitoreo basado en IA para
Según Visnjic, la diferencia entre el monitoreo tradicional y la observabilidad de la IA es que el punto clave a buscar es señalar los factores de riesgo a medir y el procedimiento adoptado para medirlos de manera consistente. Ella dice,
"Los LLM y las aplicaciones de IA de generación abren un conjunto completamente nuevo de desafíos de seguridad que no habíamos resuelto antes".
Fuente: Siliconangle .
Ella explica los desafíos en cuanto a cómo un sistema identifica una inyección rápida o un jailbreak, incluido cualquier tipo de entrada con malas intenciones por parte del usuario final. El Centro de control de IA puede proporcionar a las empresas control en tiempo real del rendimiento de las aplicaciones de IA, lo que ayuda a los equipos comerciales y de ciberseguridad a abordar muchos riesgos, afirma WhyLabs. Las empresas pueden ajustar el sistema de observabilidad y también establecer su propio conjunto de reglas para la detección avanzada de amenazas para un control más preciso, lo que también puede ser un ejercicio continuo con amenazas emergentes.
De esta manera, los equipos pueden crear conjuntos de datos de alta calidad basados en las de las aplicaciones de IA con los usuarios, ya que la plataforma también permite investigaciones sobre los problemas que aparecen con el tiempo. Estas capacidades ahora se pueden aprovechar en WhyLabs AI Control Platform, junto con muchas otras herramientas para el rendimiento de los modelos de IA, ya que la compañía está ampliando su oferta con un respaldo de 14 millones de dólares. Los inversores clave son Bezos Expeditions y AI Funds, y Madrona Venture Group.
La historia original se puede ver aquí .
