Ahora las aplicaciones de IA se pueden monitorear en tiempo real con el Centro de Control de IA para detener la entrada dañina del usuario

WhyLabs, una startup dedicada a la observación de inteligencia artificial, presentó un nuevo producto de IA que permitirá controlar en tiempo real los resultados de sus aplicaciones. La plataforma, denominada Centro de Control de IA, está diseñada para supervisar y controlar el funcionamiento de las soluciones de IA y garantizar su fiabilidad y seguridad, ya que los sistemas de monitorización tradicionales no son capaces de observar la IA de forma fiable.

WhyLabs presenta el Centro de Control de IA

La compañía afirmó que las empresas enfrentan numerosos desafíos hoy en día, especialmente en lo que respecta a los LLM. Los equipos deben garantizar que los ataques de inyección rápida no los hagan vulnerables a los LLM para que no generen resultados dañinos o inexactos que puedan dañar su reputación.

La solución de la empresa puede ayudar a abordar estos problemas mediante la evaluación del funcionamiento de los LLM en tiempo real. Esto se debe a que puede abordar todos los aspectos que pueden sermatic para los LLM, como las indicaciones de los usuarios, el proceso de generación de respuestas (RAG) y la retroalimentación que genera. Alessya Visnjic, CEO y cofundador de WhyLabs, mencionó que

“Nuestros clientes están trasladando iniciativas de IA generativa de prototipos a producción, donde la seguridad y la calidad son primordiales”

Mencionando las herramientas de observabilidad tradicionales que solo realizan un monitoreo pasivo, agregó:

Las herramientas de observabilidad pasiva por sí solas no son suficientes para este salto, ya que no se puede permitir un retraso de 5 minutos en saber que se ha producido undent de jailbreak en una aplicación. Nuestras nuevas capacidades de seguridad dotan a los equipos de IA de protecciones que previenen interacciones inseguras en menos de 300 milisegundos, con una precisión del 93 % en la detección de amenazas

Fuente: Businesswire.

Monitoreo tradicional vs. monitoreo basado en IA para

Según Visnjic, la diferencia entre la monitorización tradicional y la observabilidad de la IA radica en que el punto clave es identificar los factores de riesgo que se deben medir y el procedimiento adoptado para medirlos de forma consistente. Ella afirma:

“Los LLM y las aplicaciones de inteligencia artificial general abren un conjunto completamente nuevo de desafíos de seguridad que no hemos resuelto antes”

Fuente: Siliconangle.

Explica los desafíos que implica que un sistema detecte una inyección o fuga de información, incluyendo cualquier tipo de entrada maliciosa por parte del usuario final. El Centro de Control de IA puede proporcionar a las empresas control en tiempo real del rendimiento de las aplicaciones de IA, lo que ayuda a los equipos de ciberseguridad y empresariales a abordar numerosos riesgos, afirma WhyLabs. Las empresas pueden perfeccionar el sistema de observabilidad y establecer su propio conjunto de reglas para la detección avanzada de amenazas para un control más preciso, lo que también puede ser un ejercicio continuo ante amenazas emergentes.

De esta forma, los equipos pueden crear conjuntos de datos de alta calidad basados ​​en las interacciones de sus aplicaciones de IA con los usuarios, ya que la plataforma también permite investigar los problemas que surgen con el tiempo. Estas capacidades ya están disponibles en WhyLabs AI Control Platform, junto con muchas otras herramientas para optimizar el rendimiento de los modelos de IA, gracias a la expansión de la oferta de la compañía con una inversión de 14 millones de dólares. Los principales inversores son Bezos Expeditions and AI Funds y Madrona Venture Group.