Ahora las aplicaciones de IA pueden monitorearse en tiempo real con el Centro de Control de IA para detener la entrada dañina del usuario
- Ahora los usuarios pueden detectar interacciones incorrectas y el mal uso de sus aplicaciones de IA en tiempo real.
- Los operadores de aplicaciones de IA pueden detectar comportamientos inseguros, engañosos, ataques de inyección de prompts y también salidas dañinas de sus modelos.
- El Centro de Control de IA de WhyLabs facilita la investigación de cualquier problema que surja durante su uso y permite un ajuste fino para obtener un mejor control.
Una startup de observación de inteligencia artificial, WhyLabs, presentó un nuevo producto de IA que proporcionará control en tiempo real de las salidas de sus aplicaciones de IA. La plataforma llamada Centro de Control de IA está diseñada para monitorear y controlar las operaciones de las soluciones de IA para garantizar su fiabilidad y seguridad, ya que los sistemas de monitoreo tradicionales no son capaces de observar la IA de manera fiable.
WhyLabs presenta el Centro de Control de IA
La empresa dijo que hay muchos desafíos que las empresas enfrentan hoy en día, especialmente con respecto a los LLM. A medida que los equipos de las empresas deben asegurarse de que los ataques de inyección de prompts no hagan que sus LLM sean susceptibles para que no proporcionen salidas dañinas o inexactas que puedan dañar su reputación.
La solución de la empresa puede ayudar a abordar estos problemas evaluando la operación de los LLM en tiempo real. Ya que puede manejar toda la gama de aspectos que pueden ser problemáticos para los LLM, por ejemplo, los prompts del usuario, el proceso de generación de respuestas (RAG) y la retroalimentación que genera. Alessya Visnjic, CEO y cofundadora de WhyLabs, mencionó que
“Nuestros clientes están moviendo las iniciativas de IA Generativa de prototipos a producción, donde la seguridad y la calidad son primordiales.”
Mencionando las herramientas de observabilidad tradicionales que solo realizan monitoreo pasivo, añadió,
“Las herramientas de observabilidad pasiva por sí solas no son suficientes para este salto porque no puedes permitirte un retraso de 5 minutos en aprender que ha ocurrido un incidente de jailbreak en una aplicación. Nuevas capacidades de seguridad equipan a los equipos de IA con salvaguardas que previenen interacciones inseguras en menos de 300 milisegundos, con una precisión de detección de amenazas del 93%.”
Fuente: Businesswire.
Monitoreo tradicional vs. monitoreo basado en IA para
Según Visnjic, la diferencia entre el monitoreo tradicional y la observabilidad de IA es que el punto clave a buscar es señalar los factores de riesgo para medir y el procedimiento adoptado para medirlos de manera consistente. Ella dice,
“Los LLM y las aplicaciones de gen AI abren todo un nuevo conjunto de desafíos de seguridad que no hemos resuelto antes.”
Fuente: Siliconangle.
Ella explica los desafíos sobre cómo un sistema identifica una inyección de prompt o jailbreak, incluyendo cualquier tipo de entrada con mala intención del usuario final. El Centro de Control de IA puede proporcionar a las empresas control en tiempo real del rendimiento de las aplicaciones de IA, lo que ayuda a los equipos de ciberseguridad y negocios a abordar muchos riesgos, afirma WhyLabs. Las empresas pueden ajustar el sistema de observabilidad y también establecer su propio conjunto de reglas para la detección avanzada de amenazas para un control más preciso, lo que también puede ser un ejercicio continuo con amenazas emergentes.
De esta manera, los equipos pueden construir conjuntos de datos de alta calidad basados en sus interacciones de aplicación de IA con los usuarios, ya que la plataforma también permite investigaciones sobre los problemas que aparecen con el tiempo. Estas capacidades ahora están disponibles en la Plataforma de Control de IA de WhyLabs, junto con muchas otras herramientas para el rendimiento de modelos de IA, ya que la empresa está expandiendo su oferta con un respaldo de $14 millones. Los principales inversores son Bezos Expeditions y AI Funds, y Madrona Venture Group.
No te limites a leer noticias sobre criptomonedas. Entiéndelas. Suscríbete a nuestro boletín. Es gratis.
Aviso de responsabilidad (Disclaimer): La información proporcionada no constituye asesoramiento de inversión. Cryptopolitan.com no asume responsabilidad alguna por las inversiones realizadas basándose en la información contenida en esta página. Recomendamos encarecidamente realizar investigaciones independientes o consultar con un profesional calificado antes de tomar cualquier decisión de inversión.
Aamir Sheikh
Aamir es un periodista tecnológico con casi seis años de experiencia en los sectores de criptomonedas y tecnología. Se graduó de la Universidad MAJ con un MBA en Finanzas y Marketing. Ahora trabaja con Cryptopolitan, donde informa sobre los últimos desarrollos en los mercados de criptomonedas y predicciones de precios.
