Agora, os aplicativos de IA podem ser monitorados em tempo real com o Centro de Controle de IA para impedir entradas prejudiciais do usuário

A startup de monitoramento de inteligência artificial WhyLabs lançou um novo produto de IA que oferece controle em tempo real dos resultados de seus aplicativos de IA. A plataforma, chamada AI Control Center, foi projetada para monitorar e controlar as operações de soluções de IA, garantindo sua confiabilidade e segurança, já que os sistemas de monitoramento tradicionais não conseguem observar a IA de forma confiável.

A WhyLabs apresenta o Centro de Controle de IA

A empresa afirmou que existem muitos desafios que as empresas enfrentam hoje, especialmente em relação aos LLMs (Learning Learning Machines). As equipes das empresas precisam garantir que ataques de injeção de vulnerabilidade não tornem seus LLMs vulneráveis, evitando assim a geração de resultados prejudiciais ou imprecisos que possam danificar sua reputação.

A solução da empresa pode auxiliar na resolução desses problemas, avaliando o funcionamento dos LLMs em tempo real. Isso porque ela consegue lidar com toda a gama de aspectos que podem sermatic para os LLMs, como, por exemplo, as instruções para o usuário, o processo de geração de respostas (RAG) e o feedback gerado. Alessya Visnjic, CEO e cofundadora da WhyLabs, mencionou que

“Nossos clientes estão levando iniciativas de IA generativa de protótipos para a produção, onde segurança e qualidade são fundamentais.”

Ao mencionar as ferramentas tradicionais de observabilidade que realizam apenas monitoramento passivo, ela acrescentou:

“Ferramentas de observabilidade passiva por si só não são suficientes para esse salto, pois não se pode tolerar um atraso de 5 minutos para descobrir que ocorreu umadent de segurança em um aplicativo. Nossos novos recursos de segurança equipam as equipes de IA com salvaguardas que previnem interações inseguras em menos de 300 milissegundos, com 93% de precisão na detecção de ameaças.”

Fonte: Businesswire.

Monitoramento tradicional versus monitoramento baseado em IA para

Segundo Visnjic, a diferença entre o monitoramento tradicional e a observabilidade por IA reside no fato de que o ponto crucial a ser observado é a identificação dos fatores de risco a serem mensurados e o procedimento adotado para medi-los de forma consistente. Ela afirma:

“Os LLMs e as aplicações de IA de última geração abrem um novo conjunto de desafios de segurança que ainda não resolvemos.”

Fonte: Siliconangle.

Ela explica os desafios de como um sistema identifica uma injeção ou desbloqueio de segurança, incluindo qualquer tipo de entrada com má intenção por parte do usuário final. O AI Control Center pode fornecer às empresas controle em tempo real do desempenho de aplicativos de IA, o que ajuda as equipes de segurança cibernética e de negócios a lidar com diversos riscos, afirma a WhyLabs. As empresas podem ajustar o sistema de observabilidade e também definir seu próprio conjunto de regras para detecção avançada de ameaças, para um controle mais preciso, que pode ser um exercício contínuo diante de ameaças emergentes.

Dessa forma, as equipes podem criar conjuntos de dados de alta qualidade com base nas interações de seus aplicativos de IA com os usuários, já que a plataforma também permite investigar os problemas que surgem com o tempo. Esses recursos agora estão disponíveis na Plataforma de Controle de IA da WhyLabs, juntamente com muitas outras ferramentas para otimizar o desempenho de modelos de IA, visto que a empresa está expandindo sua oferta com um investimento de US$ 14 milhões. Os principais investidores são a Bezos Expeditions and AI Funds e o Madrona Venture Group.