Agora, as Aplicações de IA podem ser monitorizadas em tempo real com o Centro de Controlo de IA para impedir a entrada de utilizadores prejudiciais
- Agora, os usuários podem detectar interações ruins e mau uso de seus aplicativos de IA em tempo real.
- Operadores de aplicativos de IA podem detectar conteúdo inseguro, enganoso, ataques de injeção de prompt e também saídas prejudiciais de seus modelos.
- O Centro de Controle de IA da WhyLabs facilita a investigação de quaisquer problemas que surjam durante o uso e permite o ajuste fino para um melhor controle.
Uma startup de observação de inteligência artificial, a WhyLabs, lançou um novo produto de IA que proporcionará controlo em tempo real das saídas das suas aplicações de IA. A plataforma, chamada Centro de Controlo de IA, foi concebida para monitorizar e controlar as operações das soluções de IA, garantindo a sua fiabilidade e segurança, uma vez que os sistemas de monitorização tradicionais não são capazes de observar a IA de forma fiável.
A WhyLabs apresenta o Centro de Controlo de IA
A empresa afirmou que existem muitos desafios que as empresas enfrentam hoje em dia, especialmente no que diz respeito aos LLMs. À medida que as equipas das empresas têm de garantir que os ataques de injeção de prompts não tornam os seus LLMs vulneráveis, de modo a que não forneçam saídas prejudiciais ou imprecisas que possam danificar a sua reputação.
A solução da empresa pode ajudar a resolver estes problemas, avaliando o funcionamento dos LLMs em tempo real. Uma vez que pode lidar com toda a gama de aspetos que podem ser problemáticos para os LLMs, por exemplo, os prompts dos utilizadores, o processo de geração de respostas (RAG) e o feedback que gera. Alessya Visnjic, CEO e co-fundadora da WhyLabs, mencionou que
“Os nossos clientes estão a passar as iniciativas de IA Generativa de protótipos para a produção, onde a segurança e a qualidade são primordiais.”
Referindo-se às ferramentas tradicionais de observabilidade que apenas realizam monitorização passiva, ela acrescentou:
“As ferramentas de observabilidade passiva sozinhas não são suficientes para este salto, porque não pode permitir um atraso de 5 minutos em saber que um incidente de jailbreak ocorreu numa aplicação. As nossas novas capacidades de segurança equipam as equipas de IA com salvaguardas que impedem interações inseguras em menos de 300 milissegundos, com uma precisão de deteção de ameaças de 93%.”
Fonte: Businesswire.
Monitorização tradicional vs. monitorização baseada em IA para
De acordo com Visnjic, a diferença entre a monitorização tradicional e a observabilidade de IA é que o ponto chave a procurar é identificar os fatores de risco para medir e o procedimento adotado para os medir de forma consistente. Ela diz:
“Os LLMs e as aplicações de IA generativa abrem todo um novo conjunto de desafios de segurança que ainda não resolvemos.”
Fonte: Siliconangle.
Ela explica os desafios no que diz respeito a como um sistema identifica uma injeção de prompt ou um jailbreak, incluindo qualquer tipo de entrada com más intenções por parte do utilizador final. O Centro de Controlo de IA pode fornecer às empresas controlo em tempo real do desempenho das aplicações de IA, o que ajuda as equipas de cibersegurança e de negócios a lidar com muitos riscos, afirma a WhyLabs. As empresas podem ajustar o sistema de observabilidade e também definir o seu próprio conjunto de regras para a deteção avançada de ameaças, o que pode ser um exercício contínuo face às ameaças emergentes.
Desta forma, as equipas podem criar conjuntos de dados de alta qualidade com base nas suas interações com os utilizadores da aplicação AI, já que a plataforma também permite investigar os problemas que surgem com o tempo. Estas capacidades estão agora disponíveis na plataforma AI Control da WhyLabs, juntamente com muitas outras ferramentas para o desempenho dos modelos de IA, à medida que a empresa expande a sua oferta com um apoio de 14 milhões de dólares. Os principais investidores são a Bezos Expeditions e a AI Funds, e a Madrona Venture Group.
As mentes mais inteligentes do setor de criptomoedas já leem nosso boletim informativo. Quer entrar? Junte-se a eles.
Aviso Legal: As informações fornecidas não constituem aconselhamento de negociação. A Cryptopolitan.com não assume responsabilidade por quaisquer investimentos realizados com base nas informações disponibilizadas nesta página. Recomendamos fortemente a realização de pesquisa independente e/ou consulta com um profissional qualificado antes de tomar qualquer decisão de investimento.
Aamir Sheikh
Aamir é um jornalista de tecnologia com quase seis anos de experiência nos setores de criptomoedas e tecnologia. Formou-se na MAJ University com um MBA em Finanças e Marketing. Atualmente trabalha na Cryptopolitan, onde relata os últimos desenvolvimentos nos mercados de criptomoedas e previsões de preços.
