Ora le App AI possono essere monitorate in tempo reale con AI Control Center per bloccare l'input dannoso degli utenti

Una startup per l'osservazione dell'intelligenza artificiale, WhyLabs, ha lanciato un nuovo prodotto AI che fornirà un controllo in tempo reale sugli output delle loro app AI. La piattaforma chiamata AI Control Center è progettata per monitorare e controllare le operazioni delle soluzioni AI per garantirne l'affidabilità e la sicurezza, poiché i sistemi di monitoraggio tradizionali non sono in grado di osservare l'AI in modo affidabile.

WhyLabs introduce l'AI Control Center

L'azienda ha dichiarato che ci sono molte sfide che le aziende stanno affrontando oggi, specialmente per quanto riguarda i LLM. I team delle aziende devono assicurarsi che gli attacchi di iniezione di prompt non rendano i loro LLM vulnerabili, in modo da non fornire output dannosi o inaccurati che potrebbero danneggiare la loro reputazione.

La soluzione dell'azienda può aiutare ad affrontare questi problemi valutando il funzionamento dei LLM in tempo reale. Poiché può gestire l'intera gamma di aspetti che possono essere problematici per i LLM, ad esempio i prompt degli utenti, il processo di generazione delle risposte (RAG) e il feedback che genera. Alessya Visnjic, CEO e co-fondatrice di WhyLabs, ha menzionato che

“I nostri clienti stanno spostando le iniziative di AI Generativa dai prototipi alla produzione, dove la sicurezza e la qualità sono fondamentali.”

Menzionando gli strumenti di osservabilità tradizionali che eseguono solo un monitoraggio passivo, ha aggiunto,

“Gli strumenti di osservabilità passiva da soli non sono sufficienti per questo salto, perché non puoi permetterti un ritardo di 5 minuti nell'apprendimento che si è verificato un incidente di jailbreak in un'applicazione. Le nostre nuove funzionalità di sicurezza dotano i team AI di salvaguardie che prevengono interazioni non sicure in meno di 300 millisecondi, con una precisione di rilevamento delle minacce del 93%.”

Fonte: Businesswire.

Monitoraggio tradizionale vs. monitoraggio basato su AI per

Secondo Visnjic, la differenza tra il monitoraggio tradizionale e l'osservabilità AI è che il punto chiave da guardare è identificare i fattori di rischio da misurare e la procedura adottata per misurarli in modo coerente. Dice,

“I LLM e le applicazioni gen AI aprono un intero nuovo insieme di sfide di sicurezza che non abbiamo mai risolto prima.”

Fonte: Siliconangle.

Spiega le sfide su come un sistema individua un'iniezione di prompt o un jailbreak, inclusi qualsiasi tipo di input con cattive intenzioni da parte dell'utente finale. AI Control Center può fornire alle aziende un controllo in tempo reale sulle prestazioni delle applicazioni AI, aiutando i team di cybersecurity e business ad affrontare molti rischi, afferma WhyLabs. Le aziende possono perfezionare il sistema di osservabilità e anche impostare il proprio insieme di regole per il rilevamento avanzato delle minacce per un controllo più preciso, che può essere anche un esercizio continuo con l'emergere di nuove minacce.

In questo modo, i team possono costruire set di dati di alta qualità basati sulle loro interazioni con gli utenti dell'applicazione AI, poiché la piattaforma consente anche indagini sui problemi che emergono nel tempo. Queste funzionalità sono ora disponibili su WhyLabs AI Control Platform, insieme a molti altri strumenti per le prestazioni dei modelli AI, mentre l'azienda sta ampliando la propria offerta con un finanziamento di 14 milioni di dollari. Gli investitori chiave sono Bezos Expeditions e AI Funds, e Madrona Venture Group.