Ora le app di intelligenza artificiale possono essere monitorate in tempo reale con AI Control Center per bloccare input dannosi da parte degli utenti

WhyLabs, una startup per l'osservazione dell'intelligenza artificiale, ha lanciato un nuovo prodotto di intelligenza artificiale che fornirà il controllo in tempo reale degli output delle sue app di intelligenza artificiale. La piattaforma, denominata AI Control Center, è progettata per monitorare e controllare le operazioni delle soluzioni di intelligenza artificiale per garantirne l'affidabilità e la sicurezza, poiché i sistemi di monitoraggio tradizionali non sono in grado di osservare l'intelligenza artificiale in modo affidabile.

WhyLabs presenta l'AI Control Center

L'azienda ha affermato che le aziende si trovano ad affrontare oggi numerose sfide, soprattutto per quanto riguarda gli LLM. I team aziendali devono garantire che gli attacchi di tipo "prompt injection" non rendano vulnerabili i loro LLM, in modo che non forniscano output dannosi o imprecisi che possano danneggiare la loro reputazione.

La soluzione dell'azienda può aiutare ad affrontare queste problematiche valutando il funzionamento degli LLM in tempo reale. È in grado di gestire l'intera gamma di aspetti che possono rappresentare unmatic per gli LLM, ad esempio i prompt degli utenti, il processo di generazione delle risposte (RAG) e il feedback che genera. Alessya Visnjic, CEO e co-fondatrice di WhyLabs, ha affermato che

"I nostri clienti stanno trasferendo le iniziative di intelligenza artificiale generativa dai prototipi alla produzione, dove sicurezza e qualità sono fondamentali."

Menzionando gli strumenti di osservabilità tradizionali che eseguono solo un monitoraggio passivo, ha aggiunto:

"I soli strumenti di osservabilità passiva non sono sufficienti per questo salto di qualità, perché non ci si può permettere un ritardo di 5 minuti nell'apprendere che si è verificato undent di jailbreak in un'applicazione. Le nostre nuove funzionalità di sicurezza forniscono ai team di intelligenza artificiale misure di sicurezza che prevengono interazioni pericolose in meno di 300 millisecondi, con una precisione di rilevamento delle minacce del 93%"

Fonte: Businesswire.

Monitoraggio tradizionale vs. monitoraggio basato sull'intelligenza artificiale per

Secondo Visnjic, la differenza tra il monitoraggio tradizionale e l'osservabilità dell'IA sta nel fatto che il punto chiave da considerare è l'individuazione dei fattori di rischio da misurare e della procedura adottata per misurarli in modo coerente. Afferma:

"Gli LLM e le applicazioni di intelligenza artificiale di generazione aprono una serie completamente nuova di sfide per la sicurezza che non abbiamo mai risolto prima."

Fonte: Siliconangle.

Spiega le sfide legate al modo in cui un sistema individua un'iniezione immediata o un jailbreak, incluso qualsiasi tipo di input malintenzionato da parte dell'utente finale. AI Control Center può fornire alle aziende un controllo in tempo reale delle prestazioni delle applicazioni di intelligenza artificiale, aiutando i team di sicurezza informatica e aziendali ad affrontare numerosi rischi, afferma WhyLabs. Le aziende possono perfezionare il sistema di osservabilità e anche impostare il proprio set di regole per il rilevamento avanzato delle minacce per un controllo più preciso, che può anche essere un esercizio continuo con le minacce emergenti.

In questo modo, i team possono creare set di dati di alta qualità basati sulle interazioni delle loro applicazioni di intelligenza artificiale con gli utenti, poiché la piattaforma consente anche di analizzare i problemi che emergono nel tempo. Queste funzionalità sono ora disponibili sulla WhyLabs AI Control Platform, insieme a molti altri strumenti per le prestazioni dei modelli di intelligenza artificiale, grazie a un finanziamento di 14 milioni di dollari che sta ampliando la sua offerta. I principali investitori sono Bezos Expeditions e AI Funds, e Madrona Venture Group.