En startup för observation av artificiell intelligens WhyLabs lanserade en ny AI-produkt som kommer att ge realtidskontroll av utdata från deras AI-appar. Plattformen som kallas AI Control Center är utformad för att övervaka och kontrollera driften av AI-lösningar för att säkerställa deras tillförlitlighet och säkerhet, eftersom traditionella övervakningssystem inte kan observera AI på ett tillförlitligt sätt.
WhyLabs introducerar AI Control Center
Företaget sa att det finns många utmaningar som företag står inför idag, särskilt när det gäller LLM. Eftersom teamen på företagen måste se till att snabba injektionsattacker inte gör deras LLM mottagliga så att de inte ger skadliga eller felaktiga utdata som kan skada deras rykte.
Företagets lösning kan hjälpa till att hantera dessa problem genom att utvärdera driften av LLM:er i realtid. Eftersom det kan hantera hela skalan av aspekter som kan vara matic för LLM:er, till exempel användarmeddelanden, processen att generera svar (RAG) och den feedback som den genererar. Alessya Visnjic, VD och medgrundare av WhyLabs, nämnde det
"Våra kunder flyttar generativa AI-initiativ från prototyper till produktion, där säkerhet och kvalitet är av största vikt."
Hon nämnde traditionella observerbarhetsverktyg som endast utför passiv övervakning, tillade hon,
"Enbart passiva observerbarhetsverktyg räcker inte för det här språnget eftersom du inte har råd med en 5-minuters försening när du får veta att en jailbreak- dent har inträffat i en applikation. Våra nya säkerhetsfunktioner utrustar AI-team med skyddsåtgärder som förhindrar osäkra interaktioner på under 300 millisekunder, med 93 % hotdetektionsnoggrannhet.”
Källa: Businesswire .
Traditionell övervakning kontra AI-baserad övervakning för
Enligt Visnjic är skillnaden mellan traditionell övervakning och AI-observbarhet att nyckelpunkten att leta efter är att peka ut riskfaktorerna att mäta och den procedur som används för att mäta dem på ett konsekvent sätt. Hon säger,
"LLMs och gen AI-applikationer öppnar upp en helt ny uppsättning säkerhetsutmaningar som vi inte har löst tidigare."
Källa: Siliconangle .
Hon förklarar utmaningarna med hur ett system lokaliserar en snabb injektion eller jailbreak, inklusive alla typer av input med dåliga avsikter från slutanvändaren. AI Control Center kan ge företag kontroll i realtid av AI-applikationsprestanda, vilket hjälper cybersäkerhet och affärsteam att hantera många risker, hävdar WhyLabs. Företag kan finjustera observerbarhetssystemet och även sätta sin egen uppsättning regler för avancerad hotdetektering för mer exakt kontroll, vilket också kan vara en kontinuerlig övning med nya hot.
På så sätt kan team bygga högkvalitativa datamängder baserat på deras AI- applikationsinteraktioner med användarna, eftersom plattformen också tillåter undersökningar av de problem som uppstår med tiden. Dessa funktioner kan nu utnyttjas på WhyLabs AI Control Platform, tillsammans med många andra verktyg för AI-modellers prestanda, eftersom företaget utökar sitt erbjudande med ett stöd på $14 miljoner. Nyckelinvesterarna är Bezos Expeditions och AI-fonder och Madrona Venture Group.
Originalberättelsen kan ses här .
