KI-Apps können jetzt in Echtzeit mit dem AI Control Center überwacht werden, um schädliche Benutzereingaben zu stoppen

Ein Startup für die Beobachtung künstlicher Intelligenz, WhyLabs, stellte ein neues KI-Produkt vor, das Echtzeitkontrolle über die Ausgaben ihrer KI-Apps bieten wird. Die als AI Control Center bezeichnete Plattform ist darauf ausgelegt, die Operationen von KI-Lösungen zu überwachen und zu steuern, um ihre Zuverlässigkeit und Sicherheit zu gewährleisten, da herkömmliche Überwachungssysteme nicht in der Lage sind, KI zuverlässig zu beobachten.

WhyLabs stellt das AI Control Center vor

Das Unternehmen sagte, dass es viele Herausforderungen gibt, mit denen Unternehmen heute konfrontiert sind, insbesondere in Bezug auf LLMs. Da die Teams in den Unternehmen sicherstellen müssen, dass Prompt-Injection-Angriffe ihre LLMs nicht anfällig machen, sodass sie keine schädlichen oder ungenauen Ausgaben liefern, die ihren Ruf schädigen könnten.

Die Lösung des Unternehmens kann helfen, diese Probleme zu bewältigen, indem sie die Operation von LLMs in Echtzeit bewertet. Da sie den gesamten Bereich der Aspekte behandeln kann, die für LLMs problematisch sein können, zum Beispiel Benutzereingaben, der Prozess der Antwortgenerierung (RAG) und das Feedback, das sie generiert. Alessya Visnjic, CEO und Co-Gründerin von WhyLabs, erwähnte, dass

„Unsere Kunden bewegen Generative-AI-Initiativen von Prototypen in die Produktion, wo Sicherheit und Qualität von größter Bedeutung sind.“

Unter Hinweis auf herkömmliche Observability-Tools, die nur passive Überwachung durchführen, fügte sie hinzu,

„Passive Observability-Tools allein sind für diesen Sprung nicht ausreichend, da Sie sich keine 5-minütige Verzögerung beim Lernen leisten können, dass ein Jailbreak-Vorfall in einer Anwendung aufgetreten ist. Unsere neuen Sicherheitsfunktionen rüsten KI-Teams mit Schutzmaßnahmen aus, die unsichere Interaktionen in unter 300 Millisekunden verhindern, mit einer Bedrohungserkennungsgenauigkeit von 93 %.“

Quelle: Businesswire.

Traditionelle Überwachung vs. KI-basierte Überwachung für

Laut Visnjic besteht der Unterschied zwischen traditioneller Überwachung und KI-Observability darin, dass der Schlüsselpunkt darin besteht, Risikofaktoren hervorzuheben, um sie zu messen, und das Verfahren, das zur konsistenten Messung dieser Faktoren angewendet wird. Sie sagt,

„LLMs und Gen-AI-Anwendungen eröffnen eine ganz neue Reihe von Sicherheitsherausforderungen, die wir zuvor nicht gelöst haben.“

Quelle: Siliconangle.

Sie erklärt die Herausforderungen dahingehend, wie ein System eine Prompt-Injection oder einen Jailbreak pinpointet, einschließlich jeglicher Art von Eingabe mit böswilliger Absicht vom Endbenutzer. Das AI Control Center kann Unternehmen Echtzeitkontrolle über die Leistung von KI-Anwendungen bieten, was Cybersecurity- und Business-Teams hilft, viele Risiken zu bewältigen, behauptet WhyLabs. Unternehmen können das Observability-System feinjustieren und auch ihre eigenen Regeln für die erweiterte Bedrohungserkennung festlegen, um eine präzisere Kontrolle zu erhalten, was auch eine kontinuierliche Übung mit aufkommenden Bedrohungen sein kann.

Auf diese Weise können Teams hochwertige Datensätze basierend auf ihren KI-Anwendungen-Interaktionen mit Nutzern aufbauen, da die Plattform auch Untersuchungen zu Problemen ermöglicht, die im Laufe der Zeit auftreten. Diese Funktionen sind jetzt auf der WhyLabs AI Control Platform verfügbar, zusammen mit vielen anderen Tools für die Leistung von KI-Modellen, da das Unternehmen sein Angebot mit einer Unterstützung von 14 Millionen US-Dollar ausbaut. Die wichtigsten Investoren sind Bezos Expeditions und AI Funds sowie Madrona Venture Group.