KI-Anwendungen können nun in Echtzeit mit dem KI-Kontrollzentrum überwacht werden, um schädliche Benutzereingaben zu unterbinden

Das auf KI-Beobachtung spezialisierte Startup WhyLabs hat ein neues KI-Produkt vorgestellt, das die Echtzeitkontrolle der Ausgaben seiner KI-Anwendungen ermöglicht. Die Plattform namens AI Control Center dient der Überwachung und Steuerung des Betriebs von KI-Lösungen, um deren Zuverlässigkeit und Sicherheit zu gewährleisten, da herkömmliche Überwachungssysteme KI nicht zuverlässig beobachten können.

WhyLabs stellt das KI-Kontrollzentrum vor

Das Unternehmen erklärte, dass Unternehmen heutzutage vor zahlreichen Herausforderungen stehen, insbesondere im Hinblick auf LLMs. Die Teams der Unternehmen müssen sicherstellen, dass ihre LLMs nicht durch Prompt-Injection-Angriffe angreifbar werden und somit keine schädlichen oder fehlerhaften Ergebnisse liefern, die ihrem Ruf schaden könnten.

Die Lösung des Unternehmens kann zur Bewältigung dieser Probleme beitragen, indem sie die Funktionsweise von Lernmanagementsystemen (LMS) in Echtzeit analysiert. Sie kann alle Aspekte berücksichtigen, die bei LMSmatic sein können, beispielsweise Benutzereingaben, die Generierung von Antworten (Ampelsystem) und das generierte Feedback. Alessya Visnjic, CEO und Mitgründerin von WhyLabs, erwähnte Folgendes:

„Unsere Kunden bringen generative KI-Initiativen von Prototypen in die Produktion, wo Sicherheit und Qualität oberste Priorität haben.“

Sie erwähnte herkömmliche Observability-Tools, die lediglich passives Monitoring ermöglichen, und fügte hinzu:

„Passive Observability-Tools allein reichen für diesen Sprung nicht aus, da eine Verzögerung von 5 Minuten bei der Erkennung eines Jailbreak-dent in einer Anwendung nicht tragbar ist. Unsere neuen Sicherheitsfunktionen statten KI-Teams mit Schutzmechanismen aus, die unsichere Interaktionen in weniger als 300 Millisekunden verhindern und dabei eine Bedrohungserkennungsgenauigkeit von 93 % erreichen.“

Quelle: Businesswire.

Traditionelle Überwachung vs. KI-basierte Überwachung für

Laut Visnjic besteht der Unterschied zwischen traditionellem Monitoring und KI-gestützter Beobachtbarkeit darin, dass es vor allem darauf ankommt, die zu messenden Risikofaktoren und das Verfahren zu deren konsistenter Messung zu identifizieren. Sie sagt:

„LLMs und Anwendungen der generischen KI eröffnen eine ganze Reihe neuer Sicherheitsherausforderungen, die wir bisher noch nicht gelöst haben.“

Quelle: Siliconangle.

Sie erläutert die Herausforderungen bei der Erkennung von Prompt-Injection oder Jailbreaks durch Systeme, einschließlich jeglicher Eingaben mit böswilliger Absicht seitens des Endnutzers. Laut WhyLabs ermöglicht das AI Control Center Unternehmen die Echtzeitkontrolle der KI-Anwendungsleistung und unterstützt so Cybersicherheits- und Business-Teams bei der Bewältigung zahlreicher Risiken. Unternehmen können das Überwachungssystem feinabstimmen und eigene Regeln für die erweiterte Bedrohungserkennung festlegen, um eine präzisere Kontrolle zu gewährleisten. Diese Kontrolle kann angesichts neuer Bedrohungen ein kontinuierlicher Prozess sein.

So können Teams hochwertige Datensätze auf Basis der Interaktionen ihrer KI-Anwendungen mit Nutzern erstellen, da die Plattform auch die Untersuchung von Problemen ermöglicht, die im Laufe der Zeit auftreten. Diese Funktionen sind nun auf der WhyLabs AI Control Platform verfügbar, zusammen mit vielen weiteren Tools zur Leistungsoptimierung von KI-Modellen. Das Unternehmen erweitert sein Angebot mit einer Finanzierung von 14 Millionen US-Dollar. Zu den Hauptinvestoren gehören Bezos Expeditions and AI Funds und die Madrona Venture Group.