WhyLabs, ein Startup zur Beobachtung künstlicher Intelligenz, stellte ein neues KI-Produkt vor, das eine Echtzeitsteuerung der Ausgaben seiner KI-Apps ermöglicht. Die Plattform namens AI Control Center soll den Betrieb von KI-Lösungen überwachen und steuern, um deren Zuverlässigkeit und Sicherheit zu gewährleisten, da herkömmliche Überwachungssysteme nicht in der Lage sind, KI zuverlässig zu beobachten.
WhyLabs stellt das AI Control Center vor
Das Unternehmen sagte, dass Unternehmen heute vor vielen Herausforderungen stehen, insbesondere im Hinblick auf LLMs. Denn die Teams in den Unternehmen müssen sicherstellen, dass schnelle Injektionsangriffe ihre LLMs nicht anfällig machen, damit sie keine schädlichen oder ungenauen Ergebnisse liefern, die ihrem Ruf schaden können.
Die Lösung des Unternehmens kann bei der Bewältigung dieser Probleme helfen, indem sie den Betrieb von LLMs in Echtzeit bewertet. Da es die gesamte Bandbreite an Aspekten abdecken kann, die für LLMs matic sein können, beispielsweise Benutzeraufforderungen, den Prozess der Antwortgenerierung (RAG) und das dadurch generierte Feedback. Alessya Visnjic, CEO und Mitbegründerin von WhyLabs, erwähnte dies
„Unsere Kunden verlagern generative KI-Initiativen von Prototypen in die Produktion, wo Sicherheit und Qualität an erster Stelle stehen.“
Sie erwähnte traditionelle Observability-Tools, die nur eine passive Überwachung durchführen, und fügte hinzu:
„Passive Observability-Tools allein reichen für diesen Sprung nicht aus, da Sie sich keine fünfminütige Verzögerung leisten können, um zu erfahren, dass in einer Anwendung ein Jailbreak- dent aufgetreten ist. Unsere neuen Sicherheitsfunktionen statten KI-Teams mit Schutzmaßnahmen aus, die unsichere Interaktionen in weniger als 300 Millisekunden verhindern, mit einer Genauigkeit der Bedrohungserkennung von 93 %.“
Quelle: Businesswire .
Traditionelle Überwachung vs. KI-basierte Überwachung für
Laut Visnjic besteht der Unterschied zwischen traditioneller Überwachung und KI-Beobachtbarkeit darin, dass der entscheidende Punkt darin besteht, die zu messenden Risikofaktoren und das Verfahren zu ihrer konsistenten Messung aufzuzeigen. Sie sagt,
„LLMs und Gen-AI-Anwendungen bringen eine ganze Reihe neuer Sicherheitsherausforderungen mit sich, die wir bisher noch nicht gelöst haben.“
Quelle: Siliconangle .
Sie erklärt die Herausforderungen, die sich daraus ergeben, wie ein System eine prompte Injektion oder einen Jailbreak erkennt, einschließlich aller Arten von Eingaben mit böser Absicht seitens des Endbenutzers. Das AI Control Center kann Unternehmen eine Echtzeitkontrolle der KI-Anwendungsleistung ermöglichen, was Cybersicherheits- und Geschäftsteams dabei hilft, viele Risiken zu bewältigen, behauptet WhyLabs. Unternehmen können das Observability-System verfeinern und auch ihre eigenen Regeln für die erweiterte Bedrohungserkennung festlegen, um eine präzisere Kontrolle zu ermöglichen, was bei neu auftretenden Bedrohungen ebenfalls eine kontinuierliche Übung sein kann.
Auf diese Weise können Teams qualitativ hochwertige Datensätze basierend auf den Interaktionen ihrer KI-Anwendungen mit Benutzern erstellen, da die Plattform auch Untersuchungen zu Problemen ermöglicht, die im Laufe der Zeit auftreten. Diese Funktionen können jetzt zusammen mit vielen anderen Tools für die Leistung von KI-Modellen auf der WhyLabs AI Control Platform genutzt werden, da das Unternehmen sein Angebot mit einer Unterstützung von 14 Millionen US-Dollar erweitert. Die wichtigsten Investoren sind Bezos Expeditions und AI Funds sowie die Madrona Venture Group.
Die Originalgeschichte ist hier .
