现在可以使用 AI Control Center 实时监控 AI 应用，以阻止有害的用户输入

一家人工智能观测初创公司 WhyLabs 推出了一款新的 AI 产品，将为其 AI 应用的输出提供实时控制。名为 AI Control Center 的平台旨在监控和控制 AI 解决方案的运营，以确保其可靠性和安全性，因为传统的监控系统无法可靠地观察 AI。

WhyLabs 推出 AI Control Center

该公司表示，企业今天面临许多挑战，特别是关于大型语言模型（LLMs）。公司团队必须确保提示注入攻击不会使他们的 LLM 变得脆弱，从而不提供有害或不准确的输出，以免损害其声誉。

该公司的解决方案可以通过实时评估 LLM 的运营来帮助解决这些问题。它可以处理 LLM 可能出现问题的各个方面，例如用户提示、响应生成过程（RAG）以及它生成的反馈。WhyLabs 的首席执行官兼联合创始人 Alessya Visnjic 提到，

“我们的客户正在将生成式 AI 倡议从原型推向生产环境，在那里安全性和质量至关重要。”

提到仅执行被动监控的传统可观测性工具，她补充道，

“仅靠被动可观测性工具不足以实现这一飞跃，因为你无法承受在应用程序中发生越狱事件后 5 分钟的延迟。我们的新安全功能为 AI 团队配备了防护装置，可在 300 毫秒内防止不安全交互，威胁检测准确率达到 93%。”

来源： Businesswire.

传统监控与基于AI的监控对比

根据Visnjic的说法，传统监控与AI可观测性之间的区别在于，关键在于指出要衡量的风险因素以及以一致方式衡量它们的程序。她说，

“LLM和生成式AI应用开启了一整套我们此前尚未解决的安全挑战。”

来源： Siliconangle.

她解释说，挑战在于系统如何定位提示注入或越狱，包括来自终端用户的任何带有不良意图的输入。AI控制中心（AI Control Center）可为企业提供对AI应用性能的实时控制，帮助网络安全和业务团队应对多种风险，WhyLabs声称。企业可以微调可观测性系统，并为高级威胁检测设置自己的规则，以实现更精确的控制，这也可以是一个随着新兴威胁不断进行的持续过程。

通过这种方式，团队可以基于其与用户的AI 应用交互构建高质量的数据集，该平台还允许调查随时间出现的问题。这些功能现在可在 WhyLabs AI Control Platform 上获得，以及许多其他用于 AI 模型性能的工具，随着公司获得 1400 万美元的支持并扩大其产品范围。主要投资者包括 Bezos Expeditions、AI Funds 和 Madrona Venture Group。