AI Control Centerにより、AIアプリのリアルタイム監視が可能になり、有害なユーザー入力を阻止

人工知能の観測に関するスタートアップ企業WhyLabsは、AIアプリの出力に対するリアルタイム制御を提供する新しいAI製品を発表しました。AI Control Centerと呼ばれるこのプラットフォームは、従来の監視システムがAIを信頼して観察できないため、AIソリューションの運用を監視および制御し、その信頼性と安全性を確保するために設計されています。

WhyLabsがAI Control Centerを導入

同社は、企業が今日直面している多くの課題、特にLLM（大規模言語モデル）に関する課題があると述べています。企業内のチームは、プロンプトインジェクション攻撃がLLMを脆弱にし、評判を損なう可能性のある有害または不正確な出力を提供しないように確保する必要があります。

同社のソリューションは、LLMの運用をリアルタイムで評価することでこれらの問題に対処するのを支援します。これは、ユーザープロンプト、応答生成プロセス（RAG）、および生成されるフィードバックなど、LLMにとって問題となり得るあらゆる側面に対処できます。WhyLabsのCEO兼共同創設者であるAlessya Visnjicは、次のように述べています。

「当社の顧客は、セキュリティと品質が最も重要となる本番環境に向けて、生成AIの取り組みをプロトタイプから移行しています。」

受動的な監視のみを行う従来の観測可能性ツールに触れ、彼女は付け加えました。

「受動的な観測可能性ツールだけでは、この飛躍には不十分です。アプリケーションでジャックブレイク事件が発生したことを知るのに5分の遅延を許容することはできません。当社の新しいセキュリティ機能は、AIチームに300ミリ秒未満で安全でない相互作用を防ぐ保護具を提供し、93%の脅威検出精度を実現します。」

ソース: Businesswire.

従来の監視 vs AIベースの監視

Visnjicによると、従来の監視とAI観測可能性の違いは、測定するリスク要因を指摘し、それらを一貫した方法で測定する手順に焦点を当てる点にあります。彼女は言います。

「LLMや生成AIアプリケーションは、以前には解決しなかったセキュリティ課題の全く新しいセットを開きます。」

ソース: Siliconangle.

彼女は、システムがエンドユーザーからの悪意のある入力を含むプロンプトインジェクションやジャックブレイクをどのように特定するかという課題を説明します。WhyLabsは、AI Control Centerが企業にAIアプリケーションのパフォーマンスに対するリアルタイム制御を提供し、サイバーセキュリティチームとビジネスチームが多くのリスクに対処するのを支援すると主張しています。企業は観測可能性システムを微調整し、より精密な制御のために高度な脅威検出のための独自のルールセットを設定することもでき、これは新興脅威との継続的な演習となります。

このように、チームはユーザーとのAIアプリケーションの相互作用に基づいて高品質なデータセットを構築でき、プラットフォームは時間の経過とともに現れる問題の調査も可能にします。これらの機能は、WhyLabs AI Control Platformで利用可能になり、同社は1,400万ドルの支援を受けて提供範囲を拡大しています。主要投資家はBezos Expeditions、AI Funds、Madrona Venture Groupです。