AIコントロールセンターでAIアプリをリアルタイムで監視し、有害なユーザー入力を阻止できるようになりました

人工知能（AI）監視のスタートアップ企業WhyLabsは、AIアプリの出力をリアルタイムで制御できる新しいAI製品を発表しました。AI Control Centerと呼ばれるこのプラットフォームは、従来の監視システムではAIを確実に監視できないため、AIソリューションの動作を監視・制御し、信頼性と安全性を確保するように設計されています。.

WhyLabsがAIコントロールセンターを発表

同社は、企業が今日、特にLLMに関して多くの課題に直面していると述べています。企業のチームは、プロンプット・インジェクション攻撃によってLLMが脆弱にならないようにし、評判を損なうような有害または不正確な出力を出さないようにする必要があります。.

同社のソリューションは、LLMの運用をリアルタイムで評価することで、これらの問題解決を支援します。ユーザープロンプト、応答生成プロセス（RAG）、そしてそこから生成されるフィードバックなど、LLMでmatic なり得るあらゆる側面に対応できるためです。WhyLabsのCEO兼共同創設者であるアレッシア・ヴィシュニッチ氏は次のように述べています。

「当社の顧客は、Generative AI イニシアチブをプロトタイプから、セキュリティと品質が最も重要となる生産段階に移行させています。」

受動的な監視しか行わない従来の観測ツールについて言及し、彼女は次のように付け加えた。

「パッシブオブザーバビリティツールだけでは、この飛躍には不十分です。アプリケーションでジェイルブレイクdent が発生したことを知るのに5分も遅れる余裕はないからです。当社の新しいセキュリティ機能は、AIチームに300ミリ秒未満で危険なインタラクションを防止し、93%の脅威検出精度を実現する安全対策を提供します。」

出典： Businesswire。

従来の監視とAIベースの監視

ヴィシュニッチ氏によると、従来のモニタリングとAIによる観測可能性の違いは、測定すべきリスク要因と、それらを一貫した方法で測定するために採用された手順を明確に示す点にあるという。彼女は次のように述べている。

「LLM と gen AI アプリケーションは、これまで解決できなかったまったく新しい一連のセキュリティ上の課題を生み出します。」

出典: Siliconangle.

彼女は、エンドユーザーによる悪意のあるあらゆる種類の入力を含め、システムが迅速なインジェクションやジェイルブレイクを正確に特定する方法に関する課題について説明しています。AI Control Centerは、企業にAIアプリケーションのパフォーマンスをリアルタイムで制御する機能を提供し、サイバーセキュリティチームとビジネスチームが多くのリスクに対処するのに役立つとWhyLabsは主張しています。企業は可観測性システムを微調整し、高度な脅威検出のための独自のルールセットを設定することで、より正確な制御を実現できます。これは、新たな脅威への継続的な対応にも役立ちます。.

このように、チームは AIアプリケーションと ユーザーとのやり取りに基づいて高品質なデータセットを構築できます。また、このプラットフォームは、時間の経過とともに発生する問題の調査も可能にします。これらの機能は、WhyLabs AI Control Platformで利用できるようになり、AIモデルのパフォーマンス向上に役立つ他の多くのツールも提供されています。同社は1,400万ドルの資金調達を受けてサービスを拡大しており、主要投資家はBezos Expeditions and AI FundsとMadrona Venture Groupです。