이제 AI 제어 센터를 통해 AI 앱을 실시간으로 모니터링하여 유해한 사용자 입력을 차단할 수 있습니다

인공지능 모니터링 스타트업인 WhyLabs가 자사 AI 앱의 출력 결과를 실시간으로 제어할 수 있는 새로운 AI 제품을 선보였습니다. AI Control Center라는 이름의 이 플랫폼은 기존 모니터링 시스템으로는 AI를 안정적으로 관찰할 수 없는 문제를 해결하고, AI 솔루션의 신뢰성과 안전성을 보장하기 위해 설계되었습니다.

WhyLabs가 AI 제어 센터를 출시합니다

회사 측은 오늘날 기업들이 직면하고 있는 많은 어려움, 특히 LLM(로컬 라이프마운트)과 관련된 어려움이 있다고 밝혔습니다. 기업의 팀들은 신속한 인젝션 공격으로 인해 LLM이 취약해지지 않도록, 그리고 기업의 명성을 손상시킬 수 있는 유해하거나 부정확한 결과를 생성하지 않도록 해야 한다는 것입니다.

이 회사의 솔루션은 실시간으로 LLM(Learning Learning Machine)의 작동을 평가함으로써 이러한 문제들을 해결하는 데 도움을 줄 수 있습니다. 사용자 프롬프트, 응답 생성 프로세스(RAG), 생성된 피드백 등 LLM에서matic 될 수 있는 모든 측면을 처리할 수 있기 때문입니다. WhyLabs의 CEO이자 공동 창립자인 알레샤 비스니치는 다음과 같이 언급했습니다

"고객들은 보안과 품질이 최우선인 상황에서 생성형 AI 프로젝트를 프로토타입 단계에서 실제 생산 단계로 옮기고 있습니다."

그녀는 수동적인 모니터링만 수행하는 기존의 관측 가능성 도구를 언급하며 다음과 같이 덧붙였습니다

"단순한 관찰 도구만으로는 이러한 도약을 이루기에 충분하지 않습니다. 애플리케이션에서 탈옥 사건이 발생했다는 사실을 파악하는 데 5분이라는 시간dent 은 용납할 수 없기 때문입니다. 당사의 새로운 보안 기능은 AI 팀에게 300밀리초 이내에 위험한 상호 작용을 방지하는 안전장치를 제공하며, 93%의 위협 탐지 정확도를 자랑합니다."

출처: 비즈니스와이어.

기존 모니터링 방식과 AI 기반 모니터링 방식 비교

비스니치에 따르면, 전통적인 모니터링과 AI 관찰 가능성의 차이점은 측정해야 할 위험 요소를 파악하고 이를 일관된 방식으로 측정하기 위해 채택된 절차를 확인하는 데 핵심적인 점이 있다는 것입니다. 그녀는 다음과 같이 말합니다

"LLM과 차세대 AI 애플리케이션은 우리가 이전에 해결하지 못했던 완전히 새로운 보안 문제를 야기합니다."

출처: 실리콘앵글

그녀는 시스템이 악성 코드 주입이나 탈옥을 비롯하여 최종 사용자의 악의적인 입력 등 모든 유형의 공격을 정확히 탐지하는 데 따르는 어려움을 설명합니다. WhyLabs에 따르면 AI Control Center는 기업에 AI 애플리케이션 성능에 대한 실시간 제어 기능을 제공하여 사이버 보안 및 비즈니스 팀이 다양한 위험에 대응할 수 있도록 지원합니다. 기업은 관찰 시스템을 세밀하게 조정하고 고급 위협 탐지를 위한 자체 규칙을 설정하여 더욱 정확한 제어를 할 수 있으며, 이는 새로운 위협에 지속적으로 대응하는 데에도 도움이 됩니다.

을 기반으로 고품질 데이터 세트를 구축할 수 있으며 AI 애플리케이션 , 플랫폼은 시간이 지남에 따라 나타나는 문제점을 조사하는 기능도 제공합니다. 이러한 기능은 WhyLabs AI Control Platform에서 이용할 수 있으며, AI 모델 성능 향상을 위한 다양한 도구도 함께 제공됩니다. WhyLabs는 1,400만 달러의 투자를 유치하며 제품 포트폴리오를 확장하고 있습니다. 주요 투자자는 Bezos Expeditions and AI Funds와 Madrona Venture Group입니다.