이제 AI Control Center를 통해 AI 앱을 실시간으로 모니터링하여 유해한 사용자 입력을 차단할 수 있습니다

인공지능 관측 스타트업 WhyLabs는 AI 앱의 출력을 실시간으로 제어할 수 있는 새로운 AI 제품을 출시했습니다. AI Control Center라는 이 플랫폼은 전통적인 모니터링 시스템이 AI를 신뢰할 수 있게 관찰할 수 없기 때문에, AI 솔루션의 운영을 모니터링하고 제어하여 신뢰성과 안전성을 보장하도록 설계되었습니다.

WhyLabs, AI Control Center 출시

회사는 기업들이 현재 직면하고 있는 많은 도전 과제, 특히 LLM(대규모 언어 모델)과 관련된 문제에 대해 언급했습니다. 기업 팀들은 프롬프트 인젝션 공격이 LLM을 취약하게 만들어 평판을 손상시킬 수 있는 유해하거나 부정확한 출력을 제공하지 않도록 보장해야 합니다.

회사의 솔루션은 LLM의 운영을 실시간으로 평가하여 이러한 문제를 해결하는 데 도움을 줄 수 있습니다. 이는 사용자 프롬프트, 응답 생성 프로세스(RAG), 그리고 생성된 피드백 등 LLM에 문제가 될 수 있는 모든 측면을 처리할 수 있습니다. WhyLabs의 CEO이자 공동창립자인 알레시아 비스니치는 다음과 같이 언급했습니다.

“우리의 고객들은 생성형 AI 이니셔티브를 프로토타입에서 보안과 품질이 최우선인 프로덕션 단계로 옮기고 있습니다.”

수동 모니터링만 수행하는 전통적인 관측 도구들을 언급하며 그녀는 덧붙였습니다.

“수동 관측 도구만으로는 이 도약을 위한 것이 충분하지 않습니다. 애플리케이션에서 탈옥 사건이 발생했다는 사실을 배우는 데 5분의 지연을 감당할 수 없기 때문입니다. 우리의 새로운 보안 기능은 AI 팀에게 300밀리초 미만으로 안전하지 않은 상호작용을 방지하고 93%의 위협 탐지 정확도를 갖춘 방어 장비를 제공합니다.”

출처: Businesswire.

전통적인 모니터링 vs. AI 기반 모니터링

비스니치에 따르면 전통적인 모니터링과 AI 관측의 차이는 위험 요소를 지적하고 일관된 방식으로 측정하는 절차에 초점을 맞추는 것입니다. 그녀는 말합니다.

“LLM과 생성형 AI 애플리케이션은 우리가 이전에 해결하지 못했던 완전히 새로운 보안 도전 과제를 열어줍니다.”

출처: Siliconangle.

그녀는 시스템이 엔드 사용자의 나쁜 의도를 가진 모든 유형의 입력을 포함하여 프롬프트 인젝션이나 탈옥을 어떻게 특정하는지에 대한 도전을 설명합니다. WhyLabs는 AI Control Center가 기업들에게 AI 애플리케이션 성능에 대한 실시간 제어를 제공하여 사이버 보안 및 비즈니스 팀이 많은 위험을 처리하는 데 도움이 된다고 주장합니다. 기업들은 관측 시스템을 미세 조정하고 더 정밀한 제어를 위해 고급 위협 탐지를 위한 자체 규칙 세트를 설정할 수 있으며, 이는 새로운 위협이 등장함에 따라 지속적인 연습이 될 수 있습니다.

이러한 방식으로 팀들은 사용자와의 AI 애플리케이션 상호작용을 기반으로 고품질 데이터 세트를 구축할 수 있으며, 플랫폼은 시간이 지남에 따라 나타나는 문제에 대한 조사도 가능하게 합니다. 이러한 기능은 이제 WhyLabs AI Control Platform에서 제공되며, 회사는 1,400만 달러의 지원으로 AI 모델 성능을 위한 많은 다른 도구들과 함께 제공 범위를 확장하고 있습니다. 주요 투자자는 베조스 익스페디션스, AI 펀드, 그리고 마드로나 벤처 그룹입니다.