인공지능 관찰 스타트업 WhyLabs가 AI 앱의 출력을 실시간으로 제어할 수 있는 새로운 AI 제품을 선보였습니다. AI Control Center라는 플랫폼은 기존 모니터링 시스템으로는 AI를 안정적으로 관찰할 수 없기 때문에 AI 솔루션의 작동을 모니터링하고 제어하여 신뢰성과 안전성을 보장하도록 설계되었습니다.
WhyLabs, AI 제어 센터 출시
회사는 특히 LLM과 관련하여 오늘날 기업이 직면하고 있는 많은 과제가 있다고 말했습니다. 회사의 팀은 즉각적인 주입 공격으로 인해 LLM이 취약해지지 않도록 하여 평판을 손상시킬 수 있는 유해하거나 부정확한 출력을 제공하지 않도록 해야 합니다.
회사의 솔루션은 LLM의 운영을 실시간으로 평가하여 이러한 문제를 해결하는 데 도움을 줄 수 있습니다. 사용자 프롬프트, 응답 생성 프로세스(RAG), 생성되는 피드백 등 LLM에서 matic 가 될 수 있는 전체 측면을 처리할 수 있기 때문입니다. WhyLabs의 CEO이자 공동 창립자인 Alessya Visnjic은 다음과 같이 말했습니다.
"우리 고객은 Generative AI 이니셔티브를 프로토타입에서 보안과 품질이 가장 중요한 생산 단계로 옮기고 있습니다."
그녀는 수동적 모니터링만 수행하는 전통적인 관찰 도구를 언급하며 다음과 같이 덧붙였습니다.
“애플리케이션에서 탈옥 사고가 발생 dent 사실을 배우는 데 5분의 지연을 허용할 수 없기 때문에 수동적 관찰 도구만으로는 이러한 도약에 충분하지 않습니다. 우리의 새로운 보안 기능은 AI 팀에 93%의 위협 탐지 정확도로 300밀리초 이내에 안전하지 않은 상호 작용을 방지하는 보호 장치를 제공합니다.”
출처: 비즈니스와이어 .
기존 모니터링 vs. AI 기반 모니터링
Visnjic에 따르면 전통적인 모니터링과 AI 관찰 가능성의 차이점은 찾아야 할 핵심 사항은 측정할 위험 요소를 지적하고 이를 일관된 방식으로 측정하기 위해 채택한 절차입니다. 그녀는 말한다,
"LLM과 Gen AI 애플리케이션은 우리가 이전에 해결하지 못한 완전히 새로운 보안 문제를 제시합니다."
출처 : 실리콘앵글 .
그녀는 최종 사용자의 나쁜 의도가 있는 모든 유형의 입력을 포함하여 시스템이 즉각적인 주입이나 탈옥을 정확히 찾아내는 방법에 대한 과제를 설명합니다. AI 제어 센터는 기업에 AI 애플리케이션 성능에 대한 실시간 제어를 제공하여 사이버 보안 및 비즈니스 팀이 많은 위험을 해결하는 데 도움이 된다고 WhyLabs는 주장합니다. 기업은 관측 가능성 시스템을 미세 조정하고 보다 정확한 제어를 위해 고급 위협 탐지를 위한 자체 규칙 세트를 설정할 수 있으며, 이는 새로운 위협에 대한 지속적인 연습이 될 수도 있습니다.
플랫폼은 시간이 지남에 따라 나타나는 문제에 대한 조사도 허용하므로 AI 애플리케이션 기반으로 고품질 데이터 세트를 구축할 수 있습니다. 회사가 1,400만 달러의 지원을 받아 제품을 확장함에 따라 이제 WhyLabs AI 제어 플랫폼에서 AI 모델 성능을 위한 다른 많은 도구와 함께 이러한 기능을 사용할 수 있습니다. 주요 투자자는 Bezos Expeditions 및 AI Funds, Madrona Venture Group입니다.
원본 이야기는 여기에서 .
