ServiceNow의 AI 에이전트에서 발견된 새로운 악용 사례, 서로를 속여 공격할 수 있음

SaaS 보안 회사 AppOmni에 따르면, ServiceNow의 Now Assist 플랫폼에서 악의적인 행위자가 AI 에이전트를 조작하여 무단 작업을 수행할 수 있는 새로운 취약점이 발견되었습니다.

AppOmni의 SaaS 보안 책임자인 Aaron Costello는 소프트웨어의 기본 구성을 사용하면 에이전트가 서로를 발견하고 협업할 수 있으며, 이를 무기화하여 단일 악성 입력을 넘어 즉각적인 주입 공격을 시작할 수 있다고 말했습니다.

이 결함을 악용해 공격자는 나중에 에이전트가 읽을 수 있는 데이터 필드 내부에 숨겨진 명령을 심어놓을 수 있으며, 이를 통해 같은 ServiceNow 팀에 있는 다른 에이전트의 도움을 조용히 받을 수 있고, 이는 데이터 도난이나 권한 확대로 이어질 수 있는 연쇄 반응을 일으킬 수 있습니다. 

코스텔로는 이 시나리오를 "2차 즉각 주입"으로 설명했습니다. 즉, AI가 시스템의 다른 부분에서 정보를 처리할 때 공격이 발생하는 것입니다.

"이 발견은 인공지능의 버그가 아니라 특정 기본 설정 옵션에 따라 예상되는 동작이라는 점에서 우려스럽습니다 defi앱옴니 블로그에서 언급했습니다 게시된 .

ServiceNow Assist AI 에이전트가 공동 공격에 노출됨

블로그에 인용된 코스텔로의 조사에 따르면, Now Assist를 배치한 많은 조직은 에이전트가 팀으로 그룹화되어 있고 서로를matic으로 발견하여 겉보기에 "무해한 작업"을 수행하도록 설정되어 있으며, 이는 조직적인 공격으로 확대될 수 있다는 사실을 알지 못할 수 있습니다. 

그는 "요원들이 서로를 발견하고 모집할 수 있게 되면 무해한 요청도 조용히 공격으로 변할 수 있고, 범죄자들은 ​​민감한 데이터를 훔치거나 회사 내부 시스템에 더 많이 접근할 수 있다"고 말했다.

Now Assist의 장점 중 하나는 개발자의 개입 없이 에이전트들을 단일 워크플로로 통합하여 조정할 수 있다는 것입니다. 이 아키텍처는 한 에이전트가 단독으로 작업을 완료할 수 없는 경우, 서로 다른 전문 분야를 가진 여러 에이전트가 협업하여 작업을 처리합니다. 

에이전트가 백그라운드에서 함께 작동하려면 플랫폼에 세 가지 요소가 필요합니다. 첫째, 기본 대규모 언어 모델이 에이전트 검색을 지원해야 합니다. 이 기능은 기본 Now LLM과 Azure OpenAI LLM. 

둘째, 에이전트는 동일한 팀에 속해야 합니다. 이는 기본 Virtual Agent 환경이나 Now Assist 개발자 패널과 같은 환경에 배포될 때matic으로 설정됩니다. 마지막으로, 에이전트는 "검색 가능"으로 표시되어야 하며, 채널에 게시될 때도matic으로 설정됩니다.

이러한 조건이 충족되면 AiA ReAct 엔진은 정보를 라우팅하고 에이전트 간에 작업을 위임하여 관리자가 부하 직원을 지휘하는 것처럼 작동합니다. 한편, 오케스트레이터는 검색 기능을 수행하고 어떤 에이전트가 특정 작업을 수행하는 데 가장 적합한지dent. 

팀 내에서 검색 가능한 에이전트만 검색하며, 때로는 관리자가 인식하는 것보다 더 많은 에이전트를 검색합니다. 이러한 상호 연결된 아키텍처는 요청을 시작한 사용자가 직접 제출하지 않은 데이터를 읽도록 에이전트가 구성된 경우 취약해집니다. 

코스텔로는 "에이전트가 나중에 정상적인 작업의 일환으로 데이터를 처리할 때, 자신도 모르게 다른 에이전트를 모집하여 민감한 데이터 복사, 기록 변경, 액세스 수준 확대 등의 기능을 수행할 수도 있다"고 추측했습니다.

AI 에이전트 공격으로 인해 계정 침해 권한이 확대될 수 있습니다.

AppOmni는 Now Assist 에이전트가 권한을 상속받고 워크플로를 시작한 사용자의 권한에 따라 동작한다는 것을 발견했습니다. 저수준 공격자는 권한이 더 높은 직원의 워크플로 중에 활성화되는 유해한 메시지를 심어 계정을 침해하지 않고도 액세스할 수 있습니다.

AppOmni의 분석에 따르면 "AI 에이전트는 일련의 결정과 협업을 통해 작동하기 때문에 주입된 프롬프트는 관리자가 예상하는 것보다 기업 시스템에 더 깊이 침투할 수 있습니다."

AppOmni에 따르면 공격자는 훈련되지 않은 에이전트에게는 무해해 보이는 작업을 다른 에이전트가 자신의 전문 역량을 통해 지시를 확대하면 해로울 수 있다고 합니다. 

회사는 이러한 역학 관계가 적대 세력이 의심을 받지 않고 데이터를 유출할 수 있는 기회를 제공한다고 경고했습니다. 코스텔로는 "조직이 구성을 면밀히 검토하지 않는다면 이미 위험에 처해 있을 가능성이 높습니다."라고 거듭 강조했습니다.

LLM 개발사인 Perplexity는 11월 초 블로그 게시물에서 새로운 공격 벡터로 인해 잠재적인 악용 사례가 확대되었다고 밝혔습니다. 

회사 측은 "수십 년 만에 처음으로 어디서든 발생할 수 있는 새롭고 독특한 공격 벡터를 목격하고 있습니다."라고 밝혔습니다.

NeuralTrust의 소프트웨어 엔지니어인 마르티 조르다 로카는 대중이 "보안 측면에서 AI를 사용하는 데에는 구체적인 위험이 있다"는 점을 이해해야 한다고 말했습니다.