ServiceNow의 AI 에이전트에서 발견된 새로운 익스플로잇은 서로를 공격하도록 속일 수 있음

SaaS 보안 기업 AppOmni에 따르면, ServiceNow의 Now Assist 플랫폼의 새로운 익스플로잇을 통해 악의적인 행위자가 AI 에이전트를 조작하여 승인되지 않은 작업을 수행하도록 할 수 있습니다.

AppOmni의 SaaS 보안 책임자 Aaron Costello는 에이전트가 서로를 발견하고 협력할 수 있게 하는 소프트웨어의 기본 구성을 무기로 사용하여 단일 악성 입력을 훨씬 넘어선 프롬프트 인젝션 공격을发起할 수 있다고 말합니다.

이 결함은 적대자가 나중에 에이전트가 읽는 데이터 필드 안에 숨겨진 지시를 심을 수 있게 하여, 같은 ServiceNow 팀의 다른 에이전트들의 도움을 조용히 끌어들이고 데이터 유출이나 권한 상승으로 이어질 수 있는 연쇄 반응을 일으킬 수 있습니다. 

Costello는 이 시나리오를 “2차 프롬프트 인젝션”으로 설명했는데, 이는 AI가 시스템의 다른 부분에서 정보를 처리할 때 공격이 발생하는 경우입니다.

“이 발견은 경각심을 불러일으킵니다. 이는 AI의 버그가 아니라, 특정 기본 구성 옵션에 의해 정의된 예상된 동작이기 때문입니다.”라고 그는 AppOmni의 블로그에 적었습니다. 새로운 전망을 담은 블로그 게시물을 수요일.

협공 공격에 노출된 ServiceNow Assist AI 에이전트

블로그에 인용된 Costello의 조사에 따르면, Now Assist를 배포하는 많은 조직은 자신의 에이전트들이 팀으로 그룹화되어 있고, 겉보기에 “무해한 작업”을 수행하기 위해 서로를 자동으로 발견하도록 설정되어 있다는 사실을 모를 수 있습니다. 이는 협공 공격으로 확대될 수 있습니다. 

“에이전트가 서로를 발견하고 모집할 수 있다면, 무해한 요청이 조용히 공격으로 변모하여 범죄자들이 민감한 데이터를 훔치거나 내부 회사 시스템에 대한 더 많은 접근 권한을 얻을 수 있습니다.”라고 그는 말했습니다.

Now Assist의 주요 판매 포인트 중 하나는 개발자의 입력 없이 에이전트들을 조정하여 단일 워크플로우로 병합할 수 있는 능력입니다. 이 아키텍처는 하나의 에이전트가 작업을 혼자 완료할 수 없을 때 서로 다른 전문성을 가진 여러 에이전트가 협력하도록 합니다. 

에이전트들이 백그라운드에서 함께 작동하려면 플랫폼은 세 가지 요소가 필요합니다. 첫째, 기본 대형 언어 모델이 에이전트 발견 기능을 지원해야 하는데, 이는 기본 Now LLM과 Azure OpenAI LLM. 

둘째, 에이전트들은 같은 팀에 속해야 하는데, 이는 기본 가상 에이전트 경험이나 Now Assist 개발자 패널과 같은 환경에 배포될 때 자동으로 발생합니다. 마지막으로, 에이전트들은 “발견 가능”으로 표시되어야 하며, 이는 채널에 게시될 때 자동으로 발생합니다.

이러한 조건이 충족되면 AiA ReAct 엔진은 에이전트 간에 정보를 라우팅하고 작업을 위임하며, 부하를 지시하는 관리자처럼 작동합니다. 한편, 오케스트레이터는 발견 기능을 수행하고 어떤 에이전트가 작업에 가장 적합한지 식별합니다. 

이 시스템은 팀 내의 발견 가능한 에이전트들 중에서만 검색하며, 때로는 관리자들이 생각하는 것보다 더 광범위하게 작동합니다. 요청을 시작한 사용자가 직접 제출하지 않은 데이터를 읽도록 구성된 에이전트가 하나라도 있으면 이 연결된 아키텍처는 취약해집니다. 

“에이전트가 나중에 정상적인 작업의 일부로 이 데이터를 처리할 때, 민감한 데이터 복사, 기록 변경 또는 접근 수준 상승과 같은 기능을 수행하기 위해 다른 에이전트들을 모를 수도 있습니다.”라고 Costello는 추측했습니다.

AI 에이전트 공격은 권한 상승을 통해 계정 침입으로 이어질 수 있음

AppOmni는 Now Assist 에이전트가 권한을 상속받고 워크플로우를 시작한 사용자의 권한 하에 행동한다는 것을 발견했습니다. 낮은 수준의 공격자는 더 높은 권한을 가진 직원의 워크플로우 동안 활성화되는 해로운 프롬프트를 심어, 계정을 침입하지 않고도 접근 권한을 얻을 수 있습니다.

“AI 에이전트들은 의사 결정의 사슬과 협력을 통해 작동하므로, 주입된 프롬프트는 관리자들이 예상하는 것보다 기업 시스템의 더 깊은 곳까지 도달할 수 있습니다.”라고 AppOmni의 분석에 명시되어 있습니다.

AppOmni는 공격자가 훈련되지 않은 에이전트에게는 무해해 보이지만 다른 에이전트들이 전문 기능을 통해 지시를 증폭시키면 해로워지는 작업을 리디렉션할 수 있다고 말했습니다. 

이 회사는 이러한 역학이 적대자들이 의심받지 않고 데이터를 유출할 기회를 만든다고 경고했습니다. “조직들이 구성을 면밀히 검토하지 않는다면, 이미 위험에 처해 있을 가능성이 높습니다.”라고 Costello는 다시 강조했습니다.

LLM 개발자 Perplexity는 11월 초 블로그 게시글에서 새로운 공격 벡터가 잠재적 익스플로잇의 범위를 넓혔다고 말했습니다. 

“수십 년 만에 우리는 어디에서나 발생할 수 있는 새롭고 독창적인 공격 벡터를 보고 있습니다.”라고 회사는 썼습니다.

NeuralTrust의 소프트웨어 엔지니어 Marti Jorda Roca는 대중이 “보안 측면에서 AI를 사용하는 데에는 구체적인 위험이 있다”는 것을 이해해야 한다고 말했습니다.