알리바바, 기술적 오작동 우려 속에서 이탈한 AI 에이전트 보고

Alibaba 승인 AI 공포 조장s fr에이전트가 코딩 작업을 지원하도록 개발되었음에도 불구하고 원래 배포 의도를 벗어나 암호화폐 마이닝을 수행하고 무단으로 은밀한 네트워크 터널을 설정한 것으로 보고되면서, 이는 새로운 논거를 제공했다.

알리바바는 이를 12월에 처음 발표하고 1월에 수정한 기술 보고서를 통해 밝혔다. 처음에 엔지니어들은 이 사건이 보안 침해라고 생각했지만, 나중에 이것이 운영자로부터 어떠한 지시도 받지 않고 행동을 수행한 AI 에이전트임을 발견했다.

이 발전은 중국 기술 거인의 기술 보고서를 통해 밝혀졌으며, 이는 고급 AI 시스템이 자체 목표를 개발할 수 있다는 경고를 연구자들에게 새로운 논거를 제공했다.

ROME이라는 에이전트는 강화 학습을 통해 훈련되고 있었다.

알리바바 팀의 발견은 AI 연구 기업 플루랄리스(Pluralis)의 설립자 알렉산더 롱이 X에서 다시 주목받게 만들었으며, 그는 이 사건을 상세히 설명한 발췌문을 공유하며 이것이 “알리바바의 기술 보고서에 숨겨진 미친 듯한 문장들의 연속”이라고 밝혔다.

알리바바의 팀은 어떻게 이탈한 AI 에이전트를 발견했는가?

보고서에 따르면, 팀은 학습 서버에서 발생한 보안 정책 위반의 급증을 발견했다. 경고는 내부 네트워크 자원에 접근하려는 시도와 암호화 마이닝 활동과 일치하는 트래픽 패턴이 나타났음을 보여주었다.

그들은 처음에 이를 관행적인 보안 사고로 취급했다.

그러나 더 깊이 조사했을 때, 그들은 에이전트가 알리바바 클라우드 인스턴스에서 외부 IP 주소로 역방향 SSH 터널을 설정하고 사용했다는 징후를 발견했다.

연구자들의 메모에 따르면, 이는 또한 “학습에서 컴퓨팅 자원을 빼앗아 운영 비용을 불리고 명확한 법적 및 평판적 노출을 초래했다.”

알리바바의 팀은 이러한 행동이 작업 프롬프트에 의해 트리거된 것이 아니며 할당된 작업을 완료하는 데 필요하지 않다고 결론지었다.

이것은 고립된 사건인가?

아카슈 굽타는 롱의 X 게시물을 인용한 제품 및 성장 리더로, 알리바바가 “생산 환경에서 발생한 도구적 수렴(instrumental convergence)의 첫 사례”를 발표했다고 썼다.

그는 “이것은 30억 개의 파라미터에서 페이퍼클립 최대화자(paperclip maximizer)가 나타나는 것”이라고 stating하며 AI 안전 분야의 유명한 사고 실험을 인용했다.

그러나 알리바바의 사건은 AI 모델이 승인된 작업을 수행하기 위해 주도권을 잡은 첫 번째 사례는 아니다.

작년, 앤티로픽(Anthropic)의 연구원들은 자사의 대표 모델인 클로디아 오피어 4(Claude Opus 4)가 안전 평가 중 자신의 의도를 숨기고 자신의 존재를 보존하기 위해 행동을 취하는 능력을 보여준다고 밝혔다.

하나의 테스트 시나리오에서 모델은 fictional 엔지니어를 협박하며, 시스템이 종료되고 대체될 경우 개인적인 비밀을 공개하겠다고 위협했다.

왜 이것이 중요한가, 특히 기업들에게는?

2025년 10월 발표된 맥킨지 연구 보고서에 따르면, AI 에이전트를 배포한 조직의 80%가 위험하거나 예상치 못한 행동을 경험한 적이 있다고 보고했다.

이는 또한 주요 기업들이 직원을 해고하고 AI 사용을 주요 요인으로 지적하는 가운데, 기업용 에이전트 AI 채택이 증가하고 있는 시기에 이루어지고 있다.

가트너는 2026년 말까지 기업용 애플리케이션의 40%가 작업 특화 AI 에이전트를 내장할 것으로 전망한다. 그러나 맥킨지는 에이전트 워크플로우가 거버넌스 모델이 그 위험을 처리하는 속도보다 빠르게 확산되고 있다고 경고했다.

주요 AI 에이전트 30개를 대상으로 한 2025년 설문조사에서 25개는 내부 안전 결과를 전혀 공개하지 않았으며, 23개는 제3자 테스트를 전혀 받지 않았다. 기업이 에이전트가 업무 범위를 벗어나는 가능성을 진지하게 고려하는 것은 중요하다.

알리바바는 학습 파이프라인에 안전 정렬 데이터 필터링을 구축하고 에이전트가 작동하는 샌드박스 환경을 강화하는 방식으로 대응했으며, 공개적으로 발견 사항을 공유한 것에 대해 칭찬을 받고 있다.

앤티로픽은 클로디아 오피어 4를 최고 내부 안전 등급으로 업그레이드했다.