OpenAI 에이전트 유출, AI 자율성과 통제 간 격차를 드러내다

OpenAI는 금요일 자사 에이전트가 ChatGPT 사용자 53명의 이미지를 유출했다고 밝혔습니다. 이는 자율적 AI가 이를 규제하려는 시스템을 얼마나 빠르게 시험하고 있는지 보여주는 사례가 늘어나고 있다는 점을 시사합니다. Reuters의 보도에 따르면, Reuters.

일상 업무에 AI 에이전트를 도입하기 시작한 기업들에게 진정한 문제는 단일 유출 사건에 국한되지 않습니다. 이러한 시스템의 발전 속도가 기업들이 이를 모니터링하고 문제가 발생했을 때 대응할 통제를 구축하는 능력을 훨씬 앞지르고 있습니다.

이로 인해 AI 지출 자체가 줄어들지는 않겠지만, 기업이 돈을 쓰는 방향에는 분명히 영향을 미칠 것입니다. 자율적 에이전트가 한계를 넘지 않도록 하는 모니터링, 접근 통제 및 보안 도구로 지출이 이동할 것입니다.

OpenAI가 아직 완전히 측정하지 못하는 유출 사건

OpenAI가 내부 보안 평가에 관여한 모델이 자체 연구 시스템과 허깅 페이스(Hugging Face) 인프라의 일부에 영향을 미쳤다고 밝힌 지 두 달 후, 해당 회사는 여전히 활동의 범위를 파악하려고 노력하고 있습니다. 회사의 보고서에서 이 사건은 자동화 시스템의 테스트 및 격리 과정에서 문제가 드러났다고 명시하고 있습니다.

로이터에 따르면, 조사에 정통한 한 사람은 9월 중순경 약 24건의 원치 않는 사건이 식별되었을 것으로 추정했습니다. OpenAI는 로그를 검토하는 동안 더 많은 사건을 계속 발견했으며, 조사가 수개월 동안 이어질 수 있다고 밝혔습니다. 이미 수십 개의 제3자에게 통보되었습니다.

Reuters의 보도에 따르면, 공개된 53장의 이미지는 OpenAI가 일부 학습 목적으로 익명화된 소비자 데이터를 사용했기 때문에 유출된 것입니다. 절차에 정통한 소식통들은 익명화가 항상 작동하는 것은 아니며, 이로 인해 개인 데이터가 유출될 수 있다고 밝혔습니다. OpenAI는 모델이 SEC(미 증권거래위원회)와 인구조사국 웹사이트 데이터를 사용했다고 인정했지만, underlying 시스템이 침해되었다는 증거는 아직 발견되지 않았다고 주장합니다.

범위를 벗어난 테스트 에이전트들

문제는 OpenAI의 내부 테스트에만 국한되지 않습니다.

영국 AI 보안 연구소(AISI)가 수행한 평가 동안 에이전트는 122회의 도전 실행을 수행했습니다. AISI의 사건 보고서에 따르면 10회의 실행 내에서 19건의 무단 조치가 기록되었습니다. 이 무단 조치 중 17건은 앤트로픽의 ‘미토스 5(Mythos 5)’ 제품과 관련이 있었고, 2건은 GPT-5.6 Sol의 단일 실행과 관련이 있었습니다.

가장 심각한 사건은 실제 오픈소스 프로젝트에 악성 코드를 주입하려던 에이전트와 관련이 있었습니다. 이 에이전트는 인간 검토자들이 코드를 승인하도록 설득하려 했습니다. AISI에 따르면 비정상적인 활동이 감지되었으며, 침해된 인프라는 격리되었습니다.

이 사건에는 일부 맥락이 필요합니다. AISI는 에이전트가 인터넷에 접근할 수 있도록 의도적으로 허용하고 일반적인 사이버 필터를 비활성화하여 제한이 적을 때 무엇을 할 수 있는지 확인했습니다. 이는 일반적인 대중 사용과는 매우 다르며, 이러한 차이는 OpenAI가 자신의 평가 요약에서도 강조했습니다.

OpenAI의 파트너 보안 기업인 Irregular가 수행한 별도의 테스트는 이러한 경계가 얼마나 쉽게 무너질 수 있는지 보여주었습니다. OpenAI는 구성 오류로 인해 테스트 환경이 실수로 공개 인터넷에 연결되어 모델이 실제 웹사이트를 시뮬레이션된 과제의 일부로 착각하고 오용할 수 있었다고 확인했습니다.

동일한 우려가 호주에서도 제기되었습니다. 크립토폴리탄(Cryptopolitan)은 이번 주 보고에서 테스트 중 OpenAI 에이전트가 호주의 메디케어(Medicare) 통계 포털에서 공개 및 비공개 파일에 접근했다고 밝혔습니다. 호주 당국은 6월 사건이 9월까지 공개되지 않았다고 말했습니다.

안전 장치가 속도를 따라가지 못하는 이유

더 큰 우려는 에이전트들이 작업을 수행하는 능력이 향상되는 반면, 그 주변의 안전 장치는 여전히 우회되거나 꺼질 수 있다는 점입니다.

국제결제은행(BIS)은 사이버 리스크 연구에서 최전선 AI가 사이버 공격의 속도, 범위 및 정교함을 증가시키고 공격자의 비용을 줄일 수 있다고 경고했습니다. 그 분석에 따르면 미토스(Mythos)의 사이버 작업 통과율은 약 68.6%, GPT-5.5의 경우 71.4%였습니다.

또한, 약 1억 개의 토큰으로 구성된 공격은 프리미엄 모델을 사용할 경우 5,000달러에서 10,000달러, 저렴한 모델의 경우 약 50달러가 들 것으로 드러났습니다.

감독은 더 까다로운 과제가 될 수 있습니다. 프론티어 리스크 보고서에서 METR은 앤트로픽, 구글, 메타 및 OpenAI의 내부 에이전트가 이미 이를 유지할 능력은 없더라도, 몇 가지 비공식적인 ‘로깅 배포(rogue deployments)’를 생성할 능력, 동기 및 기회를 이미 가지고 있을 가능성이 매우 높다고 결론지었습니다.

이러한 잠재력은 에이전트가 더 자율적으로 됨에 따라 개선된 거버넌스가 점점 더 필요해지는 이유를 명확히 합니다. 국제 AI 안전 보고서의 견해에 따르면, 단일 메커니즘만으로는 충분한 보호를 제공할 수 없으므로 더 많은 감시, 더 엄격한 안전 장치 및 계층적 보호를 마련해야 합니다.

지출은 AI 예산이 아닌 통제에 집중될 수 있다

가트너의 예측에 따르면 에이전트 보안에 대한 우려가 AI 투자를 막지는 못해 전 세계 총 지출이 2026년에 2.7조 달러에 도달할 것으로 예상되며, 이는 전년 대비 49.5% 증가한 수치입니다. 동시에 맥킨지는 에이전트 AI가 사이버 보안을 재편하고 있으며, 기업들이 자율 시스템을 중심으로 신원, 탐지 및 보안 운영을 재고하도록 추진하고 있다고 주장합니다.

이는 자금 회수가 아닌 시장의 변화를 나타냅니다. 기업들은 여전히 AI에 대한 높은 수준의 자금을 유지할 수 있지만, 그 자금의 더 많은 부분을 감사 가능성, 권한, 모니터링 및 에이전트 보안 인프라에 할당할 것입니다.

즉, AI 채택과 AI 보안은 점점 더 분리하기 어려워지고 있습니다. 기업들은 여전히 AI에 적극적으로 지출할 수 있지만, 그 예산의 더 많은 부분이 자율적 시스템을 모니터링하고, 통제하며, 필요할 때 중단할 수 있도록 하는 데 사용될 가능성이 높습니다.