해커들이 대량 AI 도용 작전으로 구글 제미니에 질문을 폭격한다

구글의 AI 챗봇 제미니는 대규모 정보 절도의 표적이 되었으며, 공격자들은 시스템이 어떻게 작동하는지 복사하기 위해 질문으로 시스템을 공격했습니다. 한 작업만으로도 챗봇에 100,000개 이상의 쿼리를 보내어 그것이 똑똑하게 만드는 비밀 패턴을 추출하려고 시도했습니다.

회사는 목요일 이러한所谓的 “증류 공격(distillation attacks)”이 악화되고 있다고 보고했습니다. 악의적인 행위자들은 제미니의 응답 뒤에 있는 논리를 파악하기 위해 질문의 파도를 계속 보냅니다. 그들의 목표는 간단합니다: 수십억 달러의 개발 비용을 들이지 않고도 자체 AI 시스템을 구축하거나 개선하기 위해 구글의 기술을 훔치는 것입니다.

구글은 대부분의 공격자가 힘든 일을 하지 않고 앞서 나가기 위해 노력하는 민간 기업이나 연구원이라고 믿습니다. 이 공격들은 회사의 보고서에 따라 전 세계로부터 발생했습니다. 구글의 위협 인텔리전스 그룹을 이끄는 존 훌트퀴스트(John Hultquist)는 맞춤형 AI 도구를 사용하는 중소기업들이 곧 유사한 공격을 받을 가능성이 높다고 말했습니다.

기술 기업들은 자체 AI 챗봇을 구축하는 데 수십억 달러를 쏟아부었습니다. 이러한 시스템의 내부 작동 방식은 왕관 보석처럼 취급됩니다. 이러한 공격을 탐지하기 위한 방어 장치가 마련되어 있지만, 인터넷에 접근할 수 있는 누구나 그들과 대화할 수 있기 때문에 주요 AI 시스템은 여전히 쉬운 표적입니다.

작년 오픈AI는 중국 기업 딥시크(DeepSeek)를 지목하며, 딥시크가 모델 개선을 위해 증류를 사용했다고 주장했습니다. 크립토폴리탄은 1월 30일 오픈AI가 중국 기업의 증류 기술을 사용하여 자체 AI 모델을 훔쳤다고 비난한 후 이탈리아와 아일랜드가 딥시크를 금지했다고 보도했습니다. 이 기술은 기업이 비용의 일부분으로 비싼 기술을 복사할 수 있게 해줍니다.

공격자들은 왜 이런 일을 하는가?

경제학은 잔혹합니다. 최첨단 AI 모델을 구축하는 데에는 수억 달러, 심지어 수십억 달러가 듭니다. 업계 보고서에 따르면 딥시크는 증류를 사용하여 자체 R1 모델을 약 600만 달러에 구축한 반면, ChatGPT-5의 개발 비용은 20억 달러를 초과했습니다. 모델의 논리를 훔치면 이러한 막대한 투자를 거의 제로로 줄일 수 있습니다.

구글은 제미니를 대상으로 한 많은 공격이 “추론”하거나 정보를 처리하는 데 도움이 되는 알고리즘을 표적으로 삼았다고 말했습니다. 민감한 데이터(예: 100년 간의 거래 전략이나 고객 정보)로 자체 AI 시스템을 훈련하는 기업들은 이제 동일한 위협에 직면하게 됩니다.

“당신의 LLM이 당신의 거래 방식에 대한 100년 간의 비밀 사고로 훈련되었다고 가정해 봅시다. 이론적으로 당신은 그 중 일부를 증류할 수 있습니다,”라고 훌트퀴스트는 설명했습니다.

국가 지원 해커들의 사냥 참여

이 문제는 돈에 굶주린 기업들을 넘어섭니다. 2024년 3월 미국 제재를 받은 중국 정부 해킹 그룹 APT31은 작년 말 제미니(Gemini)를 사용하여 미국 조직을 대상으로 실제 사이버공격을 계획하는 데 사용했습니다.

이 그룹은 150개 이상의 보안 프로그램을 실행할 수 있는 오픈소스 해킹 도구인 헥스트라이크(Hexstrike)와 제미니를 결합했습니다. 구글의 보고서에 따르면 그들은 원격 코드 실행 결함, 웹 보안 우회 방법, SQL 인젝션 공격을 분석했으며, 모두 특정 미국 표적을 겨냥했습니다.

크립토폴리탄은 이전에 유사한 AI 보안 우려를 다루었으며, 해커들이 AI 취약점을 악용하고 있다고 경고했습니다. APT31 사례는 이러한 경고가 적중했음을 보여줍니다.

훌트퀴스트는 두 가지 주요 우려를 지적했습니다. 최소한의 인간 개입으로 전체 침입을 수행하는 적대세력과 공격 도구 개발의 자동화입니다. “이것은 적대세력이 주요 이점을 얻고 최소한의 인간 간섭으로 침입 주기를 이동할 수 있는 두 가지 방법입니다,”라고 그는 말했습니다.

소프트웨어 약점을 발견하고 수정 조치를 취하기 사이의 시간인 패치 갭(patch gap)이 극적으로 확대될 수 있습니다. 조직은 종종 방어 조치를 배포하는 데 몇 주가 걸립니다. AI 에이전트가 취약점을 자동으로 찾고 테스트함에 따라 공격자는 훨씬 더 빠르게 이동할 수 있습니다.

“우리는 AI의 이점을 활용하고, 기계 속도로 대응할 수 있도록 인간을 루프에서 점차적으로 제거해야 할 것입니다,”라고 훌트퀴스트는 더 레지스터(The Register)에게 말했습니다.

금전적 이해관계는 막대합니다. IBM의 2024년 데이터 유출 보고서에 따르면 지적 재산권 도난은 이제 조직당 기록당 173달러의 비용을 발생시키며, IP 관련 유출은 전년 대비 27% 증가했습니다. AI 모델 가중치는 이 지하 경제에서 가장 가치 있는 표적입니다. 단일 훔쳐진 프론티어 모델은 블랙 마켓에서 수억 달러를 호가할 수 있습니다.

구글은 이러한 캠페인과 관련된 계정을 차단했지만, 훌트퀴스트는 공격이 “전 세계”에서 계속되고 있다고 말했습니다. AI가 더 강력해지고 더 많은 기업이 이를 의존함에 따라, 이 디지털 골드러시는 더욱 격화될 것으로 예상됩니다. 문제는 더 많은 공격이 올지 여부가 아니라, 방어자들이 이를 따라잡을 수 있는지 여부입니다.