구글은 해커들이 제미니를 공격함에 따라 AI 취약점에 대해 경고했습니다

구글은 국가 지원 해커들이 자사의 제미니 AI 모델을 악용하려 시도한 사건 이후 인공지능(AI)과 관련된 잠재적 보안 위험에 대해 경고를 발표했습니다. 

하지만 그들의 시스템 탈취 시도는 결국 실패로 끝났습니다.

구글의 위협 인텔리전스 그룹(GTIG)은 '생성형 AI의 적대적 오용'이라는 보고서를 발표했는데, 이 보고서에서는 위협 행위자들이 구글의 AI 챗봇인 제미니와 어떻게 대화했는지 설명합니다.

해커들이 구글의 제미니 AI를 탈옥시키려 했지만 간단한 트릭으로는 실패했습니다

구글은 정부 지원을 받는 고도 지속적 위협(APT) 그룹이 악의적인 활동에 AI를 악용하려는 시도를 포함하여, 위협 행위자들이 프롬프트를 이용해 제미니 AI를 탈옥시키려 했다고 보고했습니다. 

하지만 해당 미국 다국적 기업은 고도의 탈옥 시도에 대한 증거를 발견하지 못했습니다.  

대신 해커들은 다양한 문구를 입력하거나 동일한 요청을 여러 번 반복하는 등 단순한 접근 방식을 사용했습니다. 구글은 이러한 시도가 성공적이지 못했다고 밝혔습니다.

AI를 이용한 탈옥은 제한을 우회하고 AI 모델이 민감한 정보를 유출하거나 유해 콘텐츠를 제작하는 등 금지된 행위를 수행하도록 만드는 즉각적인 주입 공격입니다.

구글에 따르면, 한 APT 공격자가 공개적으로 사용 가능한 탈옥 프롬프트를 이용해 악성 코드를 생성함으로써 제미니(Gemini)를 공격하려 시도했습니다. 하지만 제미니가 안전 필터링된 응답을 보내면서 공격 시도는 실패했습니다.

구글은 공격자들이 제미니를 이용해 표적 정보 수집, 오픈소스에서 취약점dent, 코드 및 스크립트 작성 등 다양한 악의적인 목적을 달성하려 했다고 언급했습니다. 또한, 탐지를 피하는 등 침해 후 조치를 지원하려는 시도도 있었다고 밝혔습니다.

이란, 중국, 북한은 사이버 작전을 위해 구글의 제미니 AI를 활용하고 있다

구글에 따르면 이란에 기반을 둔 APT 그룹은 주로 AI를 활용하여 피싱 공격을 제작했습니다. 또한 Gemini를 사용하여 국방 전문가 및 기관에 대한 정찰 활동을 수행하고 사이버 보안 관련 콘텐츠를 생성했습니다.

한편, 중국의 APT 공격자들은 제미니를 활용하여 코드, 스크립팅 및 개발 작업의 문제를 해결했습니다. 또한 AI를 사용하여 대상 네트워크에 더 깊숙이 접근하는 방법을 모색했습니다.

구글의 위협 정보 그룹과 북한의 APT 그룹은 공격 전 연구 개발과 같은 공격 수명 주기의 여러 단계에서 제미니를 사용했다고 보고서는 밝혔다.

그들은 또한 제미니를 이용하여 한국군과 암호화폐 등 북한 정부에 전략적으로 중요한 사안들을 조사했습니다.

– GTIG

체이나리시스에 따르면 지난해 북한 해커들은 13억 달러 상당의 디지털 자산을 훔쳤습니다.