구글, 해커들이 제미니를 표적으로 삼으면서 AI 취약점 경고

국가 지원 해커들이 제미니 AI 모델을 악용하려 시도한 후, 구글은 인공지능(AI)과 관련된 잠재적 보안 위험에 대해 경고했다. 

그러나 시스템의 제인브레이크(제약 해제) 시도는 결국 실패로 끝났다.

구글의 위협 인텔리전스 그룹(GTIG)은 '생성형 AI의 적대적 오용'이라는 논문을 게시했으며, 이는 위협 행위자들이 AI 챗봇 제미니와 대화하는 방식을 설명한다.

해커들이 제미니 AI의 제인브레이크를 시도하지만 간단한 트릭으로 실패

구글은 위협 행위자들이 프롬프트를 사용하여 제미니 AI의 제인브레이크를 시도했으며, 정부 지원 고급 영구 위협(APT) 그룹이 악의적인 목적으로 AI를 활용하려 했다고 보고했다. 

하지만 이 미국 다국적 기업은 고급 제인브레이크 시도에 대한 증거를 발견하지 못했다.  

대신 해커들은 다른 구문을 입력하거나 동일한 요청을 여러 번 반복하는 등 단순한 접근 방식을 사용했다. 구글은 이러한 시도가 실패했다고 밝혔다.

AI의 도움을 받은 제인브레이크는 프롬프트 인젝션 공격으로, 제한을 우회하여 AI 모델이 민감한 정보를 노출하거나 유해한 콘텐츠를 생성하는 등 금지된 작업을 수행하도록 시도한다.

구글에 따르면 한 APT 행위자는 공개적으로 이용 가능한 제인브레이크 프롬프트를 사용하여 제미니를 악용하고 악성 코드를 생성하려 했다. 그러나 제미니가 안전 필터링된 출력을 반환하면서 시도는 실패했다.

구글은 공격자들이 제미니의 도움을 받아 표적에 대한 정보 수집, 공개 소스에서 취약점 식별, 코드 및 스크립트 작성 등 다양한 악의적인 목표를 달성하려 했다고 언급했다. 또한 일부 시도는 탐지를 피하는 등 공격 후 작업을 지원하기 위한 것이었다.

이란, 중국, 북한이 사이버 작전을 위해 구글의 제미니 AI를 악용

구글에 따르면 이란 기반 APT 그룹은 주로 AI를 피싱 캠페인 구성에 활용했다. 또한 제미니를 사용하여 방위 전문가 및 조직에 대한 정찰을 수행하고 사이버보안 관련 콘텐츠를 생성했다.

한편 중국의 APT 행위자들은 코드 디버깅, 스크립팅 및 개발 작업을 위해 제미니를 활용했다. 또한 AI를 사용하여 대상 네트워크에 더 깊이 접근하는 방법을 모색했다.

구글의 위협 인텔리전스 그룹과 북한 APT 그룹은 공격 수명 주기의 다양한 단계, 즉 공격 전 연구 및 개발 단계에서 제미니를 사용했다. 보고서는 다음과 같이 밝혔다.

또한 그들은 제미니를 사용하여 북한 정부에 전략적 관심사가 있는 분야, 예를 들어 한국 군대와 암호화폐를 연구하는 데 사용했다.

– GTIG

체인alysis에 따르면 지난해 북한 해커들은 13억 달러의 디지털 자산을 훔쳤다.