ChatGPT의 자동화된 악성코드 생성 역할 탐구

ChatGPT를 포함한 인공지능(AI) 기술이 더 널리 사용됨에 따라 사이버 범죄 활동에서 잠재적으로 오용될 가능성에 대한 우려가 커지고 있습니다. 이 블로그는 ChatGPT의 안전 조치의 효과성, 악의적 행위자에 의한 AI 오용의 위험 및 현재 AI 모델의 한계에 대해 심층적으로 다룹니다.

OpenAI가 개발한 고급 언어 모델인 ChatGPT는 빠른 속도로 널리 채택되었습니다. 그러나 이러한 인기는 특히 악성 소프트웨어 및 기타 해로운 소프트웨어 생성에서의 잠재적 오용에 대한 우려를 불러일으켰습니다. 이러한 우려를 해결하기 위해 OpenAI는 ChatGPT의 악의적 사용을 감지하고 방지하도록 설계된 안전 필터를 구현했습니다.

ChatGPT의 악성 코드 생성 능력 테스트

CyberArk는 최근 ChatGPT가 탐지를 피하고 정책을 우회하며 악성 코드를 생성하는 능력을 테스트했습니다. 그들은 ChatGPT의 보안 필터의 한계를 탐색했으며, 특정 프롬프트를 사용하여 모델이 악성 코드 개발과 관련된 코드 스니펫을 생성할 수 있음을 발견했습니다.

테스트를 위해, 모델은 MITRE ATT&CK 프레임워크의 전술, 기술 및 절차(TTP)를 기반으로 한 프롬프트를 제공받았습니다. 이는 AI 기술과 관련된 잠재적 리스크를 이해하는 데 유용한 자원입니다. 이러한 프롬프트는 악성 코드 개발과 관련된 특정 작업에 대한 코드 스니펫을 생성하는 것을 목표로 했습니다.

모델은 프롬프트를 기반으로 코드를 생성할 수 있었지만, 특정 우회 방법이 필요했습니다. 예를 들어, 프롬프트가 악성 프로그램을 직접 언급하면 모델이 코드 생성을 거부할 수 있습니다. 그러나 프롬프트를 조정함으로써 공격자는 원하는 출력을 얻을 수 있었습니다.

또한, ChatGPT는 시간이 지남에 따라 사용자 선호도를 학습하고 적응하는 능력을 보여주었습니다. 예를 들어, 사용자가 정보를 텍스트 파일에 저장하는 것을 선호한다는 것을 학습하고 이를 이후의 프롬프트에 통합했습니다.

자동화된 악성 코드 생성에서의 ChatGPT의 한계

그 능력에도 불구하고, ChatGPT는 자동화된 악성 코드 생성에 있어 한계가 있습니다:

1. 코드 수정 필요

ChatGPT가 생성한 모든 코드 스니펫은 제대로 작동하기 위해 수정이 필요했습니다. 이러한 수정은 경로 및 URL 이름 변경과 같은 사소한 변경부터 코드 로직 및 버그 수정을 포함하는 상당한 편집에 이르기까지 다양했습니다.

2. 성공률

테스트된 코드 스니펫의 약 48%가 요청된 출력을 제공하지 못했습니다. 42%만 완전히 성공했고, 10%가 부분적으로 성공했습니다. 이는 모델이 복잡한 코딩 요청을 정확하게 해석하고 실행하는 데 있어 현재 한계가 있음을 강조합니다.

3. 오류율

테스트된 코드 중 43%가 오류를 포함하고 있었으며, 이는 원하는 출력을 성공적으로 제공한 코드 스니펫에서도 마찬가지였습니다. 이는 모델의 오류 처리 능력이나 코드 생성 로직에 잠재적인 문제가 있음을 시사합니다.

4. MITRE 기술 분석

성공률은 프롬프트에 사용된 MITRE 기술에 따라 다양했습니다. 발견 기술은 77%의 성공률을 보인 반면, 방어 회피 기술은 20%의 낮은 성공률을 보였습니다. 이러한 차이는 특정 기술의 복잡성이나 모델의 훈련 데이터로 인해 발생할 수 있습니다.

5. 환각 및 잘린 출력

ChatGPT는 환각이라고 알려진 부정확한 정보를 생성하는 데 취약하며, 이는 사용자에게 좌절감을 줄 수 있습니다. 또한, 불완전하거나 잘린 코드를 생성하여 기능을 상실할 수 있습니다.

6. 특정 변수에 대한 제어 부족

ChatGPT는 사용자 정의 경로, 파일 이름, IP 주소 또는 명령 및 제어(C&C) 세부 정보를 생성할 수 없으며, 이는 이러한 변수에 대한 사용자 제어를 제한합니다. 프롬프트에 지정하는 것은 가능하지만 복잡한 애플리케이션에는 확장성이 떨어집니다.

7. 제한된 난독화 및 암호화

ChatGPT는 기본 난독화를 수행할 수 있지만, 무거운 난독화와 코드 암호화는 이러한 모델에게 어렵습니다. 사용자 정의 기술은 ChatGPT가 이해하고 구현하기 어려울 수 있으며, 생성된 난독화는 탐지를 우회하기에 충분히 강력하지 않을 수 있습니다.

잠재력과 함정 사이의 균형

ChatGPT 및 유사한 AI 모델은 코드 생성에 잠재력을 가지고 있지만, 그들의 한계를 인식하는 것이 중요합니다. 그들은 특히 악성 코드 생성 과정에 익숙한 사람들에게 초기 코딩 단계를 단순화할 수 있습니다. 그러나 상당한 프롬프트 엔지니어링, 오류 처리, 모델 파인튜닝 및 인간 감독 없이 완전한 자동화는 아직 실현 가능하지 않습니다.

ChatGPT의 사용자 선호도에 대한 적응력은 코드 생성 효율성을 향상시키는 유망한 요소입니다. 그럼에도 불구하고 인간의 감독이 여전히 중요합니다. 이러한 모델은 다양한 악성 코드 가족에 대한 대규모 코드 스니펫 풀의 생성을 용이하게 하여 우회 능력을 향상시킬 수 있지만, 현재의 한계는 오용이 아직 완전히 실현 가능하지 않다는 일종의 안도감을 제공합니다.

AI 기술이 진화함에 따라 안전하고 윤리적인 사용에 강한 초점을 유지하는 것이 중요합니다. ChatGPT는 특히 코드 생성에서 유망함을 보여주지만, 악성 코드 생성을 위한 완전한 자동화 솔루션은 아닙니다. AI의 잠재력을 활용하고 그 함정을 완화하는 균형을 맞추는 것은 이러한 도구가 해로운 도구가 아닌 자산으로 봉사하도록 보장하는 데 필수적입니다.