악의적인 AI 채팅봇의 부상: 위협 행위자들이 '해크봇'을 수용하다

AI의 인기 물결은 선의의 의도를 가진 사람들과 더 사악한 의도를 가진 사람들 모두를 휩쓸었습니다. 보안 전문가들은 경보를 울리며, 이러한 모델을 사용하여 악의적인 텍스트 생성 또는 '해크봇(hackbot)'이 이제 위협 행위자들 사이에서 유명해졌다고 지적합니다. 이는 구독 기반 서비스에서 턴키 서비스 수준에 도달했습니다.

AI 도구를 활용하는 사이버 범죄자들

한편, 사이버 보안 전문가들은 AI 기반 도구가 시스템을 더 잘 보호할 잠재력을 빠르게 인식했습니다. 위협 행위자들도 공격자들이 남긴 보안 격차를 이용하기 위해 이러한 기술을 활용하는 데 동등한 열의를 보였습니다. 지난 몇 년 동안 악의적인 행위자들이 사용하는 AI 애플리케이션의 수가 기하급수적으로 증가했으며, 이는 보안 팀들이 AI 관련 위협을 줄이기 위한 충분한 접근 방식에 주의를 기울이게 했습니다.

한편, 영국 사이버 보안 전문가들도 AI를 미지의 영역과 끊임없이 변화하는 본질을 수반하는 새로운 위험으로 지적했습니다. NCSC는 2024년 1분기가 2022년과 2023년의 기록을 뛰어넘는 가장 크고 성공적인 해킹이 될 것이라고 예측합니다. 똑똑한 범죄자들은 또한 소셜 엔지니어링을 위해 언어 모델을 사용했으며, 이는 피싱_scheme나 음성 인식 장치를 사용하여 유명인을 비디오 또는 오디오 설정에 배치하는 것을 요구했습니다. 마이크로소프트 코퍼레이션의 보안 부사장인 바스쿠트 자칼은 RSA 컨퍼런스 2024에 참석했습니다. 문제는 이러한 도구의 퇴보가 아니라 비밀번호 크래킹을 위한 이러한 도구의 광범위한 가용성 증가이며, 이는 신원 관련 공격의 10배 성장과 연결되어 있습니다.

일부 전문가들은 채팅봇이 멀웨어를 적극적으로 개발하기 위해 고유한 구문을 사용한다고 결론 내렸습니다. 실제로 ChatGPT와 Gemini와 같은 공개적으로 이용 가능한 서비스는 악의적인 목적으로 오용되는 것을 방지하기 위해 안전 장치를 구현했습니다. 그러나 해커들은 정교한 프롬프트 엔지니어링 기법을 통해 많은 보호 장치를 우회했습니다.

해크봇-어-서비스: 사이버 범죄의 성장하는 트렌드

최근 연구에 따르면, 공개적으로 보이는 언어 모델은 일반적으로 소프트웨어 보안 취약점을 악용하지 못합니다. 그러나 OpenAI의 GPT-4만이 알려진 결함에 대한 실행 파일을 생성할 수 있는 유망한 기능을 보여주었습니다. 위의 제한 사항은 아마도 사이버 범죄 수행자를 돕기 위해 설계된 원형 악의적인 채팅봇의 생산을 촉진했을 것입니다. 

이들은 다크 웹의 포럼과 마켓플레이스에서 광고되며, 공격자를 고용하고 착취할 수 있는 힘을 제공하여 해크봇-어-서비스 모델을 부추깁니다. 2023년 8월 Trustwave SpiderLabs 팀이 게시한 최근 블로그 게시물은 수익을 위해 여러 은닉 웹 메시지 보드에 호스팅된 악의적인 언어 모델의 증가된 볼륨을 보여줍니다.

Trustwave는 2021년 6월 해커들이 아는 악의적인 언어 모델 중 하나인 WormGPT 모델을 게시했습니다. 이 접근 방식은 봇이 다크 웹 호스팅 해킹 구조를 통해 사이버 공격을 주입하는 장비에서 발생할 수 있습니다. 2023년 7월에 생성된 FraudGPT는 Telegram에 도달하기 전에 Netenrich의 위협 연구원들에 의해 처음 발견되었습니다.

이러한 도구들은 피싱 이메일, 딥페이크, 음성 복제와 같은 소셜 엔지니어링 공격에 사용되는 자산을 설계할 수 있게 해줍니다. 그러나 그들의 창작자들은 그들의 진정한 가치가 취약점 악용에 있다고 주장합니다. 그들은 해커들이 이러한 악의적인 모델에 특정 취약점에 대한 코드를 공급할 수 있게 하여, 이론적으로 공격자가 시도할 수 있는 여러 개념 증명(PoC) 익스플로잇을 생성할 수 있습니다.

이러한 제품들은 다크 웹의 은밀한 시장에서 판매되며, 해커들은 해크봇을 사용하기 위해 월별 라이선스 요금을 지불합니다. 이는 오늘날 많은 기업이 직면하고 있는 랜섬웨어 컴플렉스와 직접적으로 연결된 랜섬웨어-어-서비스(RaaS) 모델로 랜섬웨어가 전달되는 방식과 유사합니다.

WormGPT가 처음 도입된 대규모 악의적인 언어 모델인 반면, BlackHatGPT, XXXGPT, WolfGPT와 같은 다른 악의적이고 비윤리적인 언어 모델들이 곧 뒤를 이어 사이버 블랙 마켓의 새로운 시장 세그먼트를 형성했습니다.

해크봇의 효용성: 과장된 hype인가, 진정한 위협인가?

Trustwave가 수행한 연구는 권장 도구의 효율성을 테스트하기 위해 그들의 출력을 나란히 비교하는 것과 정직한 채팅봇이 생성한 출력을 비교하는 것을 목표로 했습니다. 그 결과는 ChatGPT가 적절한 프롬프트를 통해 파이썬 멀웨어를 효과적으로 생성할 수 있음을 보여주었습니다. 이를 위해 메시지는 배포 전에 코드가 화이트 해트라고 주장하며 보내져야 했으며, 코드 출력도 추가 수정이 필요했습니다.

ChatGPT는 피싱 공격을 위해 실제 텍스트 메시지를 전달할 수 있지만, 지시 명령은 이러한 효과에 대해 매우 구체적이어야 합니다. ChatGPT는 사용자가 잘못된 것을 요청할 때만 일반적으로 이를 기반으로 합니다. 이러한 사실로 인해, 이러한 채팅봇은 페이지나 멀웨어를 번거롭게 생성하는 대신 사이버 범죄자나 AI가 채팅 상대를 공격하는 더 간단한 방법으로 간주될 수 있습니다.

이 산업이 새로우며 위협이 여전히 변동 중이더라도, 기업들은 현재 보호 수준을 진정으로 인식해야 합니다. AI 시스템이 범람하는 콘텐츠와 문화적 특성은 더 강력한 AI 보안 프로그램과 신원 관리 도구를 생성함으로써만 해결할 수 있는 허위 정보 격차를 생성하는 데 남용될 수 있습니다.

성장하는 문제에 대한 솔루션의 정당성은 여전히 논쟁 중입니다. 그러나 최근 랜섬웨어 변종들은 사이버 범죄자들이 소프트웨어 개발자들의 개발 속도를 따를 뿐만 아니라 초과할 수 있음을 보여주었습니다.