악성 AI 챗봇의 부상: 위협 행위자들이 '해킹봇'을 활용하고 있다

의 인기 물결은 인공 선의를 가진 사람들뿐만 아니라 악의적인 의도를 가진 사람들 모두에게 영향을 미쳤습니다. 보안 전문가들은 경고음을 울리며, 이러한 모델을 이용한 악성 텍스트 생성 또는 '해킹봇'이 이제 위협 행위자들 사이에서 널리 퍼지고 있다고 지적합니다. 이는 구독 기반 서비스에서 완벽한 솔루션으로 자리 잡았습니다.

사이버 범죄자들이 AI 도구를 활용하고 있다

한편으로, 사이버 보안 전문가들은 시스템 보호를 강화하는 데 있어 AI 기반 도구의 잠재력을 빠르게 인식했습니다. 위협 행위자들 또한 공격 대상이 되는 시스템의 보안 허점을 악용하기 위해 이러한 기술을 적극적으로 활용하고 있습니다. 지난 몇 년 동안 악의적인 행위자들이 사용하는 AI 애플리케이션의 수가 기하급수적으로 증가하면서, 보안팀은 AI 관련 위협을 효과적으로 차단할 수 있는 방안을 모색해야 할 필요성을 느끼게 되었습니다.

한편, 영국의 사이버 보안 전문가들은 인공지능(AI)을 미지의 영역과 끊임없이 변화하는 특성을 지닌 새로운 위험 요소로 지적했습니다. 영국 국가사이버보안 센터(NCSC)는 2024년 1분기가 가장 큰 규모가 될 것이며, 2022년과 2023년의 기록을 넘어설 것으로 예측했습니다. 교묘한 범죄자들은 ​​사회공학적 기법에 언어 모델을 활용하기도 하는데, 이는 피싱이나 음성 인식 장치를 이용해 유명인을 영상이나 음성 환경에 노출시키는 수법입니다. 마이크로소프트 보안 부문 부사장인 바스쿠트 자칼은dentdentdent dentdentdentdent dentdent.

일부 전문가들은 챗봇이 악성코드를 적극적으로 개발하기 위해 특정한 문구를 사용한다고 결론지었습니다. 실제로 ChatGPT와 Gemini 같은 공개 서비스는 악의적인 목적으로 오용되는 것을 방지하기 위한 안전장치를 마련해 놓았습니다. 그러나 해커들은 정교하고 신속한 엔지니어링 기법을 통해 이러한 보호 장치들을 상당 부분 우회해 왔습니다.

해킹봇 서비스: 사이버 범죄의 새로운 트렌드

최근 연구에 따르면 공개적으로 사용 가능한 언어 모델은 일반적으로 소프트웨어 보안 취약점을 악용하지 못하는 것으로 나타났습니다. 그러나 OpenAI의 GPT-4만이 알려진 취약점을 이용한 실행 파일을 생성할 수 있는 가능성을 보여주며 유망한 모습을 보였습니다. 이러한 제약 조건은 사이버 범죄자들이 악의적인 활동을 실행하는 데 도움을 주기 위해 설계된 악성 챗봇의 원형이 만들어지는 데 오히려 기여했을 가능성이 있습니다. 

이러한 악성 언어 모델은 다크 웹의 포럼과 마켓플레이스에서 광고되고 있으며, 사용자들은 공격자를 고용하고 악용할 수 있는 권한을 얻어 '해킹봇 서비스' 모델을 부추기고 있습니다. 2023년 8월 Trustwave SpiderLabs 팀이 발표한 최근 블로그 게시물 중 하나는 수익을 목적으로 여러 숨겨진 웹 게시판에 악성 언어 모델이 호스팅되는 사례가 증가하고 있음을 보여줍니다.

Trustwave는 2021년 6월에 WormGPT 모델을 공개했는데, 이는 해커들이 사용하는 악성 언어 모델 중 하나입니다. 이러한 공격 방식은 다크 웹에 호스팅된 해킹 구조를 통해 봇이 사이버 공격을 주입하는 환경에서 발생할 수 있습니다. 2023년 7월에 생성된 FraudGPT는 Telegram에 유포되기 전에 Netenrich의 위협 연구원들에 의해 처음 발견되었습니다.

이러한 도구들은 공격자가 피싱 이메일, 딥페이크, 음성 복제와 같은 소셜 엔지니어링 공격에 사용되는 자산을 설계할 수 있도록 해줍니다. 그러나 개발자들은 이러한 도구들의 진정한 가치는 취약점 악용에 있다고 주장합니다. 해커들은 특정 취약점에 대한 코드를 이러한 악성 모델에 입력할 수 있으며, 이론적으로 공격자가 시도해 볼 수 있는 여러 가지 개념 증명(PoC) 익스플로잇을 생성할 수 있습니다.

이러한 제품들은 다크 웹의 은밀한 시장에서 판매되며, 해커들은 해킹봇 사용에 대한 월별 라이선스 비용을 지불합니다. 마찬가지로 랜섬웨어는 서비스형 랜섬웨어(RAAS) 모델로 제공되며, 이는 오늘날 많은 기업들이 직면하고 있는 랜섬웨어 복합체와 직접적으로 연결되어 있습니다.

WormGPT는 최초로 대규모로 도입된 악성 언어 모델이지만, BlackHatGPT, XXXGPT, WolfGPT와 같은 다른 악성 및 비윤리적인 언어 모델들이 곧이어 등장하여 사이버 암시장의 새로운 시장 부문을 형성했습니다.

해킹봇의 효능: 과장인가, 아니면 진정한 위협인가?

Trustwave의 연구는 권장 도구들의 효율성을 검증하기 위해 정식 챗봇이 생성한 출력과 비교하여 각 도구의 성능을 평가했지만, 이번 연구 결과는 ChatGPT가 적절한 프롬프트를 사용하면 파이썬 악성코드를 생성하는 데 악용될 수 있음을 보여주었습니다. 이를 위해서는 배포 전에 해당 코드가 화이트햇(white hat)이라고 주장하는 메시지를 보내야 했고, 코드 출력에도 추가적인 수정이 필요했습니다.

ChatGPT는 피싱 공격을 위해 실제 텍스트 메시지를 전달할 수 있지만, 이를 위한 명령어는 매우 구체적이어야 합니다. ChatGPT는 일반적으로 사용자가 잘못된 요청을 할 때만 이러한 방식으로 작동합니다. 따라서 이러한 챗봇은 사이버 범죄자나 AI가 복잡한 웹페이지나 악성코드 제작 작업 대신 채팅 사용자를 공격하는 더 간단한 방법으로 활용될 수 있습니다.

이 산업은 아직 새롭고 위협 요소도 끊임없이 변화하고 있지만, 기업들은 현재 자신들의 보안 수준을 정확히 파악해야 합니다. AI 시스템에 쏟아지는 콘텐츠와 문화적 특성은 악용되어 허위 정보의 격차를 만들어낼 수 있으며, 이는tronAI 보안 프로그램과dent관리 도구를 구축함으로써만 해소할 수 있습니다.

점점 심각해지는 문제에 대한 해결책의 타당성은 여전히 ​​논쟁 중입니다. 하지만 최근 랜섬웨어 변종들은 사이버 범죄자들이 소프트웨어 개발자들의 개발 속도에 필적하거나 심지어 능가할 수 있음을 보여줍니다.