Fox8 봇넷, X에서 1,000개의 AI 봇을 드러내고 셀카를 훔쳐 가짜 계정 생성

인디애나 대학교의 소셜 미디어 관측소 연구원들이 X(구 트위터)에서 disturbing한 봇 문제를 발견했습니다. 학생-교수 팀의 최근 연구는 기계 생성 콘텐츠를 생성하고 셀카를 훔쳐 가짜 인격을 조작하는 1,000개 이상의 인공지능 기반 계정 네트워크를 폭로했습니다. 이 우려스러운 발견은 허위 정보의 범위와 이러한 봇들이 플랫폼과 사용자에게 끼칠 잠재적 피해에 대한 우려를 높였습니다.

허위 정보의 놀이터를 만드는 Fox8 봇넷의 역할

카이청 양(Kai-Cheng Yang)과 필리포 멘체르(Filippo Menczer)가 이끄는 연구팀은 X에서 ‘Fox8’ 봇넷으로 명명된 방대한 가짜 계정 네트워크를 확인했습니다. 이 네트워크는 ChatGPT를 포함한 고급 언어 모델을 사용하여 의심스러운 웹사이트를 홍보하고 해로운 서사를 확산하는 콘텐츠를 생성합니다. 가짜 인격 생성을 넘어, 이러한 봇들은 미처 주의하지 않는 개인들을 사기성 암호화폐 투자로 유인하려는 시도를 해왔습니다. 더 우려스러운 것은 기존 암호화폐 지갑에서 절도 행위에 연루되어 있다는 alleged 사실로, 이는 상당한 금전적 손실을 초래할 수 있는 수준의 정교함을 보여줍니다.

암호화폐 연결 및 기만 확산

Fox8 봇넷은 #bitcoin, #crypto, #web3 등 암호화폐 관련 해시태그를 전략적으로 타겟팅하여 게시물의 가시성을 높입니다. 이러한 게시물은 잘 알려진 ForbesCrypto(@ForbesCrypto)나 블록체인 중심 뉴스 사이트 Watcher Guru(@WatcherGuru) 등 암호화폐에 초점을 맞춘 인간 운영 계정과 상호작용합니다. 합법적인 계정과 상호작용함으로써 이러한 봇들은 진정성과 신뢰성의 환상을 만들어내어, 사용자가 진정성 있는 콘텐츠와 악의적인 의도를 구분하기 어렵게 만듭니다.

암호화폐를 넘어선 다각적 위협

Fox8 봇넷의 악의적 활동은 암호화폐 영역을 넘어섭니다. 양과 멘체르의 연구는 이러한 봇 계정들이 선거와 공중보건 위기 같은 중요한 영역을 포함하여 다양한 맥락에서 온라인 대화를 왜곡하고 허위 정보를 확산하는 책임이 있음을 강조했습니다. 이러한 허위 정보의 증폭은 공공 담론과 의사 결정 과정에 상당한 위험을 초래하며, 긴급한 주의와 대응 조치를 필요로 합니다.

새로운 수준의 신뢰성

과거 쉽게 감지할 수 있었던 봇넷과 달리 Fox8 네트워크는 인간처럼 설득력 있게 보이도록 더 정교한 전술을 사용합니다. 이러한 봇들은 실제 사용자의 이미지를 훔치고 서로 상호작용하며, 리트윗과 답글을 남깁니다. 또한 설명, 팔로워 수, 트윗 수를 포함한 프로필을 유지하여 외관상의 진정성을 더욱 높입니다. 프로필과 상호작용의 이러한 세부 사항은 사용자가 이를 사기성 계정으로 식별하는 것을 어렵게 만듭니다.

ChatGPT 혁명과 그 어두운 악용

이 연구는 ChatGPT와 같은 고급 언어 모델이 Fox8과 같은 봇넷의 운영을 가능하게 하는 데 중요한 역할을 한다고 강조합니다. 이러한 언어 모델은 봇의 기능을 지수함수적으로 향상시켜, 인간이 생성한 콘텐츠와 구별하기 점점 더 어려워진 콘텐츠를 작성할 수 있게 했습니다. 무료 AI API의 가용성은 이 과정을 가속화하여, 악의적 행위자들이 미처 주의하지 않는 사용자를 기만하기 위해 이러한 도구를 악용할 수 있게 했습니다.

감지 방법의 침식

전통적으로 연구원들은 부자연스러운 언어 사용과 설득력 없는 콘텐츠를 기반으로 봇넷을 식별할 수 있었습니다. 그러나 ChatGPT와 유사한 기술의 등장은 기존 감지 방법의 효과를 약화시켰습니다. 최첨단 콘텐츠 감지기를 적용하더라도, 연구팀은 Fox8 봇넷 내에서 인간이 생성한 콘텐츠와 AI가 생성한 콘텐츠를 구분하는 데 어려움을 겪었습니다.

긴급한 행동 촉구

이 연구의 놀라운 발견은 AI 기반 봇넷이 초래하는 성장하는 위협에 대응하는 긴급성을 강조합니다. 멘체르는 효과적인 AI 생성 콘텐츠 감지 방법의 현재 부재가 적절한 대응책과 규제를 개발하기 위해 상당한 자원을 할당해야 함을 강조합니다. 이러한 개입이 없다면, 조작, 허위 정보, 금전적 착취의 잠재력은 통제되지 않은 상태로 남을 것입니다.

보이지 않는 위협과 그 이면

연구원들은 Fox8 봇넷과 관련된 특정 핸들을 공개하지 않았지만, 이러한 계정들이 실수로 게시한 자기 노출 트윗을 통해 그 존재를 발견했습니다. 이로 인해 그들은 X에서 “AI 언어 모델로서”라는 구문을 검색하여 약 9,000개의 고유 계정에서 12,000개 이상의 트윗을 식별했습니다. 이러한 계정 중 모든 것이 LLM 기반 봇으로 확인된 것은 아니지만, 연구는 상당 부분이 AI 생성 콘텐츠 확산에 관여하고 있다고 추정합니다.

인디애나 대학교의 연구는 디지털 영역 내에서 신원을 도용하고, 허위 정보를 확산하며, 악의적인 목적으로 사용자를 조작하는 AI 기반 봇넷이라는 성장하는 위협을 조명합니다. 이 연구는 진화하는 위협에 대한 실용적인 해결책을 찾는 긴급성을 강조합니다. 기술이 발전함에 따라 AI 생성 기만과의 싸움은 온라인 공간의 무결성을 보호하기 위해 혁신, 협력, 경계가 필요합니다.