최근 인공지능(AI) 관련 사기가 새롭게 등장했는데, 실제 사람들의 사진을 도용한 수천 명의 AI 생성 인플루언서들이 인스타그램과 같은 소셜 미디어 사이트를 장악하고 있는 것으로 알려졌습니다.
이 사기 수법은 실제 모델과 성인 콘텐츠 제작자의 영상을 도용하여 인공지능으로 생성된 얼굴을 입히고, 패트리온(Patreon)과 같은 데이트 사이트, 온리팬스(OnlyFans) 대회, 다양한 AI 앱 등으로 연결되는 링크를 통해 그들의 신체를 이용해 수익을 창출하는 것을 포함합니다.
AI가 생성한 인플루언서들이 인스타그램에서 인간 인플루언서들과 경쟁합니다
지난 4월, 404 Media는 이러한 행태가 처음 드러났을 때 이를 최초로 보도했습니다. 이제 이 행태는 하나의 유행처럼 번져, Meta가 운영하는 소셜 미디어 플랫폼이 이러한 추세를 막을 능력이 없거나 의지가 없는 것으로 보인다는 추측이 나오고 있습니다.
이러한 상황은 인스타그램의 인간 콘텐츠 제작자들이 인공지능 콘텐츠와의 경쟁으로 인해 생존 가능성이 위협받고 있다고 호소하는 가운데 발생했습니다.
애플 앱스토어와 구글 플레이 스토어에서 쉽게 구할 수 있는 AI 도구와 앱 덕분에 AI 인플루언서들은 이제 손쉽게 계정을 만들고 수익을 창출할 수 있습니다. 와이어드(Wired)에 따르면, 그들은 AI가 생성한 1,000개 이상의 인스타그램 계정과 이러한 콘텐츠 제작자들이 팁을 공유하고 전략을 논의하는 디스코드 채널, 그리고 "AI 마케팅"을 통해 돈을 버는 방법을 설명하는 여러 가이드를 검토했습니다.
Wired는 인스타그램에서 한때 사소한 문제였던 이 현상이 인공지능이 생성한 콘텐츠가 인간의 콘텐츠를 능가하는 미래 소셜 미디어 환경에 대한 여러 예측과 일치하며 거대한 문제로 성장했음을 발견했습니다.
인스타그램에서 성인 콘텐츠를 홍보하는 크리에이터들은 이제 AI를 이용한 도용 계정들과 직접 경쟁해야 한다는 점을 우려하고 있습니다. 이러한 도용 계정들 중 상당수는 성인 콘텐츠 제작자와 인스타그램 모델의 사진과 영상을 도용하고 있기 때문입니다.
일레이나 세인트 제임스 는 인스타그램 알고리즘의 다른 변화들도 영향을 미쳤을 수 있지만, AI 기반 인플루언서 계정이 급증한 이후 자신의 콘텐츠 도달률이 "엄청나게 감소했다"고 말했습니다. 평소 한 달에 100만~500만 조회수를 기록하던 그녀는 지난 10개월 동안 100만 조회수를 넘긴 적이 없으며, 때로는 50만 조회수에도 미치지 못하는 경우도 있다고 밝혔습니다.
"제 시청률이 떨어지는 이유 중 하나는 아마도 이것일 겁니다. 제가 부자연스러운 것과 경쟁하고 있기 때문이죠." - 세인트 제임스.
알렉시오스 만차를리스는 코넬 공과대학의 보안, 신뢰 및 안전 이니셔티브 책임자이자 이전에 구글에서 신뢰 및 안전 정보 부문 책임자를 역임했던
만찰리스는 이것이 완전히 새롭거나 놀라운 일은 아니며, 인공지능 기술과 소셜 미디어 플랫폼에서의 도입에 관해 이전에 나왔던 예측이 실현된 것일 뿐이라고 말했다.
"마치 5년 후 소셜 미디어가 어떤 모습일지 보여주는 징조처럼 느껴졌습니다."라고 만찰리스는 말했다.
"이런 현상이 인스trac그램의 매력적인 사람들만 대상으로 하는 틈새시장이 아니라 인터넷의 다른 영역으로 확산될 가능성이 있기 때문입니다. 이는 앞으로 상황이 상당히 악화될 것이라는 신호일 수 있습니다."
만찰리스.
1,000개 이상의 AI 기반 인스타그램 인플루언서 계정 중 최소 100개는 기존 영상(주로 모델이나 성인 엔터테인먼트 출연자의 영상)의 얼굴을 AI가 생성한 얼굴로 바꿔 새로운 느낌을 주는 딥페이크 콘텐츠를 포함하고 있었습니다.
해당 영상들은 AI가 생성한 인플루언서가 공유하는 다른 AI 생성 이미지 및 영상들과 일관성 있는 새롭고 독창적인 콘텐츠처럼 보일 것입니다.
인스타그램은 불만 접수 시 조치를 취할 것입니다
인스타그램은 계정 소유자 또는 대리인이 신고한 경우에만 조치를 취하겠다고 밝혔습니다. 그러나 많은 인플루언서들은 인스타그램이 제공한 채널이 제대로 작동하지 않고 있으며, 팔로우해야 할 사칭 계정이 너무 많다고 불만을 토로하고 있습니다.
세인트 제임스는 이러한 AI 생성 인플루언서 계정 중 상당수를 내가 운영하고 있다는 사실이 설상가상이라고 덧붙였습니다.
"여성들은 전 세계적으로 남성보다 적은 돈을 벌고 여러 면에서 불리한 입장에 놓여 있습니다. 하지만 인플루언서나 모델 활동처럼 우리가 유리한 분야도 있죠. 그런 점에서 우리는 조금 더 유리한 위치에 있을 뿐입니다."라고 세인트 제임스는 말했다.
그녀는 "남자가 여자인 척하며 돈을 벌고 있다는 사실이 좀 불쾌하게 느껴진다"고 덧붙였다.
애플은지금까지 얼굴 바꾸기 앱의 '이중 용도' 문제를 해결하지 못했는데, 이 앱들은 순수한 용도로 사용될 수도 있지만 종종 동의 없이 콘텐츠를 제작하는 데 악용되기도 한다. 결국 애플은 이 문제에 대한 질의를 받은 후 앱스토어에서 해당 앱을 삭제했다.
