AI 생성 인플루언서들이 도용된 신원으로 인스타그램 및 기타 플랫폼을 범람시키고 있다

새로운 AI 관련 사기가 등장했으며, 수천 명의 AI 생성 인플루언서들이 인스타그램과 같은 소셜 사이트에 실제 사람들의 도용된 이미지를 사용하여 범람하고 있다.

이 사기에는 실제 모델 및 성인 콘텐츠 크리에이터의 비디오를 도용하여 AI 생성 얼굴을 부여하고, 예를 들어 데이트 사이트 링크를 통해 그들의 몸을 수익화하는 것이 포함된다. 여기에는 파테온(Patreon), 올온리팬스(OnlyFans) 경쟁 및 다양한 AI 앱 등이 포함된다.

AI 생성 인플루언서들이 인스타그램에서 인간과 경쟁하고 있다

404 미디어는 이 관행이 처음 등장했을 때 4월 이 관행을 처음 보도했다. 이 관행은 이제 인기 있는 트렌드로 성장했으며, 많은 사람들이 메타가 운영하는 소셜 미디어 플랫폼에서 이 명백한 트렌드를 멈출 수 없거나 멈추려 하지 않는다고 가정하게 만들었다.

이는 인스타그램의 인간 콘텐츠 크리에이터들이 이제 자신의 생존 가능성에 영향을 미치는 방식으로 AI 콘텐츠와 경쟁하고 있다고 말하는 시점과 일치한다.

애플 앱 스토어와 구글 플레이 스토어에 호스팅된 일부 오프더 shelf AI 도구와 앱을 사용하여 AI 인플루언서들은 이제 쉽게 계정을 생성하고 수익화할 수 있다. 와이어드에 따르면, 그들은 AI가 생성한 1,000개 이상의 인스타그램 계정과 이 콘텐츠를 만드는 사람들이 팁을 공유하고 전략을 논의하며 ‘AI 피밍(AI pimping)’을 통해 돈을 버는 방법을 설명하는 여러 가이드가 있는 디스코드 채널을 검토했다.

와이어드(Wired)는 인스타그램에서 사소했던 문제가 여러 미래 소셜 미디어 환경에 대한 예측, 즉 AI 생성 콘텐츠가 인간의 콘텐츠를 압도하는 상황과 함께 거대한 관행으로 성장했음을 발견했다.

인스타그램에서 자신의 작품을 홍보하는 성인 콘텐츠 크리에이터들은 이제 이러한 AI 모방 계정들과 직접 경쟁하는 것에 대해 우려하고 있으며, 이 중 많은 계정이 성인 콘텐츠 크리에이터와 인스타그램 모델로부터 도용한 사진과 비디오를 사용하고 있다.

엘라이나 스테이제스(Elaina St James) 성인 콘텐츠 크리에이터는 인스타그램 알고리즘의 다른 변화가 기여했을 수 있지만, 인스타그램에서 AI 생성 인플루언서 계정의 폭발적 증가 이후 그녀의 ‘도달 범위가 극적으로 감소’했다고 말했다. 그녀는 일반적으로 월 100만~500만 뷰에서 시작했으나 지난 10개월 동안 100만 뷰를 넘지 못했으며, 때로는 50만 뷰 미만으로 떨어지기도 했다.

“이것이 내 조회수 감소의 한 이유일 것이다. 나는 비자연적인 것과 경쟁하고 있기 때문이다.” 스테이제스.

알렉시오스 만타르리스(Alexios Mantzarlis) 코넬 테크의 보안, 신뢰 및 안전 이니셔티브 디렉터이자 전 구글 신뢰 및 안전 인텔리전스 수석은 404 미디어 연구의 약 900개 계정을 목록으로 작성했다.

소셜 미디어가 곧 어떤 모습으로 변할지 보여주는 신호

만차를리스는 이것이 완전히 새로운 것이거나 놀라운 일이 아니며, 이는 소셜 미디어 플랫폼에서 AI 기술과 그 채택에 대해 이전에 제기된 예측을 충족하는 것에 불과하다고 말했다.

“5년 후 소셜 미디어가 어떤 모습일지 보여주는 가능한 신호인 것 같았다”고 만차를리스는 말했다.

“이것이 인스타그램의 매력적인 사람 niche에만 국한되지 않고 인터넷의 다른 부분으로 퍼져나갈 수 있다. 이것은 꽤 나쁜 상황이 될 것이라는 신호일 것이다.”

만차를리스.

1,000개 이상의 AI 생성 인스타그램 인플루언서 계정 중 최소 100개는 딥페이크 콘텐츠를 포함하고 있었는데, 이는 기존 비디오(보통 모델 및 성인 엔터테인먼트 배우들의 것)를 가져와 얼굴을 AI 생성 얼굴로 교체하여 비디오에 새로운 느낌을 주는 것이었다.

이 비디오들은 AI 생성 인플루언서가 공유하는 다른 AI 생성 이미지 및 비디오와 일관된 새로운 오리지널 콘텐츠처럼 보일 것이다.

인스타그램은 불만 접수 시 조치를 취할 것이다

인스타그램은 계정 소유자나 대리 보고 권한이 있는 사람에 의해 보고된 경우에만 계정에 대한 조치를 취할 것이라고 밝혔다. 그러나 많은 인간 인플루언서들은 제공된 채널이 작동하지 않는다고 말하며, 따라야 할 사칭 계정이 너무 많다고 한다.

스제임스는 이러한 AI 생성 인플루언서 계정 중 많은 것이 나에 의해 운영되고 있다는 사실이 모욕에 모욕을 더한다고 덧붙였다.

“우리는 세계의 여성으로서 돈을 덜 번다. 우리는 많은 면에서 불리하다. 우리가 우위를 점하는 세계의 한 영역은 인플루언서와 모델링 분야인데, 이는 추가적인 층일 뿐이다”라고 스제임스는 말했다.

“남자가 여자인 척하며 돈을 번다는 사실이 조금은 화가 난다”고 그녀는 덧붙였다.

애플은 무해하게 사용될 수 있지만 종종 동의 없는 콘텐츠를 생성하는 데 사용되는 얼굴 교체 앱의 ‘이중 사용’ 문제를 해결하는 데 실패했으며, 이 문제에 대해 질문을 받은 후 앱 스토어에서 제거했다.