오픈AI, 중국 그룹의 ChatGPT 악용 증가 보고

오픈AI는 특히 중국 그룹이 악의적인 목적으로 ChatGPT 플랫폼을 이용하면서 도구들의 비공식적 사용이 급증하고 있다고 밝혔습니다.

ChatGPT가 2022년 11월 출시되어 즉각적인 성공을 거둔 이후, 인간과 유사한 오디오, 텍스트, 이미지, 비디오를 생성할 수 있는 능력에 기반한 잠재적 결과에 대한 우려가 제기되어 왔습니다. 그리고 오픈AI는 가짜 웹사이트 콘텐츠와 같은 플랫폼의 악의적 활동에 대해 정기적으로 보고서를 발표해 왔습니다.

오픈AI, 10개의 별도 캠페인 해체

목요일 발표된 보고서에서 샌프란시스코 소재 기업은 최근 AI 도구를 악용하는 10개의 별도 캠페인을 해체했다고 밝혔습니다. 이 중 4개는 중국과 연관된 그룹에 의해 조직되었으며, 나머지 소규모 계획은 다른 국가들과 연관되었습니다.

오픈AI 조사팀의 수석 연구원인 벤 니모에 따르면, 중국과 연관된 이러한 운영은 여러 온라인 플랫폼에서 광범위한 전술을 전개했습니다.

“우리는 확장되는 도구 세트를 관찰하고 있습니다,”라고 그는 기자들에게 말했습니다.

“일부 캠페인은 영향력 행사, 소셜 엔지니어링 및 감시를 혼합했으며, TikTok과 X부터 Reddit과 Facebook에 이르기까지 다양한 플랫폼을 아우렀습니다.”

니모.

주요 사례 중 하나로 '스니어 리뷰(Sneer Review)'라는 이름의 작업은 ChatGPT를 사용하여 영어, 중국어, 우르두어로 짧은 게시물과 댓글을 게시했습니다. 여기에는 미국 국제개발처(USAID) 해산에 대한 찬반 양론과 중국 통치 당국을 공격하는 것으로 제시된 대만 전략 비디오 게임에 대한 비판 등이 포함되었습니다.

오픈AI의 보고서에 따르면, 대부분의 경우 운영은 원본 게시물뿐만 아니라 답변도 생성하여 '진짜' 토론처럼 보이게 했습니다. 동일한 그룹은 또한 게임에 대한 광범위한 대중의 항의가 있다는 장문의 기사를 작성했습니다.

'스니어 리뷰'는 또한 ChatGPT를 사용하여 내부 문서와 성과 평가를 작성했으며, 캠페인 실행의 모든 단계를 상세히 강조했습니다. 오픈AI의 분석가들은 실제 소셜 미디어 행동이 이러한 자기 평가와 밀접하게 일치함을 발견했으며, 이는 AI가 전선 영향력과 백오피스 관리 모두를 어떻게 간소화할 수 있는지 강조합니다.

보고서는 또한 중국과 연관된 또 다른 네트워크가 정보 수집에 집중하며 기자와 지리적 정치적 분석가인 척했다고 보여주었습니다. 그들은 채팅봇을 사용하여 X의 계정 프로필을 작성하고, 중국어와 영어 간 통신을 번역하며, 미국 상원의원에 대한 연방 임명과 관련된 메시지를 작성하기도 했습니다.

다른 국가들의 그룹들도 오픈AI의 도구를 오용

중국 관련 운영 외에도 보고서는 러시아와 이란 행위자들도 선거 관련 영향력을 위해 ChatGPT를 사용하려고 시도했다고 언급하며, 생성형 AI가 여론 형성에 미치는 역할에 대한 우려를 반영했습니다.

필리핀에서는 상업 마케팅 조직이 스팸 캠페인과 연결된 것으로 나타났으며, 캄보디아와 연관된 채용 사기도 드러났습니다. 회사는 또한 북한 이해관계와 연결된 또 다른 고용 이니셔티브를 표기했습니다.

이러한 모든 위협은 2월 오픈AI가 중국 관련 감시 이니셔티브를 발견한 이전 보고서와 시기적으로 일치했습니다. 이 캠페인은 서방 시위를 실시간으로 모니터링하여 중국 보안 기관에 요약을 제공했으며, ChatGPT는 코드 디버깅부터 모니터링 소프트웨어를 위한 영업 피치 초안 작성까지 모든 것을 지원했습니다.

니모는 이러한 운영의 대부분이 감지되고 중단되었지만 정교한 도구를 사용한 것으로 보인다고 나타냈습니다.

“고급 AI가 반드시 더 효과적인 결과로 이어지는 것은 아닙니다,”라고 그는 관찰했습니다. 실제로 오픈AI의 정기적인 위협 보고서는 생성형 모델이 콘텐츠 생성을 가속화할 수는 있지만 진정한 영향력이나 광범위한 확산을 보장하지는 않는다는 것을 시사합니다.

이러한 발견에 대응하여 오픈AI는 모니터링 및 집행 메커니즘을 계속 정교화해 왔습니다. 이 기업은 감지된 운영과 연결된 계정을 차단하고, 악성 코드 생성, 자동화된 정치적 메시지 또는 오해의 소지가 있는 콘텐츠에 관여한 모든 계정을 제거합니다.

최신 라운드에서 오픈AI는 중국 관련 지리적 정치적 논쟁을 게시한 계정을 제거했으며, 여기에는 파키스탄 활동가들에 대한 허위 주장과 트럼프의 관세 정책에 대한 논평이 포함되었습니다.

오픈AI의 성공에도 불구하고, 이 기업은 생성형 AI가 혁신의 도구이자 동시에 허위 정보의 도구라는 양날의 검 성격을 인정합니다.