AI 탐지기는 여전히 효과적인가요?

ChatGPT와 같은 AI 도구가 출시된 이후, "AI"라는 용어는 교육부터 콘텐츠 제작에 이르기까지 다양한 산업 분야에서 유행어가 되었습니다. 이제 작가와dent은 AI 기반 콘텐츠든 사람이 작성한 콘텐츠든 자신의 작품을 보호하고 방어해야 하는 새로운 과제에 직면해 있습니다. 

통계청( Statia) 의 작년 통계에 따르면 , 2023년 7월 한 달 동안 "AI"라는 단어가 3,040만 회 이상 검색되었는데, 이는 전월 대비 세 배에 달하는 수치입니다. AI가 점점 더 보편화됨에 따라, 교사와 편집자들은 자신들에게 제시되는 텍스트가 AI로 생성된 것인지 아닌지를 판별하는 새로운 방법을 찾아야 했습니다. 이러한 배경에서 AI 탐지기가 등장하게 되었습니다. 그러나 많은 작가와 교육자들은 AI의 신뢰성에 의문을 제기하고 있습니다. 그중 한 명인 TrustInsights.ai의 공동 창립자 크리스토퍼 펜은 링크드인 게시물 에서 "AI 탐지기는 농담에 불과하다"고 주장 했습니다. 펜뿐만 아니라 SEO 콘텐츠 전문가인 다이애나 메이슨도 자신의 게시물에서 "AI 콘텐츠 탐지기는 작동하지 않는다" 고 지적했습니다

레딧의 또 다른 게시물 에 따르면 , 한 사용자는 " 네, AI 탐지기는 사기입니다. AI 탐지기가 안정적으로 작동할 수 있다는 것을 증명하는 학술 논문은 단 한 편도 없었습니다. 또한 신뢰할 수 있는 AI 탐지기가 어떻게 작동할지에 대한 유망한 이론적 틀도 없습니다."라고 주장했습니다.

널리 알려진 여러 사례에서 AI 탐지기의 비효율성이 드러납니다. 예를 들어, 한 탐지기는 미국 독립선언문의 97.75%를 AI가 작성한 것으로 잘못dent했습니다. 

또 다른 사례에서는 성경 구절이 인공지능이 작성한 것으로 밝혀졌습니다. 힌두교 경전인 바가바드 기타 역시 인공지능에 의해 잘못dent되었습니다. 이러한dent들은 인공지능 탐지기의 신뢰성에 심각한 의문을 제기합니다.

AI 탐지기의 효과를 더 자세히 조사하기 위해 성경 발췌문을 네 가지 서로 다른 탐지기로 테스트했습니다. 결과는 상당히 달랐습니다

• Quilbott - 이 사이트에 따르면, 사용된 발췌문은 AI가 생성한 것이 아닐 가능성이 0%입니다.
• Grammaly는 해당 텍스트가 100% 사람이 작성한 것임을dent했습니다.
• Gpt Zero - 이 사이트는 해당 텍스트가 사람이 작성했을 확률을 96%로 예측했습니다.
• Zero Gpt - 제가 마지막으로 테스트한 사이트인데 결과가 정말 놀라웠습니다. 사이트에 따르면 텍스트의 96%가 AI가 작성한 것이라고 합니다.

AI 탐지기의 작동 방식

AI 탐지기 또는 GPT 탐지기는 AI가 생성한 콘텐츠를dent하도록 설계된 시스템입니다. 이러한 탐지기는 LLM(언어 학습 모델)이 텍스트를 분석하는 방식과 유사하게 패턴과 단어 배열 측면에서 텍스트를 비교합니다. LLM은 데이터에서 추론된 확률을 기반으로 단어의 순서 감지에 근거하여 예측을 수행합니다. AI 탐지기는 이러한 확률을 이용하여 AI 콘텐츠를 탐지합니다. 

AI 탐지기는 주로 퍼플렉서티(perplexity)와 버스티니스(burstivity)라는 두 가지 측정 기준을 사용합니다. 퍼플렉서티는 다음에 나오는 단어가 정확할 확률을 측정하고, 버스티니스는 단어와 구의 변동성을 나타냅니다. 인간의 글은 일반적으로 더 다양한 형태를 띠는 반면, AI가 생성한 텍스트는 비교적 균일한 경향을 보입니다. 그럼에도 불구하고 GPT-4와 같은 AI 모델이 발전함에 따라 인간의 글쓰기를 더욱 정교하게 모방할 수 있게 되어 탐지가 더욱 어려워지고 있습니다. 

코치복스의 창립자인 조디 쿡 은 " 지금은 AI가 생성한 링크드인 댓글을 보고 웃지만, 기술이 발전할수록 무엇이 진짜이고 무엇이 가짜인지 구분할 수 없게 될 겁니다. 아무도 그럴 수 없을 거예요." 라고 말했습니다

작가,dent, 그리고 기업들에게 있어 이 문제는 매우 중요합니다. 따라서 인공지능 탐지기를 신뢰할 수 있을지에 대한 의문이 제기됩니다