AI 탐지기는 여전히 효과적인가요?

ChatGPT와 같은 AI 도구가 출시된 이후, “AI”라는 용어는 교육부터 콘텐츠 제작에 이르기까지 다양한 산업에서 유행어처럼 자리 잡았습니다. 이제 작가들과 학생들은 AI가 작성한 것인지 인간이 작성한 것인지에 관계없이 자신의 작품을 방어해야 하는 새로운 도전에 직면해 있습니다. 

Stastia의 통계에 따르면 Stastia 작년 7월, “AI”라는 용어는 3,040만 회 이상 검색되었으며, 이는 전월 대비 3배 늘어난 수치입니다. AI가 더욱 보편화됨에 따라, 교사와 편집자들은 제시된 텍스트가 AI가 작성한 것인지 아닌지를 판별할 대체 방법을 찾아야 했습니다. 이로 인해 AI 탐지기의 등장으로 이어졌습니다.

그러나 많은 작가들과 교육자들은 AI 탐지기의 신뢰성에 의문을 제기해 왔습니다. 그중 하나는 TrustInsights.ai의 공동 창립자 Christoper Pen으로, 그는 LinkedIn에서 게시글 사실과 다른 “AI “탐지기는 장난이다”라고 밝혔습니다. Pen만이 AI 탐지기가 신뢰할 수 없다고 생각하는 것은 아닙니다. SEO 콘텐츠 전문가인 Dianna Mason은 말했다. 게시글에서 “AI 콘텐츠 탐지기는 작동하지 않는다”라고 주장했습니다.

레딧의 다른 글에 따르면, 한 사용자는 “네, AI 탐지기는 사기입니다. AI 탐지기가 신뢰성 있게 작동할 수 있음을 입증한 학술 논문은 지금까지 존재하지 않습니다. 또한 신뢰할 수 있는 AI 탐지기가 어떻게 작동해야 하는지에 대한 유망한 이론적 프레임워크도 없습니다. “

여러 잘 알려진 사례들은 AI 탐지기의 비효율성을 보여줍니다. 예를 들어, 한 탐지기는 미국 독립선언서의 97.75%를 AI가 작성한 것으로 잘못 식별했습니다. 

또 다른 사례에서는 성경의 텍스트가 AI가 작성한 것으로 판명되었습니다. 힌두교 경전인 바가바드 기타도 AI에 의해 잘못 식별되었습니다. 이러한 사건들은 AI 탐지기의 신뢰성에 대해 매우 심각한 의문을 제기합니다.

AI 탐지기의 효과를 더 깊이 조사하기 위해, 우리는 성경의 발췌구를 네 가지 다른 탐지기로 테스트했습니다. 결과는 매우 달랐습니다.

• Quilbott- 이 사이트에 따르면, 사용된 발췌구는 AI가 생성한 것이 아니라 0%일 가능성이 높습니다.
• Grammarly- Grammarly도 해당 텍스트가 100% 인간이 작성한 것으로 식별했습니다.
• GPT Zero- 이 사이트는 해당 텍스트가 인간이 작성했을 확률이 96%라고 평가했습니다.
• Zero GPT- 제가 마지막으로 테스트한 사이트로, 결과가 매우 놀라웠습니다. 이 사이트에 따르면 해당 텍스트는 96%가 AI가 작성한 것이었습니다.

AI 탐지기의 작동 원리

AI 탐지기, 또는 GPT 탐지기는 AI가 생성한 콘텐츠를 식별하도록 설계된 시스템입니다. 이러한 탐지기는 LLM(대규모 언어 모델)이 텍스트를 처리하는 방식과 마찬가지로 패턴과 단어 배열 측면에서 텍스트를 비교합니다. LLM은 데이터에서 추론된 확률을 기반으로 하며, 단어의 순서 감지에 순수하게 의존하여 예측을 수행합니다. AI 탐지기는 이러한 확률을 활용하여 AI 콘텐츠를 감지합니다. 

AI 탐지기는 주로 두 가지 척도, 즉 퍼플렉시티(Perplexity)와 버스트니스(Burstiness)를 사용합니다. 퍼플렉시티는 다음 단어가 정확할 확률을 측정하며, 버스트니스는 단어와 구의 수의 변동성을 의미합니다. 인간의 글쓰기는 일반적으로 더 많은 다양성을 보이는 반면, AI가 생성한 텍스트는 종종 더 균일합니다. 그럼에도 불구하고 GPT-4와 같은 AI 모델이 발전함에 따라 인간 글쓰기를 더 높은 숙련도로 모방할 수 있게 되어 탐지가 더욱 어려워지고 있습니다. 

Coachvox의 창립자 조디 쿡에 따르면, “현재 우리는 AI가 생성한 LinkedIn 댓글을 웃어넘깁니다…. 하지만 기술이 발전함에 따라 무엇이 진짜이고 가짜인지 구분하지 못하게 될 것입니다. 아무도 구분하지 못할 것입니다. “

작가, 학생, 기업에게 있어 그 중요성은 큽니다. 이는 AI 탐지기를 신뢰할 수 있는지에 대한 질문을 던집니다.