AI 탐지기 작동 중지: 미국 헌법 사례 연구

인공지능(AI)은 특히 문서 생성 분야에서 현대 생활을 장악하고 있습니다. 이러한 AI 기술은 흥미롭기도 하지만, AI 콘텐츠를 정확하게 감지하지 못하는 문제가 심각합니다. 더 심각한 것은 AI 감지기가 사람이 작성한 문서조차 구글 그래픽 사용자 인터페이스(GPT)로 생성된 것으로 잘못 판단하는 경우입니다. 미국 헌법 사례가 이를 잘 보여줍니다.

관련 기사:Y Combinator의 폴 그레이엄, "Delve"가 포함된 텍스트는 AI가 작성한 것이라고 주장해 비난받아

미국 헌법은 1787년에 작성되어 1788년에 비준되었고, 1789년부터 효력을 발휘하고 있습니다. 이는 세계에서 가장 오랫동안 존속해 온 성문 정부 헌장입니다. 헌법은 최초의 자동차가 발명되기 약 1세기 전에 제정되었습니다. 그런데도 인공지능 탐지기는 이 헌법이 97.97% 인공지능에 의해 생성되었다고 판정했습니다.

AI 탐지기가 미국 헌법을 비인간적이라고 판정했습니다

2023년에는 인공지능 기반 콘텐츠가 증가했습니다. 그 직후 시장 개발자들은 인공지능 콘텐츠의 비율을 알려주는 탐지기를 개발하기 시작했습니다. 이는 긍정적인 발전으로 여겨졌지만, 현실은 그렇지 않았습니다.

인공지능 탐지기가 미국 헌법을 인공지능 콘텐츠로 분류했습니다. 그 비율은 무려 97.97%에 달합니다. "인공지능"이라는 용어는 1950년에서 1956년 사이 인공지능이 탄생하면서 널리 알려지게 되었습니다. 그렇다면 인공지능이 어떻게 자신보다 163년이나 오래된 문서를 작성할 수 있었을까요?

1950년, 앨런 튜링은 "컴퓨터 기계와 지능"이라는 제목의 논문을 발표하여 모방 게임이라는 기계 지능 테스트를 제안했습니다. 이 논문은 오늘날 우리가 살고 있는 세상의 시작을 알리는 계기가 되었습니다.

1952년, 아서 새뮤얼이라는 컴퓨터 과학자가 체스 게임을dent으로 학습하는 프로그램을 개발했습니다. 그로부터 얼마 지나지 않은 1955년, 존 매카시는 다트머스에서 "인공지능"에 대한 워크숍을 개최했는데, 이때 "인공지능"이라는 단어가 처음 사용되었습니다.

AI 탐지기에는 한계가 있다

AI 탐지기는 AI가 생성한 텍스트가 인간의 글쓰기를 모방하기 때문에 한계가 있습니다. 이러한 탐지기는 기계에게 글쓰기를 가르친 바로 그 인간들에 의해 훈련되었습니다. 그렇다면 이러한 AI 탐지기는 어떻게 작동하며, 얼마나 정확할까요? 또 다른 AI 탐지기는 미국 헌법에서 1%의 AI 콘텐츠를 발견했습니다. 이 1%는 어디에서 나온 것일까요?

자, 여기서 차이점이 드러납니다. 일부 AI 탐지기는 "delve, tapestry, utilize, numerous 등"과 같이 AI가 흔히 사용하지만 미국인들에게는 생소한 특정 단어를 찾아냅니다. 

하지만 영국 식민지 역사를 가진 국가 출신의 일부 사람들에게는 이러한 단어들이 구어체와 문어체 모두에서 흔히 사용됩니다.

지난달, Y Combinator 공동 창립자인 폴 그레이엄은 X(구 트위터)에서 ChatGPT를 이용한 텍스트 작성설을 제기해 논란에 휩싸였습니다. 그레이엄은 누군가로부터 받은 프로젝트 제안 이메일을 공개하며, 그 안에 "delve"라는 단어가 포함되어 있다는 이유로 인공지능이 작성한 글이라고 결론지었습니다.

한 X 사용자는 "영국 식민지 시대의 영향을 받은 나라에서 영어를 배운 사람들은 바로 이런 식으로 영어를 배웠습니다. [...] 'Delve'는 우리가 일상적으로 사용하는 단어입니다." 또 다른 사용자는 이것이 미국인들의 문제라고 주장했습니다.

일부 국가와 사람들은 여전히 ​​제가 "문학 영어"라고 부르는 표현을 사용합니다.

안타까운 점은 미국 어휘가 주로 구어체(속어)와 미국 현대 관용구에 기반을 두고 있다는 것입니다. 그 결과, 세련된 표현을 구사하는 데 어려움을 겪는 사람들이 많습니다.

— 아프리카 연구 데스크 (@MightiJamie) 2024년 4월 10일

이로써 다음과 같은 질문이 제기됩니다. AI 기반 탐지기와 콘텐츠 생성기는 지역별 영어에 특화되어야 할까요? 아니면 이러한 모든 작문 도구와 탐지기는 더 이상 필요하지 않을까요?

AI 탐지기는 정확도가 떨어집니다

AI 탐지기는 일관성이 없는 언어적 특징에 의존합니다. 인간의 언어는 본질적으로 다양하며, 스타일, 방언, 관용구가 매우 폭넓게 존재합니다. AI가 생성한 텍스트 역시 이러한 다양성 내에 속할 수 있어 탐지기가 정확하게 작동하기 어렵습니다.

인공지능이 생성한 텍스트의 약 20%가 이러한 탐지 시스템을 통과하면서 감지되지 않아 인공지능 탐지기의 신뢰성을 저해합니다. 마찬가지로, 사람이 작성한 텍스트의 약 25%도 인공지능으로 잘못 분류됩니다.

의 한 사용자는 Quora 있습니다 . 제가 학과 지도교수의 요청으로 AI를 편집 및 문법 교정 도구로 사용했을 뿐인데 말이죠. 이미 출판된 글에 담긴 단어, 개념, 그리고 제 삶의 경험은 모두 제 것입니다. 어떻게 해야 할까요?"라고 질문했습니다.

의 뉴스 기사에서 CryptopolitanAI 생성기가 도널드 트럼프의 발언 중 일부를 감지했습니다. 그는 "저는 암호화폐 기업과 이 새롭고 급성장하는 산업과 관련된 모든 것에 대해 매우 긍정적이고 열린 마음을 가지고 있습니다."라고 말했습니다. ⁤AI는 어떻게 음성에 적용되는 걸까요? 사람의 마음속에 있는 걸까요? 표현된 생각 속에 있는 걸까요?

데이비드 베일리의 다른 발언은 다음과 같습니다. "우리는 스스로를 방어하기 위해 총력을 기울일 것입니다. 우리는 트럼프에게 투표하는 것이 아니라 바이든에게 반대하는 것입니다. 이에 대한 책임은 오직 바이든에게만 있습니다."

관련 기사: 트럼프의 암호화폐 캠페인 - 알아야 할 모든 것

2023년, OpenAI는 홍보 블로그 게시물을 통해 일부 교사들이 ChatGPT를 교육 보조 도구로 활용하는 방법을 소개하며 교육자들을 위한 팁을 제공했습니다.  

"AI 탐지기는 효과가 있나요?"라는 제목의 FAQ 섹션에서 OpenAI는 사람이 "간단히 말해서, 그렇지 않습니다. OpenAI를 포함한 일부 업체들이 AI 생성 콘텐츠를 탐지한다고 주장하는 도구를 출시했지만, AI 생성 콘텐츠와 사람이 생성한 콘텐츠를 확실하게 구분해내는 도구는 아직 없습니다."라고 밝혔습니다. 콘텐츠와 AI 콘텐츠를 구분하는 문제는 여전히 남아 있습니다. 이제 문제는 앞으로 어떻게 나아가야 하는가입니다.

플로렌스 무차이의 Cryptopolitan 보도