AI 탐지기가 작동을 멈추다: 미국 헌법 사례 연구

인공지능(AI)은 특히 글쓰기 콘텐츠 생성 분야에서 현대 생활을 장악했습니다. 모든 것이 재미있고 즐거운 일일 수 있지만, AI 콘텐츠를 감지하는 데 있어 부정확성은 우려할 만한 수준입니다. 더 나쁜 것은 AI 감지기 인간이 작성한 콘텐츠를 GPT 생성으로 표시하는 경우입니다. 사례: 미국 헌법.

또한 읽기 :Y Combinator의 폴 그레이엄, “Delve”가 포함된 텍스트가 AI에 의해 작성되었다는 주장으로 비판받다

미국 헌법은 1787년에 작성되어 1788년에 비준되었으며, 1789년부터 운영되어 왔습니다. 이는 세계에서 가장 오래 지속된 정부 헌장입니다. 헌법은 첫 번째 자동차가 발명되기 약 100년 전부터 존재했습니다. 그런데도 한 AI 감지기는 이를 97.97% AI 생성으로 표시했습니다.

AI 감지기, 미국 헌법을 비인간적으로 표시

2023년에는 인공지능이 작성한 콘텐츠가 증가했습니다. 곧 시장 개발자들은 AI 콘텐츠 비율을 알려주는 감지기를 만들 기회를 잡았습니다. 이는 좋은 진전이어야 했지만, 현실은 그렇지 않았습니다.

한 AI 감지기는 미국 헌법을 AI 콘텐츠로 표시했습니다. 그 비율은? 최종 97.97%입니다. “인공지능”이라는 용어는 1950년부터 1956년 사이 AI의 탄생기에 만들어져 인기를 얻었습니다. 그렇다면 AI가 어떻게 자신의 발명보다 163년 더 오래된 문서를 작성할 수 있었을까요?

1950년, 앨런 튜링은 “컴퓨터 기계와 지능”이라는 제목의 저널 기사를 발표하며, 기계 지능을 테스트하는 방법인 ‘모방 게임’을 제안했습니다. 이 기사는 오늘날 우리가 사는 세계의 시작을 알렸습니다.

1952년, 아서 새뮤얼이라는 컴퓨터 과학자가 체스를 플레이하기 위한 프로그램을 개발했으며, 이는 게임을 독립적으로 학습한 최초의 사례였습니다. 곧이어 1955년, 존 매카시는 다트머스에서 “인공지능”에 대한 워크숍을 열었으며, 이는 이 단어의 첫 번째 사용이었습니다.

AI 감지기에는 한계가 있습니다

AI 감지기는 AI가 생성한 텍스트가 인간의 글쓰기를 모방하기 때문에 한계가 있습니다. 이러한 감지기는 기계가 어떻게 작성해야 하는지 가르친 바로 그 인간들에 의해 훈련되었습니다. 그렇다면 그들의 AI 감지기는 어떻게 작동하며, 정확도는 얼마나 될까요? 또 다른 AI 감지기는 미국 헌법에 대해 1%의 AI 콘텐츠 점수를 매겼습니다. 이 1%는 어디에서 온 것일까요?

자, 여기에 격차가 있습니다. 일부 AI 감지기는 AI가 일반적으로 사용하지만 미국인들에게는 흔하지 않은 ‘delve, tapestry, utilize, numerous’ 등의 특정 단어를 찾아냅니다. 

그러나 영국 식민지 역사가 있는 국가 출신의 사람들에게는 이러한 단어가 구어체와 문어체 모두에서 일반적으로 사용됩니다.

지난달, Y Combinator 공동 창립자 폴 그레이엄이 X(구 트위터)에서 ChatGPT 텍스트 귀속 이론을 제기한 후 비판을 받았습니다. 그레이엄은 어떤 사람이 프로젝트에 대해 보낸 냉담한 이메일 제안을 게시했으며, 이 이메일에 ‘delve’라는 단어가 포함되어 있어 AI가 작성한 글이라고 결론지었습니다.

한 X 사용자는 “영국의 식민지 과거를 가진 국가에서 영어를 배운 사람들은 – 이것이 우리가 영어를 배운 방식과 정확히 같습니다 […] ‘Delve’는 우리가 일상적으로 사용하는 정상적인 단어입니다.” 라고 말했습니다. 다른 사용자는 이것이 미국의 문제라고 말했습니다.

일부 국가와 사람들은 제가 ‘문학 영어’라고 묘사하는 것을 여전히 사용합니다.

불행하게도 미국 어휘는 주로 구어체(슬랭이라고 부르는 것)와 미국의 현대 관용구에 기반을 두고 있어, 정교한 사용의 정도가…

— 아프리카 연구 데스크 (@MightiJamie) 4 월 10, 2024

이것은 AI 감지기와 콘텐츠 생성기가 지역 영어에 특화되어야 하는지, 아니면 이러한 모든 글쓰기 도구와 감지기를 폐지해야 하는지라는 질문을 던집니다.

AI 감지기는 부정확합니다

AI 감지기는 일관성 없는 언어적 특징에 의존합니다. 인간의 언어는 본질적으로 가변적이며, 다양한 스타일, 방언, 관용구를 포함합니다. AI가 생성한 텍스트는 이러한 변이 범위 내에 있을 수 있어, 감지기가 정확성을 유지하기 어렵습니다.

AI가 생성한 텍스트의 약 20%가 이러한 감지 시스템을 탐지되지 않고 통과하여 AI 감지기의 신뢰성을 떨어뜨립니다. 마찬가지로, 인간이 작성한 텍스트의 약 25%가 AI 생성으로 잘못 표시됩니다.

Quora의 한 사용자는 “AI 감지기가 제 작업을 100% AI 생성으로 감지했습니다. 학문적 조언자의 요청에 따라 편집 및 문법 도구로 무지하게 사용했기 때문입니다. 이미 출판된 작품의 단어, 개념 및 삶의 경험은 모두 제 것입니다. 어떻게 해야 할까요?”라고 썼습니다.

많은 사람들이 이 문제에 대해 불만을 표현했습니다. 최근 Cryptopolitan의 뉴스 기사에서 AI 생성기가 도널드 트럼프가 말한 단어를 플래그로 지정했습니다. 그는 이렇게 말했습니다. “저는 암호화폐 회사들과 이 새롭고 급성장하는 산업과 관련된 모든 것에 대해 매우 긍정적이고 개방적인 태도를 가지고 있습니다.” ⁤AI가 구어체에 어떻게 추가되는 것일까요? 사람의 마음속에 있는 것일까요? 표현된 사고에 있는 것일까요?

다른 콘텐츠는 데이비드 배일리(David Bailey)의 것에서 비롯되었습니다: “⁤우리는 자신을 방어하기 위해 동원할 것입니다. ⁤⁤우리는 트럼프를 지지하기 위해 투표하는 것이 아니라, 바이든에 반대하기 위해 투표하는 것입니다. ⁤⁤그것에 대해 비난해야 할 사람은 바이든뿐입니다.”

함께 읽기: 트럼프 암호화폐 캠페인 – 알아야 할 모든 것

2023년, 오픈AI는 일부 교사가 ChatGPT를 교육 보조 도구로 사용하는 방법을 보여주는 홍보 블로그 게시물을 통해 교육자를 위한 팁을 게시했습니다.  

“AI 감지기는 작동합니까?”라는 제목의 FAQ 섹션에서 오픈AI는 별도의 글에서, “간단히 말해, 그렇지 않습니다. 일부(오픈AI 포함)는 AI 생성 콘텐츠를 감지한다고 주장하는 도구를 출시했지만, 이러한 도구 중 어느 것도 AI 생성 콘텐츠와 인간 생성 콘텐츠를 reliably(신뢰할 수 있게) 구분하는 것이 입증되지 않았습니다.” 인간 콘텐츠와 AI 콘텐츠를 구분하는 문제는 여전히 남아 있습니다. 앞으로 무엇을 해야 할까요?

Florence Muchai의 Cryptopolitan 보도