AI 봇을 차단할 가치가 있나요, 아니면 허용해야 하나요?

오픈AI가 챗봇 ChatGPT를 출시했을 때, 그들은 GPTBot이라는 웹 크롤러도 공개했습니다. 그들의 크롤러는 구글 봇과 동일한 방식으로 작동하며, 웹사이트 소유자는 robots.txt를 통해 이러한 크롤러가 웹사이트에 접근하는 것을 차단할 수 있습니다. 오픈AI도 봇 차단에 대한 접근 권한을 제공했습니다. Originality.AI의 연구에 따르면 약 48%의 웹사이트가 그들의 접근을 차단한 것으로 알려져 있습니다. 이후 구글은 검색 봇에 영향을 주지 않으면서 웹마스터가 AI 도구를 차단할 수 있도록 별도의 Google-Extended 봇을 발표했습니다.

AI 봇에 대한 지속적인 논쟁

ChatGPT 출시 이후 일부 AI 봇의 사이트 접근을 차단하는 이 능력을 어떻게 활용할지에 대한 지속적인 논쟁이 있어 왔습니다. SEO 업계 관계자와 거의 모든 온라인 출판사 사이에서 이 주제에 대한 논의가 지속됨에 따라 모든 이해관계자를 만족시킬 수 있는 하나의 정답은 없습니다. 이는 이러한 봇을 차단하는 것이 실제적인 영향을 미칠지에 대한 2차적인 주제인데, 많은 서비스가 허가 없이 웹을 탐색하고 있기 때문입니다.

이러한 사고방식을 지지하는 한 가지 점은 오픈AI의 크롤러가 상당히 늦게 발표되었다는 것입니다. 회사는 널리 이용 가능한 웹 데이터를 소싱하기 위해 다양한 방법을 사용했을 수 있습니다. 우려되는 점은 회사들이 서로 다른 이름과 벤더 아래 봇을 사용할 수 있으므로, 새로운 봇을 차단하더라도 이미 소화된 데이터를 되돌릴 수 없다는 것입니다.

이는 귀하의 데이터, 즉 인간이 생성한 데이터로 훈련된 이러한 봇들로부터 콘텐츠를 대량 생산하는 스크래퍼 사이트들이 콘텐츠를 만들어내는 것을 더 쉽게 만들었습니다. 

그들은 당신의 콘텐츠를 원합니다

일부 사람들은 AI 회사들이 당신의 콘텐츠를 원하지 않으며, 언젠가 당신과 동등한 수준의 콘텐츠를 생산할 수 있게 될 것이라고 믿을 수 있지만, 이는 콘텐츠 중심 사이트에게 매우 우려되는 문제입니다. 또한 우리가 알고 있는 SEO 관행의 효과성과 관련성에 대한 의문을 제기합니다. 또 다른 문제는 동일한 콘텐츠를 생산하는 사이트가 대량으로 등장할 것이라는 점입니다. 따라서 이러한 점들을 고려할 때, 일부 산업은 대규모로 AI 봇을 차단할 수 있습니다. 

오픈AI가 챗봇 ChatGPT를 출시했을 때, 그들은 GPTBot이라는 웹 크롤러도 공개했습니다. 그들의 크롤러는 구글 봇과 동일한 방식으로 작동하며, 웹사이트 소유자는 robots.txt를 통해 이러한 크롤러가 웹사이트에 접근하는 것을 차단할 수 있습니다. 오픈AI도 봇 차단에 대한 접근 권한을 제공했습니다. 약 48%의 웹사이트가…

찬성론자들은 이것이 챗봇이 콘텐츠를 작성하는 것뿐만 아니라, 만약 그들이 당신의 브랜드 이름을 언급한다면, 그 상황은 당신의 브랜드를 더 넓은 청중에게 노출시킨다고 말합니다. 또한, 그들의 접근을 차단하면 미래의 대규모 언어 모델(LLM) 학습에 당신의 생각이 포함되는 것을 방지할 수 있습니다. 그러나 이러한 모델들이 미래에 브랜드와 제품의 복제본을 생성하여 딥페이크 문제를 증폭시킬 가능성이 높습니다.

AI 모델이 SEO와 구글에 미치는 위협은 직접적인 경쟁자가 아니라 대량으로 콘텐츠를 생성하는 데 사용할 수 있는 도구로서의 위협입니다. 이는 검색에 혼란을 일으켜 구글과 빙(Bing)에 문제를 야기하며, 기존 인간 콘텐츠가 소비했을 트래픽을 소비하게 됩니다. 따라서 봇을 허용할지 여부는 최종적으로 블로그나 출판사로서의 개인이 자신의 우선순위를 분석한 후 선호도에 따라 결정됩니다.