OpenAI는 챗봇 ChatGPT를 출시하면서 GPTBot이라는 웹 크롤러도 함께 공개했습니다. 이 크롤러는 구글 봇과 동일한 방식으로 작동하며, 웹사이트 소유자는 robots.txt 파일을 통해 해당 크롤러의 웹사이트 접근을 차단할 수 있습니다. OpenAI는 자체 봇 차단 기능도 제공했습니다. Originality.AI의 연구에 따르면 약 48%의 웹사이트가 OpenAI 봇의 접근을 차단한 것으로 나타났습니다. 이후 구글도 웹마스터가 검색 봇에는 영향을 주지 않고 AI 도구를 차단할 수 있도록 Google-Extended 봇을 별도로 발표했습니다.
인공지능 봇에 대한 논쟁이 계속되고 있습니다
ChatGPT 출시 이후 AI 봇의 사이트 접근을 차단하는 기능을 어떻게 활용할지에 대한 논쟁이 끊이지 않고 있습니다. SEO 업계 관계자들과 거의 모든 온라인 매체에서 이 문제에 대한 논의가 계속되고 있기 때문에 모든 이해관계자를 만족시킬 수 있는 단 하나의 해답은 없습니다. 게다가 이러한 봇을 차단하는 것이 실질적인 효과를 가져올지에 대한 논의는 부차적인 문제입니다. 이미 많은 서비스들이 허가 없이 웹을 탐색하고 있기 때문입니다.
이러한 관점을 뒷받침하는 한 가지 근거는 OpenAI의 크롤러가 상당히 늦게 발표되었다는 점입니다. 이 회사는 웹상에서 널리 구할 수 있는 데이터를 수집하기 위해 다양한 방법을 사용했을 가능성이 있습니다. 문제는 기업들이 서로 다른 이름과 다른 업체명을 사용하여 봇을 운영할 수 있기 때문에, 새로운 봇을 차단하더라도 이미 수집된 데이터는 되찾을 수 없다는 것입니다.
이로 인해 스크래퍼 사이트들이 사용자가 직접 생성한 데이터를 기반으로 학습된 봇을 이용해 콘텐츠를 더욱 쉽게 만들어낼 수 있게 되었습니다.
그들은 당신의 콘텐츠를 원합니다
일부에서는 AI 기업들이 자신들의 콘텐츠를 원하지 않으며, 언젠가는 여러분과 같은 수준의 콘텐츠를 생산할 수 있게 될 것이라고 생각할 수 있습니다. 이는 콘텐츠 중심 웹사이트에 매우 심각한 문제입니다. 또한, 기존 SEO 전략의 효과와 타당성에 대한 의문도 제기됩니다. 더 나아가, 수많은 웹사이트들이 동일한 콘텐츠를 생산하게 될 가능성도 있습니다. 이러한 점들을 고려할 때, 일부 산업에서는 AI 봇을 대규모로 차단하는 조치를 취할 수도 있습니다.
ChatGPT와 같은 봇에 대한 접근을 허용하는 것을 찬성하는 전문가들은 해당 서비스가 검색 엔진이 아니라 코드 작성, 번역, 콘텐츠 제작 등을 위한 도우미로 사용된다는 점을 근거로 제시합니다. 또한 Bing이 ChatGPT를 통합한 이후 시장 점유율이 1%밖에 증가하지 않았다는 점도 지적합니다. 현재 Google은 자사의 AI 봇이 별개라고 주장하지만, Google이 향후 검색 결과에 AI를 통합할 계획인 만큼 미래에는 어떻게 될지 알 수 없습니다.
자체가 중요한 것이 아니라 챗봇, 챗봇이 브랜드 이름을 언급하면 더 많은 사람들에게 브랜드를 알릴 수 있다는 점이 핵심이라고 주장합니다. 또한, 챗봇의 접근을 차단하면 미래의 학습 모델(LLM) 학습에 브랜드의 아이디어가 반영되는 것을 막을 수 있습니다. 하지만 미래에는 이러한 모델들이 브랜드와 제품의 복제품을 만들어낼 가능성이 높으며tron이는 결국 딥페이크 문제를 더욱 악화시킬 수 있다는 우려도 제기되고 있습니다.
AI 모델이 SEO와 구글에 가하는 위협은 직접적인 경쟁자로서가 아니라, 대규모 콘텐츠 생성을 위한 도구로서 작용한다는 점입니다. 이는 검색 엔진에 혼란을 야기할 수 있는데, 구글과 빙에 문제를 일으키고 기존의 인간 콘텐츠가때문입니다. 결국, 봇 허용 여부는 블로거 개인이나 기업 출판사가 각자의 우선순위를 분석한 후 내리는 결정에 달려 있습니다.
