기업들이 GPTBot, CCBot 등 AI 웹 크롤러 차단, 데이터 가용성에 영향

AI 모델을 연료로 공급하기 위한 정확한 데이터에 대한 수요가 계속 증가함에 따라, 인터넷상에서 격렬한 전쟁이 전개되고 있습니다. 기업들은 AI 웹 크롤러로부터 자사 데이터를 보호하기 위한 조치를 취하고 있으며, OpenAI의 GPTBot과 Common Crawl의 CCBot은 증가하는 반대에 직면해 있습니다. 최근 데이터에 따르면, 250개 이상의 주요 웹사이트가 이제 GPTBot을 차단하고 있으며, 가장 인기 있는 웹사이트의 거의 14%도 CCBot을 차단하여 AI 훈련에 필수적인 정보의 가용성에 영향을 미치고 있습니다.

AI 웹 크롤러에 대한 격렬한 전쟁

데이터 기반 의사결정과 인공지능이 지배하는 시대에 웹 크롤링 봇은 필수 도구이자 상당한 논란의 원천이 되었습니다. 지난달 OpenAI는 decades-old robots.txt 프로토콜을 존중하도록 설계된 GPTBot을 도입했으며, 이를 통해 웹사이트는 스크래핑을 원치 않는다는 신호를 보낼 수 있게 되었습니다. 초기에는 아마존과 Tumblr와 같은 인터넷 거대 기업들을 포함해 상위 1,000개 웹사이트 중 약 70개가 GPTBot에 대한 차단 조치를 시행했습니다.

Originality.ai의 최근 조사 결과는 지형의 상당한 변화를 보여줍니다. 단 3주 만에 GPTBot을 차단하는 주요 웹사이트의 수가 250개 이상으로 급증했습니다. 이 포괄적인 목록에는 Pinterest, Vimeo, GrubHub, Indeed, Apartments.com, The Guardian, Live Science, USA Today, NPR, CBS News, NBC News, CNBC, The New Yorker, People가 포함되며, Hearst와 Conde Nast가 출판한 모든 타이틀도 포함됩니다. 심지어 weather.com도 자신의 콘텐츠를 AI 크롤러로부터 보호하는 데 동참했습니다.

데이터 접근성에 대한 도전

이러한 웹 크롤러 차단 물결의 배경에는 OpenAI의 GPT-4와 같은 강력한 생성형 AI 모델을 훈련시키는 데 정확한 데이터가 중요한 역할을 한다는 사실이 있습니다. 이러한 모델은 인터넷에서 sourced된 방대한 양의 텍스트 데이터에 크게 의존하지만, 그 대부분은 저작권의 적용을 받거나 특정 주체에 의해 소유되고 있습니다. 이러한 관행에 대한 인식이 최근 급증하면서 수많은 법적 분쟁과 새로운 정부 규제의 가능성이 대두되었습니다.

동시에 많은 기업들이 사용자 생성 콘텐츠와 온라인 활동을 보호하기 위한 조치를 취하고 있습니다. 서비스 약관과 사용자 정책 업데이트를 통해 기술 기업들은 AI 프로젝트 및 훈련 목적으로 사용자 데이터에 접근하고 활용할 권리를 주장하고 있습니다. 이러한 접근 방식의 변화는 데이터 보호와 주권에 대한 더 넓은 트렌드를 나타내며, 기업들은 특히 AI 기반 엔티티에 의해 자신의 데이터가 어떻게 사용되는지를 통제하려는 경향이 강해지고 있습니다.

CCBot도 차단 대상

OpenAI와 GPT-4 모델과의 연관성으로 인해 상당한 주목을 받은 GPTBot과는 달리, Common Crawl이 사용하는 또 다른 웹 크롤러인 CCBot도 상당한 저항에 직면해 있습니다. 유럽에 기반을 둔 조직인 Common Crawl은 Meta의 Llama와 같은 대형 언어 모델을 위한 훈련 데이터로 사용하기 위해 저작권이 있는 콘텐츠를 포함한 방대한 양의 웹 데이터를 수집하고 조직하는 데 수년간을 보냈습니다.

9월 말 기준 Originality.ai의 데이터에 따르면, 가장 인기 있는 1,000개 웹사이트 중 거의 14%가 CCBot에 대한 차단 조치를 시행했습니다. 이 목록에는 Amazon, Vimeo, Masterclass, Kelly Blue Book, The New York Times, The New Yorker, The Atlantic 등이 포함됩니다. 주목할 만한 점은 CCBot을 차단하는 많은 웹사이트가 GPTBot에 대한 제한도 확장하고 있다는 것으로, 이는 소속과 관계없이 AI 웹 크롤러로부터 데이터를 보호하려는 성장하는 트렌드를 보여줍니다.

자사 데이터를 보호하려는 기업들과 훈련 자료를 추구하는 AI 웹 크롤러 간의 전쟁은 계속 격화되고 있습니다. GPTBot과 CCBot을 차단하는 웹사이트의 수가 증가하는 것은 AI 기반 세상에서 데이터 접근성과 통제력의 중요성이 커지고 있음을 강조합니다. 법적 및 규제적 감시가 강화됨에 따라, 데이터 활용과 데이터 보호 사이의 균형은 기업과 AI 개발자 모두에게 중요한 과제로 남아 있습니다.