주요 뉴스 웹사이트들이 AI 크롤러를 차단하고 있는가? 최신 조사 결과 공개

Press Gazette의 분석에 따르면, 영어권 상위 100대 뉴스 웹사이트 중 상당수가 AI 웹 크롤러의 콘텐츠 접근을 차단하는 조치를 취하고 있는 것으로 나타났습니다. 조사 대상 106개 사이트 중 45개는 AI 크롤러 차단이 전혀 되지 않았으며, 나머지 사이트들은 다양한 수준의 제한을 두고 있었습니다.

주요 뉴스 웹사이트들의 AI 크롤러 차단 추세에 대한 분석

조사 대상 뉴스 웹사이트 중 40% 이상이 모든 AI 웹 크롤러가 아무런 제약 없이 콘텐츠를 수집하도록 허용하고 있습니다. 그러나 상당수(61개 사이트)는 최소 하나 이상의 AI 봇을 차단하는 제한을 두고 있습니다. 특히 32개 사이트는 두 개 이상의 AI 크롤러를 차단하고 있으며, 일부 사이트는 최대 다섯 개까지 차단하고 있습니다.

차단된 AI 크롤러 목록에서 가장 눈에 띄는 것은 OpenAI가 개발한 ChatGPT와 관련된 웹 크롤러인 GPTBot입니다. 조사 대상 웹사이트의 무려 56.6%가 GPTBot의 접근을 차단했습니다. 그 뒤를 이어 구글의 AI 챗봇 제미니(이전 이름: 바드)에서 사용하는 또 다른 크롤러인 Google-Extended가 자주 차단되는 것으로 나타났습니다.

 또한 Claude-Web, Claudebot, anthropic-ai, Cohere-ai, Perplexity-ai, Seekr, Meltwater와 같은 크롤러는 조사 대상 웹사이트 전반에 걸쳐 다양한 수준의 제한에 직면합니다.

주목할 만한 제외 및 포함 사항

일부 주요 언론사들은 특정 AI 봇을 차단하는 반면, 어떤 언론사들은 아무런 제한도 두지 않습니다. 예를 들어, Mirror, Express, Manchester Evening News, Ladbible, Unilad, 그리고 레베데프 소유의dent 와 Evening Standard 산하 언론사들은 AI 크롤러의 무제한 접근을 허용하고 있습니다.

 마찬가지로, 악셀 슈프링거의 자회사인 폴리티코는 오픈AI와의 콘텐츠 공유 계약에 따라 AI 크롤러에 대한 접근을 허용하고 있습니다.

놀랍게도 IAC 소유의 데일리 비스트는 AI 봇 차단을 하지 않고 있는데, 이는 회사 회장이 AI 기업들이 언론사에 보상해야 한다고 주장해 온 것과 상반되는 행보입니다. 반면 GB 뉴스, 뉴스맥스, 제로 헤지, 브라이트바트, 폭스 뉴스 등 정치적으로 보수적인 성향의 웹사이트들은 AI 크롤러를 차단하지 않기로 결정하며, 머독 소유의 다른 언론사들과는 다른 입장을 보이고 있습니다.

시사점 및 향후 전망

뉴스 발행사들이 AI 크롤러 접근에 대해 다양한 접근 방식을 취하는 것은 디지털 시대의 콘텐츠 사용 및 지적 재산권에 대한 지속적인 논쟁을 반영합니다. 일부 발행사는 무단 사용을 방지하고 배포를 통제하기 위해 콘텐츠에 대한 엄격한 통제를 선택하는 반면, 다른 발행사는 콘텐츠 확산 및 혁신을 위해 AI 기업과의 접근성 및 협력을 우선시합니다.

환경이 계속해서 변화함에 따라 출판사, AI 기업 및 규제 기관이 기술, 콘텐츠 소유권 및 사용자 개인 정보 보호라는 복잡한 교차점에서 어떻게 대처할지 귀추가 주목됩니다. 

뉴스 발행사가 AI 크롤러 접근에 관해 내리는 결정은 뉴스 배포에 영향을 미칠 뿐만 아니라 디지털 콘텐츠 사용 및 지적 재산권과 관련된 더 넓은 논의에도 영향을 미칩니다.