- 대부분의 주요 뉴스 사이트는 제한 없는 AI 접근을 허용합니다.
- GPTBot은 조사된 웹사이트의 절반 이상에 의해 차단되었습니다.
- 출판사마다 AI 크롤러 차단 전략이 다릅니다.
Press Gazette가 실시한 분석에 따르면, 영어권 상위 100개 뉴스 웹사이트 중 상당수가 AI 웹 크롤러가 콘텐츠에 접근하는 것을 차단하기 위한 조치를 사용하고 있는 것으로 드러났습니다. 조사된 106개 사이트 중 45개는 AI 크롤러를 전혀 차단하지 않은 것으로 나타났으며, 나머지 사이트는 다양한 수준의 제한을 보였습니다.
상위 뉴스 웹사이트 중 AI 크롤러 차단 동향에 대한 통찰
조사된 뉴스 웹사이트 중 10개 중 4개 이상은 모든 AI 웹 크롤러가 방해 없이 콘텐츠를 스크랩하는 것을 허용합니다. 그러나 61개 사이트는 적어도 하나의 AI 봇을 차단하는 등 상당한 비율의 제한을 가합니다. 주목할 만한 점은 32개 사이트가 두 개 이상의 AI 크롤러를 차단하는 한 걸음 더 나아가며, 일부 사이트는 최대 5개까지 차단하기도 한다는 것입니다.
차단된 AI 크롤러 목록의 선두는 OpenAI가 개발한 ChatGPT와 관련된 웹 크롤러인 GPTBot입니다. 조사된 웹사이트의 56.6%가 GPTBot의 접근을 금지합니다. 그 뒤를 이어 Google의 AI 챗봇 Gemini(이전 이름 Bard)가 자주 사용하는 또 다른 자주 차단되는 크롤러인 Google-Extended가 뒤를 잇습니다.
또한 Claude-Web, Claudebot, anthropic-ai, Cohere-ai, Perplexity-ai, Seekr, Meltwater와 같은 크롤러들은 조사된 웹사이트들 사이에서 다양한 정도의 제한을 받고 있습니다.
주요 제외 및 포함 사항
일부 주요 출판사는 특정 AI 봇을 차단하는 반면, 다른 곳들은 어떠한 제한도 가하지 않기로 선택합니다. 예를 들어 Mirror, Express, Manchester Evening News, Ladbible, Unilad, 그리고 Lebedev 소유의 Independent와 Evening Standard 산하 출판사들은 AI 크롤러에 대한 무제한 접근을 허용합니다.
마찬가지로 Politico는 Axel Springer의 자회사로서 OpenAI와의 콘텐츠 공유 계약으로 인해 AI 크롤러의 접근을 허용합니다.
놀라운 움직임으로, IAC 소유의 Daily Beast는 회사의 의장이 AI 회사들에게 출판사에게 보상을 주장함에도 불구하고 어떤 AI 봇도 차단하지 않습니다. 반면, GB News, Newsmax, Zero Hedge, Breitbart, Fox News를 포함한 일부 정치적으로 보수적인 웹사이트들은 Murdoch 소유의 산하 출판사들과는 달리 AI 크롤러를 차단하지 않기로 선택합니다.
함의 및 향후 전망
뉴스 출판사들이 AI 크롤러 접근에 대해 채택한 다양한 접근 방식은 디지털 시대의 콘텐츠 사용 및 지적 재산권과 관련된 지속적인 논쟁을 반영합니다. 일부 출판사는 무단 사용으로부터 콘텐츠를 보호하고 배포에 대한 통제를 유지하기 위해 콘텐츠에 대한 엄격한 통제를 선택하는 반면, 다른 곳들은 콘텐츠 유통과 혁신을 위해 AI 회사들과의 접근성과 협력을 우선시합니다.
지속적으로 진화하는 환경 속에서 출판사, AI 회사, 규제 기관들이 기술, 콘텐츠 소유권, 사용자 프라이버시의 복잡한 교차점을 어떻게 헤쳐나갈지는 아직 미지수입니다.
뉴스 출판사들이 AI 크롤러 접근에 대해 내린 결정은 뉴스의 유통뿐만 아니라 디지털 콘텐츠 사용 및 지적 재산권과 관련된 더 넓은 담론에도 영향을 미칩니다.
암호화폐 뉴스를 단순히 읽는 것을 넘어, 이해하세요. 뉴스레터에 구독하세요. 무료입니다.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com 본 페이지에 제공된 정보를 기반으로 한 투자에 대해 당사는 어떠한 책임도 지지 않습니다. 투자 결정을 내리기 전에 독립적인 조사 및/또는 자격을 갖춘 전문가와의 상담을 강력히 권장합니다.
Emman Omwanda
에마누엘 옴완다의 전문 분야는 암호화폐 시장으로, 기본 분석과 기술 분석을 모두 포괄합니다. 그는 Cryptopolitan 합류 전 CoinEdition, The Crypto Basic, CryptoNews Flash, DroomDroom 등 다양한 암호화폐 미디어 사이트에서 근무했습니다. 케냐 케냐타 대학교에서 수학 및 컴퓨터 과학 학사 (BSc.) 학위를 취득했으며, 현재 커뮤니케이션 및 미디어 연구 학사 과정을 마지막 해에 재학 중입니다.
