- 클라우드플레어가 이제 기본적으로 AI 크롤러를 차단하여 웹사이트 소유자가 콘텐츠 접근 및 사용 방식을 더 잘 통제할 수 있도록 합니다.
- 이번 조치는 AI 기업이 데이터에 접근하기 위해 출판사에 보상을 해야 하는 '크롤링 당 결제' 시장을 도입합니다.
- 오픈AI의 AI 봇 등이 콘텐츠를 광범위하게 스크래핑하면서도 거의 트래픽을 돌려주지 않았기 때문에 주요 출판사들이 이러한 전환을 지지합니다.
전 세계 웹 트래픽의 약 20%를 라우팅하는 인터넷 인프라 기업 Cloudflare는 기본값으로 인공지능(AI) 크롤러를 차단하기 시작할 것이라고 발표했다.
화요일 발효되는 이 변경은 출판사들이 자신의 데이터에 대한 더 많은 통제권과 보상을 요구한 후, AI 회사가 웹에 호스팅된 콘텐츠에 접근하는 방식을 변경한다.
콘텐츠 전송 네트워크(CDN)는 웹사이트에 데이터를 더 가까운 사용자에게 캐싱하고 제공하도록 돕는다. 이 새로운 정책으로 Cloudflare 서비스에 새로 가입하는 모든 도메인은 언제, 그리고 AI 봇 콘텐츠에 접근할지 여부를 결정하라는 프롬프트를 받거나, 스크래퍼를 완전히 차단할 수 있다.
Cloudflare, AI 접근 제어 도구 출시
이 변경은 출판사에게 데이터에 대한 더 많은 통제권을 제공하려는 Cloudflare의 이전 조치에 추가된다. 작년 회사는 모든 알려진 AI 봇을 차단하는 원클릭 솔루션과 크롤러 활동을 모니터링하기 위한 대시보드를 도입했다. 사이트 소유자는 이 도구를 사용하여 AI 학습, 검색 목적 또는 기타 용도를 위해 데이터를 스크래핑하는 크롤러를 구분한다.
화요일 발표는 이러한 보호 조치를 공식화하고 기본값으로 적용한다. “AI 크롤러는 제한 없이 콘텐츠를 스크래핑해 왔다. 우리의 목표는 AI 회사가 혁신을할 수 있도록 돕는 동시에 권력을 창작자의 손으로 되돌리는 것이다,”라고 Cloudflare CEO 매튜 프린스는 오늘 발표된 성명에서 말했다.
회사 기록에 따르면, 이 이니셔티브의 기반인 Cloudflare의 Pay per Crawl 시스템은 AI 회사와 콘텐츠 소유자가 접근당 보상에 대해 합의할 수 있는 시장이다.
양쪽 당사자는 Cloudflare 계정을 가져야 하며, 설정이 완료되면 웹 크롤링 활동에 대한 가격과 조건을 협상할 수 있다. Cloudflare는 거래에서 중개자 역할을 하며 AI 회사에 요금을 부과하고 수익을 출판사에 전달한다.
AI 개발자들, 제한된 웹사이트 접근에 한탄
ChatGPT를 개발한 마이크로소프트 지원 AI 기업 OpenAI를 포함한 여러 AI 개발자들이 프로그램에 참여하기를 거부했다. 최근 공개 성명에서 이 회사는 Cloudflare가 출판사와 AI 개발자 사이에 새로운 중개자를 삽입했다고 비난했다.
OpenAI는 웹사이트 운영자가 크롤러 접근을 제어할 수 있는 robots.txt 프로토콜을 존중해 온 역사를 언급했으며, 사이트 선호도를 존중한다고 고집했다.
6월 분석에서 Cloudflare는 스크래핑 빈도와 트래픽 추천 간 격차가 있다고 주장했다. 예를 들어 Google의 크롤러는 한 번의 방문당 웹사이트에 14번 접근했다. 반면 OpenAI의 봇은 한 번의 추천당 사이트를 17,000번 스크래핑했다.
영국 기반 기술 변호사 매튜 홀먼은 CNBC에 AI 크롤러가 사생활을 침해하고 사용자 경험에 잠재적으로 해로울 수 있다고 말했다.
“그들은 웹사이트를 압도하고 사용자 경험에 상당한 영향을 미친 것으로 비난받아 왔다,” 라고 는. 홀먼은 Cloudflare의 시스템이 의도대로 작동한다면 AI 채팅봇이 대규모 웹 데이터를 수집하고 학습하는 능력을 약화시킬 수 있다고 덧붙였다.
출판사들, Cloudflare 지지
주요 미디어 기업들은 디지털 콘텐츠에 대한 통제권을 되찾으려는 Cloudflare의 노력을 지지하고 있다. TIME, AP 통신, 콘데 나스트, 더 애틀랜틱, ADWEEK, 포춘을 포함한 출판사들은 모두 기본값으로 AI 봇을 차단하기로 동의했다.
미디어 outlets는 트래픽과 광고 수익을 대가로 Google과 같은 플랫폼으로부터 데이터 스크래핑을 받아왔다. 하지만 현재의 AI 기반 생태계에는 그러한 상호성이 없다. 많은 이들에게 AI 플랫폼인 ChatGPT 와 Claude는 원천 출처에 의미 있는 참여나 수익 없이 콘텐츠를 소비한다.
Cloudflare는 접근을 원하는 AI 크롤러가 자신의 신원, 목적 및 크롤링 행위를 공개하도록 밀어붙이기 위해 개발자와 계속 협력할 것이라고 말했다.
“원본 콘텐츠는 인터넷을 지난 세기 최고의 발명품 중 하나로 만드는 것이다,”라고 CEO 매튜 프린스는 말했다. “우리는 그것을 보호하기 위해 함께 모아야 한다.”
암호화폐 뉴스를 단순히 읽는 것을 넘어, 이해하세요. 뉴스레터에 구독하세요. 무료입니다.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com 본 페이지에 제공된 정보를 바탕으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 투자 결정을 내리기 전에 반드시 독립적인 조사나 자격을 갖춘 전문가의 상담을 강력히 권장합니다.
플로렌스 무차이
플로렌스는 지난 6년 동안 암호화폐, 게임, 기술 및 AI 뉴스를 다루어 왔습니다. 메루 과학기술대학교에서 컴퓨터학을, MMUST에서 재난 관리 및 국제 외교를 전공하며 언어, 관찰력 및 기술적 역량을 충분히 갖추었습니다. 플로렌스는 VAP 그룹에서 근무했으며 여러 암호화폐 미디어 하우스의 편집자로 활동했습니다.
