웹사이트, LLM 훈련을 위해 빅테크 기업의 데이터 사용 차단

최근 중요한 변화가 일어나고 있습니다. 주요 웹사이트들이 구글과 오픈AI 같은 기술 거대 기업들의 콘텐츠 보호를 시작하고 있습니다. 이 조치는 웹 출판사와 검색 엔진 간의 오랜 관계를 변화시킵니다. 이 변화는 인공지능(AI) 기술의 부상에 의해 촉발되었습니다.

웹사이트의 콘텐츠 보호

전통적으로 웹사이트는 `robots.txt`라는 단순하지만 강력한 도구를 사용하여 검색 엔진이 자신의 콘텐츠와 상호작용하는 방식을 관리해 왔습니다. 이 arrangement은 웹사이트들이 검색 엔진이 유도하는 트래픽의 혜택을 받을 수 있게 했습니다. 그러나 고급 AI 모델들은 이 관계에 새로운 복잡성을 도입했습니다. 오픈AI와 구글과 같은 기업들은 방대한 양의 온라인 콘텐츠를 사용하여 AI 시스템을 훈련해 왔습니다. 이러한 AI들은 이제 사용자의 쿼리에 직접 답변할 수 있어, 사용자가 원래 웹사이트를 방문할 필요가 줄어들었습니다. 이는 검색 엔진에서 이러한 사이트로의 트래픽 흐름을 방해합니다.

이에 대응하여 구글은 Google-Extended라는 새로운 프로토콜을 도입했습니다. 이 프로토콜은 웹사이트들이 자신의 콘텐츠가 AI 모델 훈련에 사용되는 것을 차단할 수 있게 합니다. 이 프로토콜은 작년 9월에 출시되었으며, 상위 1,000개 웹사이트 중 약 10%가 채택했습니다. 여기에는 뉴욕 타임스와 CNN과 같은 유명 매체들이 포함됩니다.

채택률 비교 및 전망

구글-익스텐디드(Google-Extended)는 웹사이트가 자신의 콘텐츠에 대한 통제권을 갖는 것으로 가는 한 걸음이지만, 그 채택률은 오픈AI의 GPTBot과 같은 다른 도구들에 비해 뒤처져 있습니다. 이러한 주저함은 향후 AI 기반 검색 결과에서의 가시성에 대한 우려에서 비롯될 수 있습니다. 콘텐츠에 대한 접근을 차단하는 웹사이트는 AI 모델에서 간과될 위험이 있습니다. 그들은 관련 쿼리에 대한 답변에 포함되지 못할 잠재적 기회를 놓칠 수 있습니다.

뉴욕 타임스의 상황은 특히 시사적입니다. 이 출판사는 오픈AI와 저작권 분쟁을 벌여 왔습니다. 그 이후로 구글-익스텐디드를 사용하여 AI 모델이 자신의 콘텐츠에 대한 훈련 접근을 차단하는 단호한 입장을 취했습니다.  

구글의 실험적 검색 생성 경험(SGE)은 정보가 사용자에게 선별되고 제시되는 방식의 잠재적 변화를 시사합니다. 이는 전통적인 검색 방법보다 AI 생성 콘텐츠를 강조합니다. 기술 기업들과 웹 출판사들이 내릴 결정들은 디지털 생태계를 형성할 것이며, AI 시대에 정보가 어떻게 접근되고 소비될지에 영향을 미칠 것입니다.