Wikipedia는 LLM 학습 비용을 상쇄하기 위해 더 많은 AI 라이선싱 거래를 모색한다

Wikipedia 공동 설립자 Jimmy Wales 는 온라인 백과사전의 비영리 기관은 AI 기업들과 더 많은 라이선싱 거래를 모색하고 있다. 이러한 움직임은 일련의 자동화된 AI 봇들이 Wikipedia의 인프라에 부담을 주고 있는 시기에 이루어지고 있다. 

Wales explained AI 기업들이 플랫폼의 무료로 이용 가능한 지식을 사용하여 대규모 언어 모델(LLM)을 학습한다고 설명했다. 그는 고수요 AI 봇들이 사이트 전체를 크롤링하며, 플랫폼에 상당한 기술적 및 재정적 부담을 부과한다고 지적했다.

“AI 봇들 …은 사이트 전체를 가로지르기 때문에 … 우리는 더 많은 서버, 더 많은 RAM 및 캐싱을 위한 메모리가 필요하며, 이는 우리에게 불균형적인 비용을 발생시킵니다.”라고 그는 설명했다.

Wikipedia는 AI 봇들의 지속 불가능한 부담을 경고한다

Wikipedia는 AI 봇들의 지속 불가능한 부담에 대해 경고한다. 서버에 대한 이러한 요구 사항은 최근 몇 달 동안 급격히 증가했다. 자동화된 봇들은 트래픽을 증가시켰다 — 특히 멀티미디어 다운로드를 통해 — 비영리 단체가 인프라에 대규모로 투자해야 하는 결과를 초래했다. 

이 트래픽의 대부분은 인간이 아닌 모델을 학습시키기 위해 콘텐츠를 스크래핑하는 AI 기업들에서 기원한다. 2022년 재단은 핵심 콘텐츠에 대한 대량 접근을 제공하고 플랫폼 사용자에게 필요한 도구와 리소스를 제공하기 위해 유료 상업 제품인 Wikimedia Enterprise를 출시했다. 

이 서비스는 위키백과의 실시간 사이트 부하를 줄이는 동시에 AI 개발자에게 모델 고도화에 필요한 데이터를 제공하도록 설계되었습니다. 월스는 AI 기업들이 공개 사이트를 스크래핑하는 대신 이 유료 옵션을 사용할 것을 촉구했습니다. 

월스는 기업들이 이러한 기술적 조치를 준수하지 않을 경우, AI 크롤링 제어 와 같은 도구를 통해 봇 접근을 제한할 수 있다고 밝혔습니다. 개인 데이터를 사용자가 법적 자유와 투명한 지식의 권리 범위를 넘어선 규모로 보유하게 된 데 대해 공공(또는 상업적) AI가 어떤 역할을 해야 하는지, 그리고 민간 및 공공 부문이 무엇을 필요로 하는지에 대해 기업들과 논쟁이 있습니다. 

AI 처리의 더 큰 비중이 대규모 공개 데이터셋에 크게 의존함에 따라, 위키백과는 이 데이터를 유지하는 주체와 기업 모두에게 보상을 제공하는 공정한 접근 방식을 주장하고 있습니다. 위키백과도 중립성 유지에 대한 자신의 헌법에서 자유롭지 않습니다. 

전 세계적 갈등 속에서 위키백과는 중립성을 유지하는 데 어려움을 겪고 있습니다

위키백과 웹사이트는 위키미디어 재단이 운영하는 비영리实体로서 20년 이상 운영되어 왔습니다. 그 모델은 콘텐츠를 생성, 편집, 교정하는 데 시간을 보내는 전 세계 자원봉사 편집자들의 군단에 기반을 두고 있습니다.

공개 기부는 누구나, 어디에서나, 사용 가능한 자금이나 지리적 범위에 관계없이 접근할 수 있도록 하는 데 중요한 요소입니다. 잘 알려진 국제 웹사이트이자 백과사전인 위키백과는 또한 중립성 유지 에 다른 출처들 사이에서 어려움을 겪어 왔습니다. 

고위험 정치 문제, 사회 운동, 전 세계 무력 충돌 등을 상세히 보도할 때 문제는 더욱 심각해집니다. 월스는 대부분의 위키백과 편집자 자체가 활동가가 아니라고 말했지만, 개인의 선호도가 주제 다루는 방식에 영향을 미칠 수 있다고 밝혔습니다. 

그러나 그는 편집자들이 극심한 압력 하에서도 공정성과 정확성이라는 위키백과의 가치를 어찌어찌 달성하는 경향이 있다고 믿는다고 덧붙였습니다. 플랫폼의 중립성은 커뮤니티 정책, 동료 검토 방법, 분쟁 해결 절차 등 여러 측면에서 더욱 분명히 드러납니다. 

동시에 자원봉사자와 기부금에 대한 지속적인 의존은 시스템의 약점을 부각시킵니다. 또한 AI 기업들의 콘텐츠 사용 증가 등 새로운 압력에 직면하면서, 플랫폼의 핵심 가치(중립성, 정확성, 무료 접근)가 변함없이 유지되도록 하는 것이 점점 더 중요해지고 있습니다.