구글과 하버드, AI 훈련을 위한 100만 권의 퍼블릭 도메인 책 데이터셋 공개

하버드 대학교는 구글과 협력하여 차세대 AI 훈련을 위한 100만 권의 퍼블릭 도메인 책 데이터셋을 출시했습니다.

이 책들은 장르, 언어, 디킨스, 단테, 셰익스피어 등 다양한 저자들을 아우르며, 이들은 나이가 많아 더 이상 저작권 보호를 받지 않습니다. 새로운 데이터셋 이니셔티브는 AI 학습 데이터가 본질적으로 비싸고 깊은 자금력을 갖춘 기술 기업에 가장 적합하다는 시점에 등장했습니다.

하버드가 기술 거인들로부터 재정적 지원을 받다

TechCrunch 기고에 따르면, 이 이니셔티브는 하버드의 Institutional Data Initiative(IDI)가 주도합니다. 이 이니셔티브는 Google의 오랜 책 스캔 프로젝트 Google Books에서 파생된 책들을 포함합니다.

데이터셋에 포함된 다른 책들에는 체코 수학 교과서와 웨일스어ポケット 사전이 포함됩니다.

대학은 3월 IDI를 예고하며 AI를 위한 '신뢰할 수 있는 합법적 데이터 통로'를 만들 계획임을 명확히 밝혔습니다. 이후 목요일의 공식 발족까지 큰 소식이 없었고, 기술 거인인 마이크로소프트와 오픈AI가 이 프로젝트에 자금을 지원했습니다.

이 데이터셋은 실리콘밸리만의 전유물이 아니며, IDI는 이를 연구소부터 대규모 언어 모델을 훈련하고자 하는 AI 스타트업에 이르기까지 모든 사람에게 개방했습니다.

IDI 집행 이사 Greg Leppert는 말했듯이 데이터셋을 누구나 열람할 수 있게 함으로써, AI 훈련 비용이 여전히 높고 중소기업에게는 부담스러우며 거액의 예산을 가진 기업들의 전유물이 되는 시대에 경쟁 환경을 평준화하기 위한 것이라고 말했습니다.

Leppert는 데이터셋이 “엄격하게 검토되었다”고 덧붙였으며, Fudzilla에 따르면 이는 Bard가 정말로 제거되고 방해가 되지 않도록 누군가가 확인했다는 것을 의미할 것입니다.

하버드 데이터셋에는 더 많은 자원이 필요합니다

레퍼트는 이 데이터셋의 잠재력을 오픈 소스 운영 체제인 리눅스에 비유했습니다. 레퍼트는 하버드 데이터셋의 성공이 여러 변수에 달려 있다고 말하며, 이 이니셔티브가 도전하고자 하는 동일한 깊은 자금력을 갖춘 기업들로부터 더 많은 자원, 전문 지식, 그리고 '마법의 한 방'이 필요할 것이라고 말했습니다.

데이터셋에 포함된 백만 권의 책은 구글 북스 프로그램의 일환으로 스캔되었습니다. Fudzilla는 이 이니셔티브를 구글이 모든 책을 스캔하려는 야망이 기이해 보였던 시절의 디지털 시간 캡슐로 묘사합니다.

그러나 레퍼트는 프로젝트의 잠재적 용도에 대해 낙관적이며, 이것이 차고에서 시작한 스타트업부터 기업 거대 기업에 이르기까지 모든 사람의 AI 모델 훈련을 돕는 보물 창고가 될 수 있다고 제안합니다.

일부는 이 이니셔티브를 AI의 민주화에서 혁명적인 도약으로 칭찬하는 반면, Fudzilla는 이제 몇 테라바이트의 서버 공간만 있으면 야심 찬 신생 기업도 차기 ChatGPT 개발 경쟁에서 경쟁할 수 있게 된다는 점을 일부가 미묘한 수단으로 볼 수 있다고 평합니다.

그러나 그들은 시장에서 입지를 다지고 경쟁하기 위해 더 많은 자원이 필요합니다. ChatGPT는 2022년 11월 출시되자마자 즉각적인 성공을 거두었고, 이는 전 세계적으로 생성형 AI 모델 개발 경쟁을 촉발했습니다. 그러나 이러한 모델의 개발은 이를 완벽하게 만들기 위한 데이터에 대한 갈증을 불러일으켰고, 이 더 많은 데이터에 대한 욕구는 도난 없이 얼마나 많은 정보를 얻을 수 있는지에 대한 문제를 야기했습니다.

지금까지 월스트리트 저널과 뉴욕 타임스와 같은 출판사들은 무단으로 자신의 데이터를 사용한 것에 대해 OpenAI 및 Perplexity를 소송했습니다.