AI 기업들이 학습 데이터로 프리미엄 출판사를 의존한다는 새로운 연구 결과

오픈AI, 구글, 메타, 앤트로픽을 포함한 주요 기술 기업들은 대형 언어 모델(LLM)을 학습시키기 위해 저명한 출판사로부터 고품질의 저작권이 있는 자료를 의존합니다. 

이는 Ziff Davis( CNET, IGN, Mashable 의 모회사) 가 수행한 연구에 따르면고품질 콘텐츠가 이러한 AI 모델 학습에서 핵심적인 역할을 한다는 것을 보여줍니다. 이 연구는 AI 기업들이 모델 성능을 향상시키기 위해 권위 있는 출처를 훈련 데이터셋으로 선호하지만, 이러한 출처의 기여는 종종 간과된다고 나타냈습니다.

연구에서 지프 데이비스의 AI 변호사 조지 우코손과 최고기술책임자 조이 포르투나는 AI 기업들이 높은 검색 엔진 순위를 가진 권위 있는 웹사이트의 순위에 따라 학습 데이터를 선택한다고 주장했습니다. 고품질이고 인기 있는 웹사이트는 좋은 평판을 가지고 있기 때문에 모델 개선을 위해 선택되었습니다. 이 전략은 연구에 따르면 AI 개발자가 언어 모델을 미세 조정할 수 있게 합니다.

지프 데이비스는 액셀 스프링거, 퓨처 PLC, 허스트, 뉴스 코프, 뉴욕 타임스 등 최상위 콘텐츠 제공자들이 학습 데이터셋 개발에 기여했다고 지적했습니다. 특히, 오픈AI의 GPT-3 생성에 사용된 OpenWebText2의 12.04%가 이러한 신뢰할 수 있는 출판사에서 비롯된 것으로 확인되었습니다.

마크 저커버그도 AI 학습에서 콘텐츠 사용에 대한 ongoing한 논평에 참여했습니다. The Verge와의 최근 인터뷰 에서 저커버그는 AI를 위한 데이터 스크래핑이 어렵다는 점을 인정하면서도 개별 크리에이터나 출판사의 콘텐츠가 그렇게 큰 영향을 미치지 않을 수 있다고 지적했습니다. 그는 “개별 크리에이터나 출판사는 자신의 특정 콘텐츠가 이 큰 그림에서 차지하는 가치를 과대평가하는 경향이 있다고 생각합니다.” 라고 밝혔습니다.

출판사들, AI 기업들을 상대로 소송 제기

학습 데이터 소스에 대한 비밀주의는 출판사와 소비자 모두에게 우려를 불러일으키고 있습니다. 뉴욕 타임스와 월스트리트 저널은 최근 AI 기업들을 상대로 소송을 제기하며, 그들의 콘텐츠를 사용함으로써 저작권법을 위반했다고 주장했습니다. 

오픈AI가 파이낸셜 타임스와 DotDash Meredith과 같은 미디어 조직으로부터 콘텐츠 라이선스를 얻기 위한 노력을 진전시킨 반면, 여러 AI 기업들은 여전히 적절한 라이선스 없이 작업을 진행하고 있습니다. 보고서는 “주요 LLM 개발자들은 더 이상 과거처럼 학습 데이터를 공개하지 않습니다.”라고 추가로 명시합니다.

AI 기업들의 가치가 상승하는 동안, 기술 거인과 전통적인 미디어 회사 간의 격차는 여전히 큽니다. 추정 가치가 각각 $2.2조 달러와 $1.5조 달러인 구글과 메타와 같은 기술 거인들은 생성형 AI의 최전선에 있으며, 오픈AI와 앤트로픽과 같은 스타트업은 각각 $1570억 달러와 $400억 달러로 평가받고 있습니다. 

 한편, 출판사들은 여전히 해고와 구조 조정을 겪고 있으며, 이는 점점 더 AI에 의해 정의되는 환경에 적응하는 데 따른 재정적 압력의 증거입니다. 사용자 생성 콘텐츠 및 AI 기반 콘텐츠와의 경쟁으로 인해 수많은 출판사들이 비용과 인력 감축 측면에서 도전에 직면해 있습니다.