AI 모델 훈련에 숨겨진 비용

최신 AI 모델을 구축하고 지원하는 데에는 수억 달러에 달하는 상당한 투자가 필요합니다. 추정에 따르면 이러한 비용은 가까운 미래에 10억 달러에 이를 수도 있습니다. 

이러한 지출은 주로 엔비디아 GPU와 같은 컴퓨팅 파워에 기인하는데, 이러한 GPU는 개당 약 3만 달러에 달하며 효율적인 사용을 위해서는 수천 달러가 더 필요할 수 있습니다. 연구원들은 이러한 모델 개발에 사용되는 훈련 데이터 세트의 품질과 양이 매우 중요하다고 지적했습니다. 

업계 리더들이 인공지능 개발에 드는 엄청난 비용을 공개했습니다

OpenAI의 제임스 베트커에 따르면, 모델의 성능은 모델의 설계나 아키텍처보다는 훈련 데이터의 함수입니다. 그는 주장합니다 . 따라서 데이터는 AI 기술 발전의 핵심입니다. 

인공지능 기업 앤트로픽 AI의 CEO인 다리오 아모데이는 팟캐스트 '인 굿 컴퍼니'에서 이러한 과제의 재정적 측면에 대한 자신의 견해를 밝혔습니다. 그는 ChatGPT-4와 같은 현재 모델을 학습하는 데 약 1억 달러가 소요되는 것으로 추산되며, 미래 모델 학습에는 향후 몇 년 안에 100억~1,000억 달러가 필요할 수 있다고 언급했습니다.

생성형 AI 모델, 특히 대기업에서 개발한 모델은 본질적으로 통계 모델입니다. 따라서 이러한 모델은 많은 예시를 사용하여 가장 가능성이 높은 결과를 예측합니다. 앨런 인공지능 연구소(AI2)의 카일 로는 성능 향상의 대부분은 데이터, 특히 일관된 학습 환경 덕분이라고 말합니다. 

데이터 중앙집중화는 윤리적 문제와 접근성 문제를 야기한다

고품질 데이터를 확보하는 데 드는 높은 비용 때문에 인공지능 개발은 선진국의 소수 대기업들의 전유물이 되고 있습니다. 이러한 자원의 집중은 인공지능 기술의 가용성과 오용 가능성에 대한 우려를 낳고 있습니다. 

OpenAI는 데이터 라이선스에만 수억 달러를 투자했으며, Meta는 데이터 접근을 위해 퍼블리셔 인수를 고려하기도 했습니다. AI 학습 데이터 시장은 확대될 것으로 예상되며, 데이터 브로커들은 이러한 기회로부터 이익을 얻을 가능성이 높습니다. 

데이터 수집 방식이 문제가 되는 경우가 있습니다. 보고서에 따르면 많은 기업들이 콘텐츠 소유자의 허가 없이 대량의 콘텐츠를 수집했으며, 일부 기업은 여러 플랫폼의 데이터를 활용하면서 사용자에게 보상을 제공하지 않고 있습니다. 앞서 보도한 바와 같이, 오픈아이언(OpenAI)은 자사의 위스퍼(Whisper) 오디오 전사 모델을 사용하여 100만 시간 이상의 유튜브 영상을 전사하고 이를 GPT-4에 적용했습니다.

여러 기관들이 누구나 접근할 수 있는 AI 학습 데이터셋을 만들기 위해 노력하고 있습니다

데이터 확보 경쟁이 여러 문제를 야기하는 가운데,dent 주체들이 훈련 데이터셋을 공개적으로 활용할 수 있도록 노력해야 합니다. EleutherAI와 Hugging Face 같은 단체들은 인공지능 개발을 위해 대규모 데이터셋을 구축하여 공개하고 있습니다.

최근 월스트리트 저널은 데이터 수집 문제를 해결할 수 있는 두 가지 잠재적 전략, 즉 생성형 데이터 생성과 커리큘럼 학습을 소개했습니다. 생성형 데이터는 AI 모델 자체를 사용하여 생성되는 반면, 커리큘럼 학습은 모델에 구조화된 방식으로 고품질 데이터를 제공하여 데이터가 부족하더라도 연관성을 파악할 수 있도록 하는 것을 목표로 합니다. 그러나 두 방법 모두 아직 개발 단계에 있으며 그 효과는 아직 검증되지 않았습니다.