AI 학습 모델의 숨겨진 비용

현대 AI 모델을 구축하고 지원하려면 상당한 투자가 필요하며, 이는 수억 달러를 초과할 수 있다. 추정에 따르면 이러한 비용은 가까운 장래에 10억 달러에 달할 수 있다. 

이 지출은 주로 엔비디아 GPU와 같은 컴퓨팅 파워 사용으로 인해 발생하며, 각 GPU의 비용은 약 30,000달러이며 효율성을 위해 수천 개가 필요할 수 있다. 연구자들은 이러한 모델을 개발하는 데 사용되는 학습 데이터 세트의 질과 양이 매우 중요하다고 밝혔다. 

업계 리더들이 AI 개발의 충격적인 비용을 공개하다

오픈AI의 제임스 벡터에 따르면, 모델의 성능은 모델의 설계나 아키텍처가 아닌 학습 데이터의 함수이다. 그의 주장은 대규모 데이터 세트로 학습된 모델이 동일한 결과를 달성한다는 것이다. 따라서 데이터는 AI 기술 발전의 핵심이다.

AI 기업 앤트로픽의 CEO인 다리오 아모데이는 인 굿 컴퍼니(In Good Company) 팟캐스트에서 이러한 도전 과제의 재무적 측면에 대한 통찰력을 공유했다. 그는 차트GPT-4와 같은 현재 모델의 학습 비용은 약 1억 달러로 추정되며, 향후 모델 학습에는 몇 년 내에 100억~1,000억 달러가 필요할 수 있다고 밝혔다.

생성형 AI 모델과 대형 기업이 만든 모델들은 본질적으로 통계 모델이다. 따라서 가장 확률이 높은 결과를 예측하기 위해 많은 예시를 사용한다. AI2(Allen Institute for AI)의 카일 로는 학습 환경이 일관될 때 성능 향상이 주로 데이터에 기인한다고 말한다. 

데이터 집중화는 윤리적 및 접근성 문제를 제기한다

양질의 데이터를 확보하는 데 드는 높은 비용으로 인해 AI 개발은 선진국에 있는 몇몇 대형 기업들의 전유물이 되고 있다. 이러한 자원의 집적은 AI 기술의 가용성과 오용 가능성에 대한 우려의 원인이 되고 있다. 

오픈AI만 해도 데이터 라이선스에 수억 달러를 지출했으며, 메타는 데이터 접근을 위해 출판사 매수를 고려한 바 있다. AI 학습 데이터 시장은 확대될 것으로 예상되며, 데이터 브로커들이 이러한 기회를 통해 이익을 볼 가능성이 높다. 

의심스러운 데이터 획득 관행으로 인해 문제가 발생한다. 보고서에 따르면 많은 회사들이 해당 콘텐츠 소유자의 허가 없이 대량의 콘텐츠를 캡처했으며, 일부 회사는 다양한 플랫폼에서 데이터를 수집하고 사용자에게 보상을 지급하지 않는다. 앞서 보고한 바와 같이, 오픈AI는 GPT-4를 미세 조정하기 위해 위스퍼(Whisper) 오디오 전사 모델을 사용하여 100만 시간 이상의 유튜브 동영상을 전사했다.

기관들은 오픈 액세스 AI 학습 데이터셋 생성을 위해 노력하고 있다

데이터 획득 경쟁이 일부 문제를 제기함에 따라, 학습 데이터셋을 공개적으로 이용 가능하게 만들기 위해 독립적인 주체들의 노력이 필요하다. 엘루테어AI(EleutherAI)와 허깅 페이스(Hugging Face)와 같은 일부 조직들은 AI 개발을 위해 대중에게 공개되는 대규모 데이터셋을 생성하고 있다.

월스트리트저널(WSJ)은 최근 데이터 확보 문제를 해결하기 위한 두 가지 잠재적 전략인 생성형 데이터 생성과 커리큘럼 학습을 강조했습니다. 합성 데이터는 AI 모델 자체를 사용하여 생성되며, 커리큘럼 학습은 모델이 적은 데이터로도 연결고리를 만들 수 있도록 고품질 데이터를 구조화된 방식으로 제공하려는 시도입니다. 그러나 두 방법 모두 아직 개발 단계에 있으며 그 효용성은 검증되지 않았습니다.