DeepSeek, AI 모델 훈련 비용으로 $294,000 공개

중국의 DeepSeek는 R1로 알려진 자사의 플래그십 AI 시스템이 단 294,000달러에 훈련되었다고 주장했으며, 이는 미국 경쟁사들이 지출하는 것으로 알려진 금액의 극히 일부에 불과합니다.

이 세부 사항은 이번 주 네이처(Nature)에 게재된 동료 검토 논문에 게시되었으며, 이는 베이징의 글로벌 인공지능 경쟁에서의 야망에 대한 논쟁을 더욱 부추길 가능성이 있습니다. 항저우에 기반을 둔 이 회사는 추론 중점 모델이 512개의 Nvidia H800 칩을 사용하여 훈련되었다고 말했습니다. 이 하드웨어는 미국이 더 강력한 H100 및 A100 프로세서의 판매를 금지한 후 중국을 위해 특별히 설계되었습니다.

창립자 리앙 원펑이 공동 저자로 참여한 이 논문은 해당 기업이 이러한 비용을 공개한 첫 번째 사례입니다.

DeepSeek, 미국 모델 비용의 극히 일부를 사용

1월, DeepSeek의 저렴한 AI 도구 출시가 글로벌 시장을 불안정하게 만들었고, 이는 Nvidia와 OpenAI와 같은 기존 거대 기업들을 압도할 수 있다는 우려로 인해 기술주 매도 사태를 초래했습니다. Nvidia와 OpenAI

그러나 리앙과 그의 팀은 sporadic한 제품 업데이트 이후로만 모습을 드러냈기 때문에 낮은 프로필을 유지해 왔습니다.

보고된 294,000달러의 가격표는 미국 기업들의 추정치와 극명한 대조를 이룹니다.

OpenAI의 최고 경영자 샘 알트만은 2023년 “기반 모델 훈련 비용은 1억 달러보다 훨씬 더 많이 든다”라고 말했습니다. 그러나 그는 구체적인 내역을 제공하지 않았습니다.

대규모 언어 모델을 훈련하려면 강력한 칩 뱅크를 장시간 실행해야 하며, 텍스트와 코드를 처리하는 동안 엄청난 양의 전력을 소비합니다. 업계 관찰자들은 오랫동안 이러한 프로젝트의 비용이 수천만 달러에서 수억 달러에 이를 것이라고 가정해 왔습니다.

이러한 가정은 이제 도전받고 있으며, 보충 문서에서 DeepSeek는 A100 칩을 보유하고 있으며 초기 개발 단계에서 사용했다가 전체 규모 훈련을 H800 클러스터로 옮겼다고 인정했습니다. 이 기술 기업에 따르면, 모델은 최종 훈련 단계 동안 80시간 동안 실행되었습니다.

Nvidia는 중국 스타트업이 H800 프로세서에만 접근할 수 있다고 고집해 왔지만, 미국 관리들은 여전히 회의적입니다. 몇 달 전, 미국 소식통은 Reuters에 DeepSeek가 중국에 수출 금지된 H100 칩을 대량으로 불법적으로 보유하고 있다고 말했습니다.

혁신을 현미경으로 관찰하기

R1은 낮은 훈련 비용뿐만 아니라 공식 동료 검토를 받은 첫 번째 주요 모델일 수 있다는 점에서도 주목을 받고 있습니다.

“이것은 매우 환영할 만한 선례이며, 우리가 공유하는 이러한 규범을 갖지 않는다면 위험을 평가하는 것이 매우 어려워집니다,”라고 Nature 논문을 검토한 Hugging Face의 머신러닝 엔지니어인 루이스 턴스탈은 말했습니다.

검토 과정에서 DeepSeek는 모델의 학습 방식과 안전 장치 등 기술적 세부 사항을 명확히 했습니다.

“엄격한 동료 검토(peer-review) 과정을 거치는 것은 모델의 타당성과 유용성을 검증하는 데 확실히 도움이 됩니다.”라고 오하이오 주립대학교의 AI 연구원인 후안 쑨(Huan Sun)은 말했습니다.

DeepSeek의 주요 돌파구는 순수 강화 학습 접근법을 사용하는 것이었습니다. 인간이 선별한 추론 예시에 의존하는 대신, 논문에 따르면 모델은 문제를 올바르게 해결하는 것에 대해 보상을 받았고 점차 자체 문제 해결 전략을 개발했습니다.

이 회사는 이 시행착오(trial-and-error) 시스템이 R1이 인간의 전술을 복사하지 않고도 자체 작동 방식을 검증할 수 있게 했다고 밝혔습니다.

“이 모델은 상당한 영향을 미쳤습니다.”라고 쑨은 덧붙였습니다. “2025년의 거의 모든 강화 학습(reinforcement learning) 연구는 어쨌든 R1에서 영감을 받았을 것입니다.”

DeepSeek, 복사 주장 부인

R1이 출시된 직후, DeepSeek가 훈련 속도를 높이기 위해 특히 OpenAI의 경쟁사 산출물을 의존했다는 추측이 돌았으나, 회사는 이제 그 주장을 단호히 부인했습니다.

심사관과의 서신 교환에서 DeepSeek는 R1이 OpenAI가 생성한 추론 예시를 복사하지 않았다고 고집했습니다. 그러나 대부분의 대규모 언어 모델과 마찬가지로 인터넷 텍스트로 훈련되었으므로, 일부 AI 생성 콘텐츠가 포함될 수밖에 없었으며, 이 설명은 일부 심사관들을 설득했습니다.

“R1이 OpenAI 예시로 훈련되지 않았다고 100% 확신할 수는 없습니다. 그러나 다른 연구실들의 재현 시도들은 강화 학습만으로도 충분히 효과적임을 시사합니다.”라고 튠스톨(Tunstall)은 말했습니다.

DeepSeek는 R1이 코딩 및 수학과 같은 추론 중점 작업에서 뛰어나도록 구축되었다고 말합니다. 미국 기업들이 개발한 대부분의 폐쇄형 시스템과 달리, 이는 연구자들이 자유롭게 다운로드할 수 있는 오픈 웨이트 모델로 출시되었습니다. AI 커뮤니티 사이트 Hugging Face에서 이미 1,000만 번 이상 다운로드되었습니다.

이 회사는 R1의 기반이 되는 기본 모델 개발에 약 600만 달러를 지출했지만, 이를 더해도 경쟁사들과 관련된 금액에 훨씬 못 미칩니다. 많은 업계 관계자들에게 이는 R1을 매력적으로 만듭니다.

쑨과 동료들은 최근 과학 데이터 작업에서 이 시스템을 테스트했으며, 가장 정확하지는 않았지만 비용 대비 성능 측면에서는 최상위권에 있음을 발견했습니다.