중국의 딥시크(DeepSeek)는 자사의 주력 AI 시스템인 R1을 단 29만 4천 달러에 훈련시켰다고 주장했는데, 이는 미국 경쟁업체들이 지출한 것으로 추정되는 금액의 극히 일부에 불과하다.
이번 주 네이처(Nature)지에 게재된 논문에서 자세한 내용이 공개되었으며, 이는 글로벌 인공지능 경쟁에서 베이징의 야심에 대한 논쟁에 더욱 불을 지필 것으로 보입니다. 항저우에 본사를 둔 이 회사는 추론 중심 모델을 512개의 엔비디아 H800 칩을 사용하여 훈련시켰다고 밝혔습니다. 이 하드웨어는 미국이 더욱 강력한 H100 및 A100 프로세서의 판매를 금지한 후 중국 시장을 위해 특별히 설계되었습니다.
창립자인 량원펑이 공동 저자로 참여한 이 논문은 회사가 이러한 비용을 공개한 첫 번째 사례입니다.
DeepSeek은 미국 모델 비용의 극히 일부만을 사용합니다
같은 기존 거대 기업들의 입지를 위협할 수 있다는 우려로 기술주 매도세가 나타났습니다 엔비디아(Nvidia)와 오픈AI(OpenAI).
하지만 량과 그의 팀은 이후로 간헐적인 제품 업데이트 외에는 모습을 드러내지 않고 조용히 지내왔습니다.
보도된 29만 4천 달러라는 가격표는 미국 업체들의 예상치와는 극명한 대조를 이룬다.
오픈AI의 최고경영자 샘 알트만은 2023년에 "기초 모델 훈련에는 1억 달러보다 훨씬 더 많은 비용이 든다"고 말했지만, 구체적인 비용 내역은 공개하지 않았다.
훈련하는 것은 대규모 언어 모델을 강력한 칩들을 장시간 가동하는 것을 포함하며, 이 과정에서 텍스트와 코드를 처리하는 동안 엄청난 양의 전력이 소모됩니다. 업계 관계자들은 이러한 프로젝트에 드는 비용이 수천만 달러에서 수억 달러에 이를 것으로 오랫동안 예상해 왔습니다.
이러한 가정은 현재 도전을 받고 있으며, 추가 문서를 통해 DeepSeek은 A100 칩을 보유하고 있으며 초기 개발 단계에서 이를 사용한 후 본격적인 학습을 H800 클러스터로 옮겼다고 인정했습니다. 이 기술 회사에 따르면, 모델은 최종 학습 단계에서 80시간 동안 실행되었습니다.
엔비디아는 중국 스타트업 딥시크가 자사의 H800 프로세서만 사용할 수 있다고 주장했지만, 미국 당국은 여전히 회의적인 반응을 보이고 있습니다. 몇 달 전, 미국 소식통은 로이터 통신 딥시크가 중국 수출 금지 품목인 H100 칩을 불법적으로 대량 보유하고 있다고 전했습니다.
혁신을 면밀히 살펴보자
R1은 낮은 훈련 비용뿐만 아니라 공식적인 동료 평가를 거친 최초의 주요 모델일 가능성이 있다는 점에서 주목을 받고 있습니다.
"이는 매우 환영할 만한dent이며, 공유라는 규범이 없다면 위험을 평가하기가 매우 어려워집니다."라고 네이처 논문을 검토한 허깅 페이스의 머신러닝 엔지니어 루이스 턴스톨은 말했습니다.
검토 과정에서 DeepSeek은 모델 학습 방식과 안전장치 등 기술적 세부 사항을 명확히 설명해야 했습니다.
오하이오 주립대학교의 인공지능 연구원인 환 썬은 "엄격한 동료 검토 과정을 거치는 것은 모델의 타당성과 유용성을 검증하는 데 확실히 도움이 된다"고 말했다.
딥시크의 핵심적인 혁신은 순수 강화 학습 방식을. 논문에 따르면, 사람이 선별한 추론 예시에 의존하는 대신, 모델은 문제를 정확하게 해결할 때 보상을 받고 점차 자체적인 문제 해결 전략을 개발했습니다.
회사 측은 이러한 시행착오 시스템 덕분에 R1이 인간의 전략을 모방하지 않고도 작동 방식을 검증할 수 있었다고 밝혔습니다.
"이 모델은 상당한 영향력을 미쳤습니다."라고 썬은 덧붙였다. "2025년까지 이루어질 거의 모든 강화 학습 연구는 직간접적으로 R1에서 영감을 받았을 가능성이 큽니다."
DeepSeek은 표절 의혹을 부인했습니다
R1 출시 직후, DeepSeek이 경쟁사, 특히 OpenAI의 결과물을 활용하여 학습 속도를 높였다는 추측이 난무했지만, DeepSeek은 이러한 의혹을 단호히 부인했습니다.
딥시크는 심사위원들과의 서신 교환에서 R1이 오픈AI가 생성한 추론 예시를 복사하지 않았다고 주장했습니다. 그러나 대부분의 대규모 언어 모델과 마찬가지로 R1은 인터넷 텍스트를 기반으로 학습되었습니다. 이는 AI가 생성한 콘텐츠가 불가피하게 포함되었음을 의미하며, 딥시크의 설명은 일부 심사위원들을 설득했습니다.
"R1이 OpenAI 예제를 사용해서 학습되지 않았다고 100% 확신할 수는 없습니다. 하지만 다른 연구소들의 재현 시도를 보면 강화 학습 자체만으로도 충분히 좋은 성능을 보여주는 것 같습니다."라고 턴스톨은 말했습니다.
DeepSeek에 과 같이 추론 능력이 요구되는 작업에 탁월하도록 설계되었습니다matic. 미국 기업들이 개발한 대부분의 폐쇄형 시스템과는 달리, R1은 연구자들이 무료로 다운로드할 수 있는 오픈웨이트 모델로 공개되었습니다. AI 커뮤니티 사이트인 Hugging Face이미 1천만 회 이상 다운로드되었습니다.
이 회사는 R1의 기반이 되는 모델 개발에 약 6백만 달러를 투자했지만, 이를 포함하더라도 경쟁사 제품에 비해 비용이 훨씬 저렴합니다. 업계 관계자들에게 R1은 이러한 점에서trac선택지로 여겨집니다.
썬 교수와 그의 동료들은 최근 과학 데이터 처리 작업에 이 시스템을 적용하여 테스트한 결과, 정확도는 최고 수준은 아니지만 비용 대비 성능 면에서는 가장 우수한 시스템 중 하나임을 발견했습니다.
