ByteDance 창립자, 미국이 중국 연구소를 겨냥하는 가운데 증류(distillation) 거부
Claudio Schwarz이 Unsplash에 업로드한 사진.
- ByteDance 설립자 장이밍은 회사의 AI 모델에 지식 증류를 사용하지 않기로 결정했습니다.
- 이 입장은 백악관이 Moonshot AI가 Kimi K3를 구축하는 데 사용했다고 비난하는 은밀한 모방 행태와 ByteDance를 구분 짓습니다.
- 이는 워싱턴이 지식 증류 문제로 제재를 위협하고 있는 시점에서, 미중 간 모델 격차가 좁혀지고 있습니다.
ByteDance의 창립자 장이밍은 회사가 AI 모델을 훈련하는 데 증류 기술을 사용하지 않을 것이라고 밝혔습니다. 이는 증류 기술 사용으로 비난받아 온 다른 중국 AI 연구소들과 구별되는 점입니다.
이는 미국 관리들이 중국 연구소들이 미국 AI 모델과의 격차를 좁히기 위해 이 기술을 사용하고 있다고 비난하는 시점과 맞물립니다. 워싱턴 관리들은 제재 위협까지 내밀었습니다.
장, 다른 사람들이 코스를 단축할 때 선을 긋다
더 인포메이션(The Information) 보고서 장이밍은 회사 AI 모델 훈련에서 증류를 강력히 반대한다고 밝혔습니다. 장은 ByteDance의 AI 야망에 더 직접적으로 관여하기로 결정했으며, 최고 연구진과 만나 firsthand 지식을 얻고 회사의 채용 노력을 주시하고 있습니다.
이는 AI 경쟁에서 중요한 시점에 이루어진 일입니다. 같은 달 미국 관리들은 증류 관행과 관련된 중국 연구소들과의 싸움에서 강도를 높였습니다. ByteDance는 또한 수익성이 높고 성능이 뛰어난 비디오 모델인 Seedance를 보유하고 있으며, 이는 중국 AI 제품 중 드문 사례입니다.
워싱턴이 증류를 경계하는 이유
증류는 단순히 더 강력한 모델의 응답을 사용하여 약한 AI 모델을 훈련하는 것입니다. 이는 작은 AI 시스템이 더 큰 시스템을 모방하도록 학습하도록 보장합니다. 증류는 공개적으로 이루어지며 AI 산업의 일상적인 부분입니다. 합법으로 간주되지만 일반적으로 소규모로 수행됩니다.
백악관 과학기술정책실(OSTP) 소장인 마이클 크라티오스는 문샷 AI(Moonshot AI)가 , 자체 AI 시스템인 키미 K3를 구축할 때 앤트로픽의 페이블(Fable) 모델을 증류했다고 주장했습니다.
그는 문샷이 탐지를 피하기 위해 접근 경로를 회전시키는 목적-built 내부 플랫폼을 통해 이 작업을 실행했으며, 미국 수출 규정으로 중국에 수출이 금지된 태국의 NVIDIA GB300 서버를 사용했다고 X 게시글에서 밝혔습니다.
앤트로픽은 가짜 계정을 통해 문샷으로 340만 건의 클로드(Claude) 대화를 추적했다고 보고됩니다. 문샷은 아직 이러한 주장에 응답하지 않았습니다.
ByteDance가 선도 AI 모델인 Seedance를 구축한 방법
ByteDance는 전혀 다른 방식으로 전환점을 맞이했습니다. 회사는 모델의 높은 비용과 공격적인 규모에 대한 내부 논쟁에도 불구하고 시드انس 2.0(Seedance 2.0)에 도박을 걸었습니다. 이 비디오 모델은 2,000억 개 이상의 파라미터를 넘어 확장하도록 설계되었지만, 회사 내부 일부에서는 너무 야심 차다고 여겨졌습니다.
회사가 GPU, 데이터 및 세계적 수준의 채용에 막대한 지출을 한 후 모델의 매출총이익률이 70~90% 사이를 유지하면서 이 움직임은 성공했습니다.
워싱턴, AI 격차 축소 주장
증류에 대한 전투는 빙산의 일각에 불과합니다. 스콧 베센트 재무장관은 중국 기업들이 증류를 산업 규모로 채택할 경우 제재를 부과할 수 있다고 시사했습니다. 양당 하원 법안은 증류 시도를 식별하고 제재하기 쉽게 만들 것입니다.
이 수치는 긴급한 조치를 촉발했습니다. AI 지출에서 중국을 23:1 비율로 상회함에도 불구하고, 미국은 AI 경쟁에서 중국에 대한 우위를 잃었습니다. 스탠퍼드 인간중심AI연구소(Institute for Human-Centered AI)에 따르면 양국의 최상위 모델은 거의 동일합니다.
이 글을 읽고 계신다면, 이미 앞서 나가고 있습니다. 뉴스레터로 그 위치를 유지하세요.
자주 묻는 질문
ByteDance 설립자는 지식 증류에 대해 무엇을 말했습니까?
장이밍은 ByteDance의 AI 모델을 훈련하기 위해 지식 증류를 사용하지 않겠다고 밝혔으며, 이는 현재 미중 분쟁의 중심에 있는 해당 기법과 거리를 두는 것입니다.
Moonshot AI는 무엇으로 고발되었습니까?
백악관 관료 마이클 크라티오스는 Moonshot AI가 산업 규모로 Anthropic의 Fable 모델을 은밀하게 지식 증류하여 Kimi K3를 구축했으며, 태국에 위치한 전용 내부 시스템과 제한된 NVIDIA GB300 서버를 사용했다고 비난했습니다.
ByteDance의 Seedance 모델은 어떻게 지식 증류 없이 성공했습니까?
ByteDance는 인재, 데이터, GPU에 대규모 투자를 단행했고 연구원 쩡옌의 Seedance 2.0을 2,000억 개 파라미터 이상으로 확장하려는 노력을 지원하여, 현재 볼케노 엔진의 모델-as-a-service 수익의 절반 이상을 차지하는 모델을 만들어냈습니다.
한나 콜리모어
한나는 암호화폐 분야에서 거의 10년 간의 블로그 작성 및 이벤트 리포팅 경험을 가진 작가이자 편집자입니다. 크립토폴리탄에서 한나는 뉴스 페이지에 기여하며 DeFi, RWA, 암호화폐 규제, AI 및 프론티어 테크 산업의 최신 동향을 보도하고 분석합니다. 그녀는 아카디아 대학교에서 경영학 학위를 취득했습니다.
