Nvidia H20 및 H200은 중국 합성 데이터셋만으로 훈련된 AI 모델을 지원

Tsinghua University와 Microsoft Research Asia는 실제 데이터 없이 가짜 데이터만으로 전체 AI 모델을 훈련했습니다.

전체 데이터셋은 SynthSmith라는 새로운 파이프라인을 통해 인공적으로 생성되었으며, 시스템은 시작부터 끝까지 Nvidia 칩에서 실행되었습니다. 이 팀은 단순히 노벨티 테스트를 수행한 것이 아닙니다. 그들은 인간 데이터로 훈련된 훨씬 더 큰 모델들을 능가하는 70억 파라미터의 작동 가능한 모델을 구축했습니다.

1월 11일 arXiv에 게시된 그들의 논문은 X-Coder가 실제 세계 텍스트를 본 적이 없음에도 불구하고 140억 파라미터의 코딩 모델보다 성능이 우수하다고 주장합니다.

"심층 분석은 스케일링 법칙이 우리의 합성 데이터셋에서 유효함을 보여줍니다," 연구원들은 썼습니다. 이 팀에는 Tsinghua University, Microsoft Research Asia, Wuhan University의 이름들이 포함되었습니다.

연구원들은 Nvidia 칩을 사용하여 실제 세계 데이터를 완전히 건너뜁니다

교육 설정은 Nvidia 하드웨어에 크게 의존했습니다. 지도된 미세 조정(Supervised fine-tuning)을 위해 그들은 220시간 동안 128개의 Nvidia H20 칩을 사용했습니다. 이후 그들은 강화 학습 단계를 처리하기 위해 32개의 H200 칩으로 전환하여 또 다른 7일 전체를 보냈습니다. 이는 무작위 선택이 아니었습니다. H20은 추론에 최적화되어 있고, H200은 고급 훈련을 위해 설계되었습니다. 이들은 Trump 행정부가 Nvidia가 중국에서 사용 가능하도록 강력히 로비한 후 승인한 수출 통제 면제 덕분에 현재 중국 기업들이 사용할 수 있는 가장 강력한 칩들입니다.

연구원들은 파이프라인 자체가 스케일링에 문제가 된 것이 아니라, 모든 것이 컴퓨팅 파워에 관한 것이라고 말했습니다.

Tsinghua의 석사 과정 학생이자 주요 저자인 Wu Jie는, 파이프라인을 1,000억 또는 1조 파라미터 모델로 가져가지 못한 진짜 이유는 단순히 "파이프라인 자체의 제한이 아닌 계산적 제약" 때문이라고 말했습니다.

그들은 코드를 공개적으로 출시함으로써 다른 사람들이 막대한 훈련 비용을 지불하지 않고도 이 프로젝트 위에 구축할 수 있기를 바랍니다. 논문은 또한 AI의 한 트렌드를 지적합니다.

모델들은 이제 더 긴 시간 범위를 "생각"하고 복잡한 추론을 처리할 것으로 예상되며, 이는 훈련뿐만 아니라 추론 동안 훨씬 더 많은 컴퓨팅 필요성을 촉진했습니다.

중국 팀이 구형 제조 기술을 사용하여 더 빠른 칩을 구축

별개로, ACCEL이라는 새로운 칩은 중국 과학자들이 전기 대신 빛 입자를 사용하여 구축했습니다. 이 칩(All-Analogue Chip Combining Electronics and Light의 약자)은 실험실에서 테스트되어 4.6 PFLOPS를 기록했습니다.

이는 Nvidia의 A100보다 3,000배 빠르며, 중국 칩은 에너지 사용량이 400만 배 적었습니다. 이는 이미지 인식이나 자율 주행과 같은 특정 작업에 만들어진 가장 효율적인 AI 칩 중 하나입니다.

이는 아직 CPU나 스마트폰 칩을 대체하지는 못하겠지만, 팀은 웨어러블, 전기차 또는 스마트 팩토리에서 작동할 수 있다고 생각합니다.

이 칩은 20년 된 공정을 사용하여 Semiconductor Manufacturing International Corporation에 의해 구축되었습니다. 이는 중국이 아직 접근할 수 없는 고급 리소그래피 기계의 필요성을 피했습니다.

"광자 컴퓨팅 시스템의 배포는 복잡한 구조적 설계와 노이즈 및 시스템 오류에 대한 취약성 때문에 과거에는 어려웠습니다," Tsinghua 는 기사에서 말했습니다.

이 칩은 광자 및 아날로그 전자를 새로운 프레임워크로 결합하여 이를 피합니다. 이는 파일 압축과 같은 일반 컴퓨팅 작업을 처리하지는 않지만, AI 비전 및 저조도 센싱에는 뛰어납니다.

한 가지 놀라운 세부 사항: 현대 칩을 1시간 동안 실행하는 데 필요한 에너지는 ACCEL을 500년 동안 가동하기에 충분합니다. 이러한 낮은 전력 요구는 칩이 얼마나 작아질 수 있는지를 제한하는 열 문제를 다루기도 더 쉽게 만듭니다.

이 칩의 기능에는 교통 식별, 저조도 이미징 및 실시간 비전이 포함되며, 이는 센싱 과정에서 직접 환경광을 사용합니다. 팀은 이것이 범용 칩은 아니지만 매우 구체적인 필요를 채운다고 말했습니다.

자금은 국가 주요 R&D 프로그램과 중국 국가 자연 과학 재단으로부터 지원되었습니다. 연구원 중 한 명이 공동 설립한 베이징 칩 회사인 MakeSens가 관여했으며, 최근에도 저전력 아날로그 칩을 출시했습니다.

프로젝트 리더 중 한 명인 Tsinghua의 Dai Qionghai는 새로운 컴퓨팅 아키텍처를 구축하는 것은 첫 단계에 불과하다고 말했습니다.

"더 중요한 과제는 이 새로운 아키텍처를 실제 응용 분야로 가져와 주요 국가 및 공공 수요를 해결하는 것이며, 이는 우리의 책임입니다."

팀이 이 칩이 시장에 출시될 시기에 대해 아무것도 말하지 않았습니다.