딥시크, mHC 공개하지만 동료 검토 장벽에 직면

AI 개발 및 유지보수 비용의 증가와 가용 하드웨어의 제한이라는 문제가 있는 시기에, 딥시크는 인공지능(AI) 개발 및 확장 위한 새로운 계획을 제시했습니다.

중국 기반 스타트업은 칩을 더 추가하고 전력 소비를 증가시키지 않고도 훨씬 더 나은 AI 모델을 생성할 수 있다고 믿습니다. 제안된 mHC 개념은 해당 주제에 대한 많은 연구자들로부터 상당한 주목을 받았지만, 일반적으로 여전히 초기 단계로 간주됩니다.

더 큰 AI 시스템 개발에서 이 접근법의 이점을 결정하기 위해서는 추가 연구가 필요합니다. mHC 개념을 상세히 설명하는 기술 논문이 지난 주 발표되었으며, 딥시크의 창립자이자 CEO인 리앙원펑(Liang Wenfeng)이 공동 저자로 참여했습니다.

딥시크, AI 확장을 위한 네트워크 설계 재고

이 작업의 주요 구성 요소 중 하나는 다층 신경망의 다양한 레이어 간에 정보가 어떻게 전달되는지에 대한 재평가입니다.

신경망의 각 레이어는 모델의 다음 레이어로 처리된 정보의 일부를 전달하며, 이는 ‘잔여 학습 네트워크’(ResNet)라고 불리는 것을 생성합니다. 약 10년 전 마이크로소프트 리서치의 카이밍 헤(Kaiming He)와 다른 연구원들이 개발한 ResNet은 오늘날 가장 진보된 AI 시스템 중 다수의 근본적인 기반을 제공했습니다.

바이트댄스가 2024년에 하이퍼 커넥션(Hyper-Connections)을 도입한 후, 딥시크(DeepSeek)에서 개발한 개념이 탄생했습니다. 하이퍼 커넥션은 정보가 네트워크를 통해 하나의 주요 경로가 아닌 여러 경로를 통해 이동할 수 있게 하여, 학습 속도와 경험의 풍부함을 높일 수 있습니다.

그러나 이러한 레이어는 유익할 수 있지만, 모델이 훈련 불안정성이나 완전한 실패를 경험하는 문제적인 훈련 상황을 초래할 수도 있습니다.

홍콩시립대학교의 쑹링치(Song Linqi)에 따르면, 딥시크의 연구는 기존 아이디어의 진전이며, 무에서 무언가를 발명하기보다는 딥시크가 다른 기업들의 작업을 어떻게 바라보는지의 연속선상에 있습니다.

ResNet은 일차선 고속도로에 비유되는 반면, 하이퍼 커넥션은 다차선 고속도로와 유사합니다. 그러나 쑹은 적절한 규칙 없이 다차선을 갖는 것이 더 많은 충돌을 초래할 수 있다고 경고했습니다.

홍콩과학기술대학교의 궈쑹(Guo Song) 교수는 이 연구 논문이 AI 연구의 연구 행동 변화를 나타낼 수 있다고 믿습니다. 기존 모델의 설계를 계속 작은 수정하는 대신, 연구는 이론적 구성을 기반으로 한 새로운 모델 개발로 진화할 수 있다고 그는 생각합니다.

연구자들, mHC 테스트하지만 실용적 우려 제기

딥러닝을 위한 mHC 테스트에서 최근 마일스톤을 달성한 것에 대한 기대감이 높지만, 전문가들은 연구가 아직 완료되지 않았다고 강조했습니다. 딥시크가 제공한 테스트는 270억 개의 파라미터를 가진 모델을 테스트할 때 데이터의 4개 경로만 사용했습니다.

“실험은 270억 파라미터까지 모델을 검증했지만, 오늘날의 최전선 모델들은 그보다 한 차원 더 큰 규모인데, 이러한 모델에서 어떻게 성능을 발휘할 것인가?”

궈쑹 교수.

현재 사용 가능한 AI 모델들은 몇 년 전까지 표준이었던 300억 개의 파라미터에 비해 훨씬 크며, 일반적으로 수천억 개의 파라미터를 가지고 있습니다.

궈는 이러한 견해에 동의하며, mHC가 AI 기술의 최전선에서 작업을 수행할 수 있는지 여부를 결론짓기에는 아직 이르다고 밝혔습니다. 또한 mHC가 작동하는 데 필요한 인프라가 소규모 연구 기관이 사용하기에는 너무 진보되어 있고, 기업들이 모바일 기기에서 활용하기에도 부적절할 수 있다고 덧붙였습니다.

크립토폴리탄(Cryptopolitan)에 따르면, 딥시크의 인기는 딥시크 V3 대형 언어 모델의 출시와 그로부터 몇 주 후에 이어진 딥시크-R1 추론 모델의 출시에서 비롯되었습니다.

벤치마크 테스트 중 모델 결과를 경쟁사들과 비교했을 때, 두 모델 모두 다른 경쟁 언어 모델들에 비해 훨씬 적은 양의 훈련 데이터만 사용하여 출시되었음에도 불구하고 경쟁사들의 결과에 도달하거나 초과했습니다.