DeepSeek이 mHC를 공개했지만 동료 평가에 난관에 직면해 있습니다

인공지능 개발 및 유지 관리 비용 증가와 하드웨어 부족이라는 문제가 대두되는 시점에서, 딥시크(DeepSeek)는 인공지능(AI) 개발 및 확장을 위한 새로운 계획을 제시했습니다.

중국에 본사를 둔 이 스타트업은 칩을 추가하지 않고도 훨씬 뛰어난 AI 모델을 만들 수 있으며, 따라서 전력 소비를 늘릴 필요가 없다고 주장합니다. 제안된 mHC 개념은 해당 분야의 많은 연구자들의 관심을 끌었지만, 일반적으로 아직 초기 단계에 있는 것으로 여겨집니다.

더 큰 규모의 AI 시스템 개발에 있어 이러한 접근 방식의 이점을 파악하기 위해서는 추가적인 연구가 필요할 것입니다. mHC 개념을 상세히 설명하는 기술 논문이 지난주에 발표되었으며, 이 논문은 DeepSeek의 창립자이자 CEO인 량원펑이 공동 저자로 참여했습니다.

DeepSeek은 AI 확장을 위해 네트워크 설계 방식을 재고합니다

본 연구의 주요 구성 요소 중 하나는 다층 신경망의 다양한 계층 간에 정보가 전달되는 방식을 재평가하는 것입니다.

신경망의 각 계층은 처리된 정보를 다음 계층으로 전달하는데, 이를 '잔차 학습 네트워크(Residual Learning Network,ResNet)'라고 합니다. 마이크로소프트 연구소의 카이밍 허(Kaiming He) 등이 약 10년 전에 개발한 ResNet은 오늘날 가장 발전된 AI 시스템들의 근간을 이루고 있습니다.

도입한 후 탄생했습니다. 하이퍼 커넥션(Hyper-Connections)을 하이퍼 커넥션은 정보가 네트워크에서 하나의 주요 경로만이 아닌 여러 경로를 통해 이동할 수 있도록 하여 학습 속도와 경험의 풍부함을 향상시킬 수 있습니다.

하지만 이러한 기능은 유익할 수 있지만, 모델이 훈련 불안정성을 겪거나 완전히 실패하는 등 문제가 발생matic 훈련 상황으로 이어질 수도 있습니다.

송린치(홍콩 시립대학교)에 따르면, 딥시크의 연구는 기존 아이디어를 발전시킨 것이며, 딥시크가 다른 회사의 연구를 살펴보는 방식을 이어가는 것이지, 완전히 새로운 것을 발명하는 것이 아닙니다.

ResNet은 1차선 고속도로에 비유되는 반면, 하이퍼 커넥션은 다차선 고속도로와 유사하다고 송 교수는 지적했습니다. 그러나 송 교수는 적절한 규칙이 없는 다차선 도로는 오히려 충돌을 증가시킬 수 있다고 경고했습니다.

홍콩과학기술대학교의 궈송 교수는 이번 연구 논문이 인공지능. 기존 모델의 설계를 조금씩 수정하는 데 그치는 대신, 이론적 구성에 기반한 새로운 모델을 개발하는 방향으로 연구가 발전할 가능성이 있다는 것이다.

연구진, mHC 테스트 실시했으나 실질적인 문제점 제기

최근 딥러닝용 mHC 테스트에서 이룬 성과에 대한 기대감이 높아지고 있지만, 전문가들은 연구가 아직 끝나지 않았다고 강조했습니다. DeepSeek에서 제공한 테스트는 270억 개의 매개변수를.

"이번 실험을 통해 최대 270억 개의 매개변수를 가진 모델의 유효성을 검증했지만, 그보다 훨씬 더 큰 규모의 오늘날의 최첨단 모델에서는 어떤 성능을 보일까요?"

궈송 교수.

오늘날 사용 가능한 AI 모델은 규모가 훨씬 크고, 불과 몇 년 전 표준이었던 300억 개의 매개변수와 비교하면 수천억 개의 매개변수를 갖는 것이 일반적입니다.

궈는 이러한 의견에 동의하며 mHC가 인공지능 기술의 최첨단 분야에서 활약할 수 있을지는 아직 아무도 단정지을 수 없다고 말했다. 그는 또한 mHC가 작동하는 데 필요한 인프라가 소규모 연구 기관이 사용하기에는 너무 발전된 수준이며, 기업이 모바일 기기에서 활용하기에도 무리가 있을 수 있다고 지적했다.

에 따르면 Cryptopolitan, 딥시크의 인기는 대규모 언어 모델인 딥시크 V3의 출시와 그로부터 불과 몇 주 후에 출시된 추론 모델인 딥시크 R1에서 비롯되었습니다.

벤치마크 테스트에서 두 모델의 결과를 경쟁 모델과 비교했을 때, 두 모델 모두 경쟁 언어 모델에 사용된 훈련 데이터의 일부만을 사용했음에도 불구하고 경쟁 모델의 결과에 필적하거나 그 이상의 성능을 보였습니다.