이 생성형 AI 모델이 게임 산업을 변화시킬 수 있다

빠르게 진화하는 생성형 AI 세계에서 2D 이미지로부터 3D 객체를 생성하는 과제는 지속적으로 존재해 왔습니다. 그러나 여러 대학의 연구진들은 SyncDreamer라는 중요한 진전을 발표했습니다. 이 혁신적인 생성형 AI 도구는 독특한 디퓨전 모델을 사용하여 단일 이미지로부터 객체의 여러 2D 시점을 생성합니다.

SyncDreamer 생성형 AI가 33D⟦/N1⟧ 디자인을 재정의하는 방법

Stable Diffusion, DALL-E, Midjourney와 같은 디퓨전 모델(Diffusion models)을 주로 사용하는 생성형 AI 시스템은 주로 이미지에 노이즈가 층층이 쌓일 때 이미지의 외관을 예측하도록 개발되었습니다. 이 과정은 선명한 상태에서 완전한 노이즈 상태로 이미지를 전환한 후 그 과정을 역전시키는 것을 포함하며, 이를 통해 이러한 모델은 무작위 노이즈 패턴에서 복잡한 이미지를 생성할 수 있습니다. 또한, 텍스트-이미지 생성형 AI 모델은 수십억 개의 이미지-설명 쌍에서 학습하여 텍스트 단서로부터 이미지를 생성함으로써 이를 확장했습니다.

그러나 다중 시점 일관성의 장벽은 이러한 진전을 저해해 왔습니다. 디퓨전 모델은 뛰어난 능력을 가지고 있음에도 불구하고 2D 이미지를 받아 새로운 시점에서 동일한 객체를 묘사하는 데 어려움을 겪습니다.

이 격차를 메우기 위한 이전 시도들은 3D 객체를 위한 디퓨전 모델을 생성하는 데 의존했습니다. 이는 방대한 양의 레이블이 지정된 3D 객체를 요구하는 작업입니다. 또 다른 전략은 2D 사진에서 3D 형태를 생성할 수 있는 신경 방사장(NeRF)을 통합하는 것이었습니다. 그러나 이 기술은 추가적인 텍스트 설명과 객체 생성이 필요하며, 이는 계산 집약적일 뿐만 아니라 상당한 인간의 개입을 요구하는 과정입니다.

SyncDreamer의 등장. SyncDreamer는 3D 이미지를 직접 생성하는 대신 2D 이미지를 받아 동일한 피사체의 대체 2D 각도를 생성합니다. 이러한 출력물은 NeRF와 같은 모델에 의해 3D 표현을 형성하는 데 사용될 수 있습니다.

SyncDreamer의 기능 중심에는 다중 시점 이미지의 공유 확률 분포를 모델링하도록 설계된 기능이 있습니다. SyncDreamer는 여러 노이즈 예측자를 사용하여 여러 이미지를 동시에 생성할 수 있습니다. 이러한 조율된 접근 방식은 생성된 모든 이미지 전반에 걸쳐 일관성을 보장합니다.

응용 및 실용성

사진과 같은 사실적인 표현부터 손 스케치에 이르기까지 SyncDreamer는 장면 재구성이나 초기 디자인 단계와 같은 작업에서 적응력을 보여주었습니다. 연구자들은 이 시스템이 원래 이미지와 의미론적으로 일치하며 색상과 형태 모두에서 다중 시점 일관성을 유지하는 이미지를 생성할 수 있는 능력을 강조했습니다.

이 생성형 AI 모델의 주목할 만한 장점 중 하나는 다른 생성형 모델과의 협력에 있습니다. Stable Diffusion이나 DALL-E와 같은 텍스트-이미지 모델과 결합함으로써 디자이너는 개념을 신속하게 생성하고 다듬을 수 있습니다. 이 일관된 과정은 3D 아티스트의 업무 부담을 줄여주며, 게임 개발과 가상 환경 생성에 상당한 이점을 제공합니다.

SyncDreamer의 아키텍처 배후

SyncDreamer의 아키텍처를 살펴보면 각 시점의 생성을 정렬하는 다면적 디퓨전 모델이 드러납니다. 이 과정은 UNet 모델을 사용하여 입력을 디노이징(노이즈 제거)하는 것을 중심으로 구축됩니다. 다중 시점 일관성을 보장하기 위해 특수 모듈은 이미지의 특징을 조립하여 3차원으로 매핑합니다. 그런 다음 3차원 합성곱 신경망(CNN)이 이러한 공간 특징을 포착하여 2차원 공간으로 투사합니다. 연구자들이 '3D 인식 특징 주의 UNet(3D-aware feature attention UNet)'이라고 명명한 이 정교한 설계는 모델의 정확성과 일관성을 유지하는 데 중요한 역할을 합니다.

이 시스템은 약 800,000개의 레이블이 지정된 3D 객체와 장면으로 구성된 Objaverse 데이터셋을 통해 완벽하게 다듬어졌습니다. 스케치부터 잉크 페인팅에 이르기까지 SyncDreamer가 테스트된 다양한 예술 스타일의 광범위한 배열은 다가올 몇 년 동안 생성형 AI의 확장된 잠재력을 강조합니다.