Эта модель генеративного ИИ может трансформировать игровую индустрию

В быстро развивающемся мире генеративного ИИ проблема создания 3D-объектов из 2D-изображений оставалась постоянной. Однако исследователи из различных университетов объявили о значительном достижении: SyncDreamer. Этот инновационный инструмент генеративного ИИ использует уникальную диффузионную модель для генерации нескольких 2D-перспектив объекта всего из одного изображения.

Как SyncDreamer Generative AI переопределяет 33D-дизайн

Системы генеративного ИИ, особенно диффузионные модели, такие как Stable Diffusion, DALL-E и Midjourney, были разработаны преимущественно для прогнозирования внешнего вида изображения по мере наложения на него шума. Процесс, включающий переход изображения из четкого состояния в полный шум и последующее обращение этого процесса, позволяет этим моделям создавать сложные изображения из случайных шумовых паттернов. Кроме того, текстово-изображенные генеративные модели ИИ расширили эту возможность, обучаясь на миллиардах пар «изображение-описание» для создания изображений по текстовым подсказкам.

Однако препятствие многовидовой согласованности тормозило эти достижения. Несмотря на их мастерство, диффузионным моделям сложно взять 2D-изображение и изобразить тот же объект с новой перспективы.

Ранее попытки преодолеть этот разрыв опирались на генерацию диффузионных моделей для 3D-объектов — задачу, требующую обширных объемов помеченных 3D-объектов. Другая стратегия включала нейронные поля радиации (NeRF), которые могут генерировать 3D-формы из 2D-фотографий. Тем не менее, этот метод требует дополнительных текстовых описаний и генерации объектов — процесс, который не только вычислительно интенсивен, но и требует значительного человеческого вмешательства.

Встречайте SyncDreamer. Вместо того чтобы напрямую создавать 3D-изображение, SyncDreamer берет 2D-изображение и генерирует альтернативные ракурсы того же объекта. Эти результаты затем могут быть использованы моделями, такими как NeRF, для формирования 3D-представления.

В основе функции SyncDreamer лежит проектирование для моделирования совместного распределения вероятностей многовидовых изображений. Используя несколько предикторов шума, SyncDreamer может генерировать несколько изображений одновременно. Этот скоординированный подход обеспечивает согласованность всех сгенерированных изображений.

Применение и практическая ценность

От фотореалистичных представлений до ручных набросков, SyncDreamer продемонстрировал свою адаптивность в таких задачах, как реконструкция сцен или начальные этапы проектирования. Исследователи подчеркнули способность системы генерировать изображения, которые семантически согласованы с оригиналом и сохраняют многовидовую согласованность как в цвете, так и в форме.

Заметным преимуществом этой модели генеративного ИИ является ее взаимодействие с другими генеративными моделями. В сочетании с моделями преобразования текста в изображение, такими как Stable Diffusion или DALL-E, дизайнеры могут оперативно создавать и дорабатывать концепции. Этот слаженный процесс, снижающий нагрузку на 3D-художников, приносит существенную пользу для разработки игр и создания виртуальных сред.

Архитектура SyncDreamer

Изучение архитектуры SyncDreamer раскрывает ее многогранную диффузионную модель, которая согласовывает генерацию каждого ракурса. Процесс построен вокруг удаления шума из входных данных с помощью модели UNet. Для обеспечения многовидовой согласованности специализированный модуль собирает признаки изображений и проецирует их в 3D-пространство. Трехмерная сверточная нейронная сеть (CNN) затем захватывает эти пространственные признаки и проецирует их в двумерное пространство. Эта сложная конструкция, названная исследователями «3D-aware feature attention UNet» (UNet с вниманием к 3D-признакам), играет ключевую роль в поддержании точности и согласованности модели.

Система была отточена на наборе данных Objaverse, состоящем примерно из 800 000 помеченных 3D-объектов и сцен. Огромное разнообразие художественных стилей, от набросков до тушевых рисунков, на которых тестировался SyncDreamer, лишь подчеркивает обширный потенциал генеративного ИИ в ближайшие годы.