- Os pesquisadores desenvolveram o SyncDreamer, uma ferramenta inovadora de IA que cria múltiplas vistas 2D de um objeto a partir de uma única imagem.
- Esta nova técnica utiliza um modelo de difusão exclusivo e pode funcionar tanto com imagens fotorrealistas quanto com desenhos à mão.
- O avanço promete benefícios significativos para desenvolvedores de jogos e criadores de ambientes virtuais, agilizando o processo de design 3D.
No mundo em rápida evolução da IA generativa, o desafio de criar objetos 3D a partir de imagens 2D consistentemente tem sido persistente. No entanto, pesquisadores de várias universidades anunciaram um avanço significativo: SyncDreamer. Esta ferramenta inovadora de IA generativa utiliza um modelo de difusão único para gerar múltiplas perspectivas 2D de um objeto a partir de apenas uma imagem.
Como a IA Generativa SyncDreamer redefine o Design 3D
Os sistemas de IA generativa, notavelmente os modelos de difusão como Stable Diffusion, DALL-E e Midjourney, foram principalmente desenvolvidos para prever a aparência de uma imagem à medida que o ruído é adicionado. O processo, que envolve a transição de uma imagem de um estado claro para ruído completo e, em seguida, reverter o processo, permite que esses modelos produzam imagens complexas a partir de padrões de ruído aleatórios. Além disso, os modelos de IA generativa de texto para imagem expandiram isso, aprendendo a partir de bilhões de pares de imagem-descrição para criar imagens a partir de indicações textuais.
No entanto, o obstáculo da consistência multiview tem impedido esses avanços. Apesar de sua proeza, os modelos de difusão encontram dificuldade em pegar uma imagem 2D e representar o mesmo objeto a partir de uma nova perspectiva.
As tentativas anteriores de preencher essa lacuna baseavam-se na geração de modelos de difusão para objetos 3D – uma tarefa que exigia volumes extensos de objetos 3D rotulados. Outra estratégia incorporava campos de radiação neural (NeRF), que podem gerar formas 3D a partir de fotos 2D. Ainda assim, essa técnica requer descrições textuais adicionais e geração de objetos – um processo que não é apenas intensivo computacionalmente, mas também exige entrada humana significativa.
Entre SyncDreamer. Em vez de embarcar na criação direta de uma imagem 3D, o SyncDreamer pega uma imagem 2D e gera ângulos 2D alternativos do mesmo sujeito. Essas saídas podem então ser utilizadas por modelos como o NeRF para formar a representação 3D.
Central para a função do SyncDreamer está seu design para modelar a distribuição de probabilidade compartilhada de imagens multiview. Ao empregar múltiplos preditores de ruído, o SyncDreamer pode gerar várias imagens simultaneamente. Essa abordagem coordenada garante consistência em todas as imagens geradas.
Aplicações e praticidade
Desde representações fotorrealistas até esboços à mão, o SyncDreamer demonstrou sua adaptabilidade em tarefas como reconstrução de cena ou estágios iniciais de design. Os pesquisadores enfatizaram a capacidade do sistema de gerar imagens que estão semanticamente alinhadas com a original e mantêm a consistência multiview tanto na cor quanto na forma.
Uma vantagem notável deste modelo de IA generativa reside em sua colaboração com outros modelos generativos. Ao emparelhar-se com modelos de texto para imagem como Stable Diffusion ou DALL-E, os designers podem produzir e refinar conceitos de maneira ágil. Esse processo coeso, que reduz a carga de trabalho para artistas 3D, oferece benefícios substanciais para o desenvolvimento de jogos e a criação de ambientes virtuais.
Por trás da arquitetura do SyncDreamer
Uma análise da arquitetura do SyncDreamer revela seu modelo de difusão multifacetado, que alinha a geração de cada visualização. O processo é construído em torno do desruído da entrada usando um modelo UNet. Para garantir a consistência multiview, um módulo especializado reúne as características das imagens e as mapeia em 3D. Uma rede neural convolucional 3D (CNN) então captura essas características espaciais e as projeta no espaço bidimensional. Esse design intricado, denominado pelos pesquisadores de “UNet de atenção de características 3D-aware”, desempenha um papel crucial na manutenção da precisão e consistência do modelo.
O sistema foi aperfeiçoado no conjunto de dados Objaverse, composto por cerca de 800.000 objetos e cenas 3D rotulados. A vasta gama de estilos de arte, desde esboços até pinturas a tinta, nos quais o SyncDreamer foi testado, apenas sublinha o potencial expansivo da IA generativa nos próximos anos.
Não apenas leia notícias sobre criptomoedas. Entenda-as. Inscreva-se em nossa newsletter. É grátis.
Aviso Legal: As informações fornecidas não constituem aconselhamento de negociação. A Cryptopolitan.com não assume responsabilidade por quaisquer investimentos realizados com base nas informações disponibilizadas nesta página. Recomendamos fortemente a realização de pesquisa independente e/ou consulta com um profissional qualificado antes de tomar qualquer decisão de investimento.
Shummas Humayun
Shummas é ex-redator técnico de conteúdo e pesquisador.
