Les Champs Neuraux sous les projecteurs à SIGGRAPH 2023

Lors de l'événement SIGGRAPH de cette année, le centre d'attention était sans aucun doute la discussion et la présentation des Champs de Radiance Neuraux (NeRFs), marquant un changement significatif dans le calcul visuel. Des articles universitaires aux cours éducatifs et aux démonstrations technologiques, les NeRFs ont pris les devants, soulignant leur potentiel transformateur. Le concept a gagné en importance grâce à la reconnaissance qu'il a reçue l'année dernière via Luma.ai. La technologie, qui est apparue initialement comme une évolution de la photogrammétrie, étend sa portée bien au-delà, avec des implications touchant l'industrie des effets visuels.

Le phénomène entourant les NeRFs s'est considérablement intensifié cette année, attribué à leur approche innovante de la représentation des objets 3D. La technologie a d'abord attiré l'attention grâce à l'application accessible de Luma.ai qui a permis aux utilisateurs d'iPhone de créer des NeRFs. Cependant, l'impact réel des NeRFs dépasse leur reconnaissance initiale en tant qu'outils de photogrammétrie améliorés. Au lieu de cela, ils ont le potentiel de redéfinir le paysage du domaine des effets visuels, modifiant la façon dont les professionnels abordent les domaines de la modélisation et de l'animation.

Déballage des NeRFs à SIGGRAPH 2023

Pour les participants de SIGGRAPH 2023, les NeRFs se sont démarqués comme le point central – une exploration approfondie a fourni aux participants des informations sur le fonctionnement complexe de la technologie NeRF. Des sessions clés, telles que le cours « Champs Neuraux pour le Calcul Visuel », ont accordé aux participants une compréhension complète des techniques NeRF et de leurs fondements mathématiques. Le cours, dirigé par James Tompkin de l'Université Brown, présentait des intervenants notables, y compris Alex Yu de Luma AI et Towaki Takikawa de l'Université de Toronto / NVIDIA.

Les NeRFs, également connus sous le nom de Champs de Radiance Neuraux, présentent une rupture avec les méthodes conventionnelles de représentation 3D. Ils englobent des scènes dans des réseaux de neurones, offrant une approche volumétrique contrastant avec les modèles polygonaux traditionnels. Les NeRFs encapsulent les valeurs de radiance des scènes, régissant l'interaction de la lumière dans l'environnement. De plus, ils intègrent des champs de densité, définissant la probabilité d'espaces occupés ou vides. La synthèse des champs de densité et de radiance permet aux NeRFs de reproduire authentiquement l'apparence des objets dans l'espace tridimensionnel.

NeRFs vs. Photogrammétrie : un changement de paradigme dans la représentation

Les NeRFs divergent substantiellement de la photogrammétrie, produisant des sorties dynamiques et dépendantes de la perspective. La photogrammétrie repose sur la triangulation de points fixes à partir de plusieurs images, résultant en des représentations statiques. En revanche, les NeRFs produisent des rendus dynamiques à mesure que les spectateurs naviguent dans les scènes, s'adaptant aux fluctuations de l'éclairage et des points de vue. Cet attribut améliore le réalisme et l'immersion, différenciant les NeRFs des méthodologies conventionnelles.

Bien que les NeRFs exigent des ressources informatiques substantielles, leur compacité et leur efficacité les distinguent. Les NeRFs possèdent des capacités de compression exceptionnelles, contrairement aux modèles traditionnels, attribuées à leur dépendance aux surfaces implicites et aux modèles mathématiques. Cette approche distinctive permet aux NeRFs de décrire succinctement et de manière flexible les scènes. Tirant des parallèles avec l'efficacité de la Gameboy originale, les NeRFs réalisent des prouesses de compression remarquables.

Applications polyvalentes et impact des NeRFs à travers les industries

Les NeRFs présentent une boîte à outils polyvalente capable de répondre à des défis multifacettes dans diverses industries. Leur capacité à fournir des modèles géométriques précis, des apparences réalistes et un mouvement fluide les positionne comme une solution prometteuse pour capturer des représentations authentiques du monde réel. Au-delà de la portée des effets visuels, les NeRFs abritent des applications potentielles dans les jeux vidéo, la visualisation architecturale et d'autres domaines.

Luma AI a introduit la version 0.3 de son plugin Unreal Engine 5, dévoilant un rendu volumétrique neuronal en temps réel révolutionnaire. Cette percée permet aux NeRFs de générer des rendus en temps réel rapidement et efficacement. Conçu pour la visualisation intérieure, l'innovation de Luma AI élimine la nécessité de drones, de LIDAR ou de caméras complexes.

NVIDIA a captivé l'assistance avec une démonstration en direct de NeRFs dans le cadre de visioconférences holographiques. Cette implémentation en temps réel a séduit les participants, mettant en lumière le potentiel remarquable de la technologie NeRF pour créer des hologrammes dynamiques et immersifs.

Le cadre NeRF : aperçus techniques

Les fondements des NeRFs reposent sur l'échantillonnage des coordonnées pour les entrées du réseau de neurones, la prédiction des signaux reconstruits et leur rendu ou déduction pour des mesures du monde réel. Ce processus exploite des fonctions différentiables, facilitant la reconstruction de représentations vives et riches à partir d'entrées de capteurs limitées.

Les NeRFs ont introduit de nouveaux défis, notamment la reconstruction précise de maillages et les complexités liées au re-éclairage. Les chercheurs s'attèlent diligemment à surmonter ces obstacles, en concevant des solutions telles que Neuralangelo de NVIDIA et le jeu de données « Relight my NeRF ». Des innovations comme NeRFMeshing s'efforcent d'extraire des maillages 3D méticuleux à partir des réseaux NeRF, élargissant ainsi leur champ d'application.

À mesure que les NeRFs gagnent en popularité, leur influence transformative sur le calcul visuel devient de plus en plus évidente. La prolifération rapide de la recherche et des applications liées aux NeRFs souligne leur importance. Qu'il s'agisse de révolutionner les techniques de rendu, de permettre des hologrammes dynamiques ou de redéfinir la représentation 3D, les NeRFs façonnent continûment la trajectoire du calcul visuel.

Les NeRFs se sont imposés comme une technologie révolutionnaire aux implications profondes dans divers secteurs. Leurs sorties dynamiques, leur compacité et leur capacité à surmonter des défis complexes du monde réel soulignent leur potentiel et leur polyvalence. À mesure que la recherche sur les NeRFs progresse, son impact sur le calcul visuel est appelé à imprégner divers domaines, remodelant à jamais notre perception et notre interaction avec les espaces tridimensionnels.