Cette démonstration montre comment Nvidia compte repousser les limites du photoréalisme dans les jeux vidéo

En tant que leader incontesté dans le secteur de l’intelligence artificielle, Nvidia effectue constamment de nombreuses recherches applicatives dans le domaine. Si certaines de ses recherches sont bien trop obscures pour nous, le commun des mortels, certaines pourraient bien se retrouver dans les jeux vidéo et les œuvres culturelles dans les années à venir.

C’est notamment dans le secteur du rendu neuronal que Nvidia mise beaucoup, ou comment utiliser l’entrainement de certains modèles et de ses réseaux de neurones pour améliorer, mais aussi accélérer le rendu graphique en temps réel. Après avoir dévoilé une nouvelle technique de compression pour les textures en 2023, Nvidia révèle une nouvelle technologie qui pourrait bien pousser le photoréalisme de nos jeux vidéo au-delà de tout ce qui se fait aujourd’hui.

Pour aller plus loin
Cette technologie AMD promet de réduire jusqu’à 70 % l’espace de stockage occupé par un jeu vidéo

Des textures et matériaux ultra-réalistes, en temps réel

Aujourd’hui, la création de textures et matériaux en 2D et 3D se fait à l’aide de shaders graphs, un processus itératif que les artistes utilisent en combinant plusieurs shaders avec un système de nœuds au sein d’une interface graphique. Ces différents shaders sont capturés soit dans la vraie vie, parfois via une technique de photogrammétrie, soit désormais grâce à une IA générative.

Cependant, ce processus est trop laborieux pour du rendu temps réel selon Nvidia, ces matériaux pouvant être très complexes à reproduire : on parle ici des imperfections qui séparent bien souvent le rendu 3D d’un objet de son apparence véritable, comme les poussières, saletés et effets de lumière diffus et protéiformes.

Avec les Real-Time Neural Appearance Models, Nvidia propose alors d’exploiter un réseau neuronal, qui remplacera ces shading graphs, pour un temps de calcul de ces shaders 12 et 24 fois plus rapide qu’avec les techniques traditionnelles. L’objectif est ici de reproduire un objet avec ses détails les plus infimes en réduisant considérablement le temps de travail des artistes. On se place ici à un niveau de rendu similaire au pré-calculé (offline), que l’on peut voir dans le secteur des effets spéciaux ou des films d’animation.

De plus, avec des textures pouvant aller jusqu’à 16K, la qualité de rendu serait alors identique, peu importe le niveau de zoom en plein jeu. Mais à quel prix ? Nvidia assure que la technique reste relativement économe pour la carte graphique, avec une image en 1080p rendu en 3,3ms. On parle ici d’un seul objet dans une scène relativement simple et non d’une séquence complexe qui affiche aussi un décor, mais aussi des personnages.

Un futur possible pour nos jeux ?

S’agissant d’un document de recherche, son potentiel applicatif n’est pour l’instant pas assuré pour les joueurs. Ce nouveau modèle est à destination des artistes du jeu vidéo avant tout, mais s’inscrit dans une tendance certaine chez Nvidia.

Avec le DLSS 3.5 et l’arrivée de la ray reconstruction, on a vu la firme se lancer dans une autre mission : améliorer la qualité graphique des jeux en ray tracing avec un gain de performance parfois observé. Récemment, c’est le Jensen Huang, président de Nvidia, qui évoquait le futur du DLSS, qui pourrait servir à générer des textures et des objets de manière plus réaliste.

On peut donc parler des deux faces d’une même pièce, des technologies qui pourraient s’intégrer dans toutes les étapes du processus, de la création dans les studios au résultat final pour les joueurs. Pour ces derniers, on imagine qu’il faudra posséder une carte graphique Nvidia pour espérer profiter d’une telle innovation, comme c’est le cas pour le reste de la suite DLSS.