De la 2D à la 3D en un éclair : cette IA va rendre les jeux vidéo plus réalistes encore

Laisser libre cours à votre improvisation tout en lui donnant les instruments pour créer virtuellement plus facilement. C’est le rêve de Nvidia Research alors que le fabricant américain présente cette semaine ses dernières innovations lors de la conférence CVPR de La Nouvelle-Orléans (États-Unis) sur la vision par ordinateur et la reconnaissance de modèles.

À cette occasion, les chercheurs de Nvidia ont notamment annoncé leurs avancées en intelligence artificielle sur la transformation de photos en objets 3D. Par le passé, la marque a pris l’habitude de montrer les prouesses de son IA, que ce soit pour rendre les jeux vidéo encore plus photoréalistes ou encore pour transformer une simple image en rendu 3D.

Un élément modifiable comme on veut

Désormais, Nvidia a dans sa besace Nvidia 3D MoMa, une méthode basée sur l’IA permettant d’importer rapidement un objet dans un moteur graphique afin de l’utiliser pour des créations architecturales sur ordinateur, de la conception artistique, du développement de jeu et bien d’autres choses encore.

Pour y parvenir, l’IA mise au point par Nvidia est capable de créer un objet en 3D à partir d’images 2D, à l’aide de sa technologie de rendu inversé (qui permet de donner forme à un objet à partir d’une succession de photos assemblées par l’IA) et à la puissance des GPU Nvidia. Cela va prendre moins d’une heure pour créer un élément qui pourra ensuite être utilisé et intégré dans un moteur graphique ou tout autre outil professionnel (modélisateur 3D, rendus de film…) afin d’être optimisé pour les besoins d’une création.

Pour réussir une telle prouesse, il s’appuie sur le maillage triangulaire de matériaux texturés, « langage commun utilisé par les outils 3D ». C’est-à-dire que l’objet qui passe d’une photo 2D à un rendu 3D est composé de milliers de petits triangles assemblés entre eux (une technique existant depuis des décennies, les triangles devenant de plus en plus petits pour être encore plus précis). Une fois numérisé dans le moteur, l’objet peut alors être librement et plus simplement modifié en taille, en texture, en couleur ou selon l’éclairage souhaité par des designers ou artistes qui lui donnent alors une utilité comme élément de décor ultra-réaliste dans un jeu.

La puissance du GPU et de l’IA

Là est la force du travail accompli par l’IA de Nvidia Research : rendre réaliste et virtualisé n’importe quel objet du réel pris en photo. Nvidia espère convaincre ceux qui recouraient jusque-là à la photogrammétrie pour modéliser des objets à intégrer dans leurs créations, en leur offrant un gain de temps et d’énergie, mais aussi un outil facile à personnaliser, modifier, selon ses envies.

L’utilisateur récupérera alors un objet en 3D composé de tout petits triangles modifiables à l’unité, mais aussi de possibles matériaux d’origine passés en pixel (textures 2D superposées sur la 3D) et d’un éclairage pensé par l’IA et modifiable selon la future scène.

Nvidia a montré un exemple de sa technologie à partir de la création d’instruments de musique et l’on constate combien il est simple de modifier les textures ou de jouer avec les lumières de la scène depuis un moteur graphique. Pour chaque instrument, une centaine d’images ont été collectées sous différents angles, puis reconstruites en représentation 3D à animer. Pour la démo, Nvidia a évidemment utilisé sa plateforme de simulation Nvidia Omniverse 3D afin de les modifier.

N’importe quel créatif pourra ainsi intégrer à sa création un objet de son réel dans du virtuel en laissant Nvidia 3D MoMa se servir de sa technologie pour modéliser plus vrai que nature en quelques minutes. Vous trouviez que les jeux vidéo devenaient de plus en plus réalistes, cela ne va aller qu’en s’améliorant…