Le DLSS de Nvidia passe au Vision Transformer : c’est quoi et qu’est-ce que ça change ?

 
Le DLSS 4 s’améliore sur de nombreux aspects cette année, et on doit cette évolution majeure à une grande nouveauté : l’adoption du modèle Transformer. On vous explique en quoi la technologie de Nvidia fait encore un bond en avant.
Nvidia

Nvidia a profité de l’annonce de ses prochaines cartes graphiques GeForce RTX 50 pour dévoiler le DLSS 4, la nouvelle version majeure de sa boite à outils IA pour augmenter les performances de vos jeux. On ne parle plus désormais de Super Resolution (ou upscaling), mais aussi de génération d’images et de ray reconstruction.

C’est Bryan Catanzaro, le grand manitou du Deep Learning chez Nvidia, qui l’a déclaré : il s’agit de la mise à jour la plus importante du DLSS depuis 2020. La grande nouveauté réside dans l’adoption d’un tout nouveau modèle, le Vision Transformer. On vous explique son fonctionnement et surtout en quoi il change la donne pour le DLSS.

DLSS 4 passe au Vision Transformer

Jusqu’à maintenant, le DLSS exploitait un réseau neuronal convolutif ou CNN (convolutional neural network), qui fonctionne sur la base d’une agrégation locale des données, en analysant des zones précises de l’image sur plusieurs images successives. C’est aussi le choix adopté par Sony pour sa technologie PSSR sur PS5 Pro ainsi que la base de travail du Project Amethyst pour la future PS6.

Le DLSS 4 adopte désormais le modèle Vision Transformer bien plus récent, basé sur le modèle Transformer utilisé dans des applications comme ChatGPT ou même Sora, l’IA générative vidéo d’OpenAI. Ce nouveau modèle utilise un mécanisme dit d’autoattention, qui peut évaluer l’importance de chaque pixel entre eux au sein du même ainsi d’une même image, toujours sur plusieurs images successives. Cela permet ainsi au DLSS 4 d’avoir une meilleure compréhension des scènes 3D les plus complexes en se concentrant sur les détails et éléments les plus complexes à reconstruire à la définition native de votre écran.

L’image est divisée en zones (patchs) pour une meilleure compréhension relative des éléments qui la composent // Source : LeewayHertz

Selon Bryan Catanzaro lors d’un briefing auquel à assisté Frandroid au CES de Las Vegas, le modèle Transformer est « beaucoup plus stable » et peut « être entrainé sur des ensembles de données bien plus importants ». S’il est plus efficient énergétiquement, cela permet à Nvidia de quadrupler sa puissance de calcul par rapport aux versions précédentes. Et pour les joueurs, les avantages sont nombreux.

Ce qu’apporte ce nouveau modèle

En exploitant un modèle qui peut analyser les zones les plus complexes d’une image pour y focaliser sa puissance de calcul, le DLSS 4 peut en théorie gommer certaines limitations de la technologie. Tous les aspects du DLSS sont concernés : Super Resolution, Frame Generation, Ray Reconstruction et même DLAA, la solution d’antialiasing de Nvidia.

Les différentes démonstrations de Nvidia nous ont en effet montré des phénomènes de scintillements ou de ghosting parfois éliminés sur des éléments comme des grillages ou ventilateurs dans Alan Wake 2 et Ratchet & Clank : Rift Apart. Globalement, on peut donc s’attendre à une meilleure stabilité temporelle de l’image dans les scènes les plus complexes à « reconstruire » par le modèle.

Alan Wake 2 // Source : Nvidia

Avec une meilleure compréhension de la scène et ses différents éléments, le modèle Vision Transformer améliore la reconstruction de l’image, à savoir l’upscaling de la définition interne jusqu’à la définition native de votre écran. En attendant de pouvoir tester plus en détail, on a déjà pu en faire l’expérience au CES de Las Vegas, sur des jeux comme Cyberpunk 2077 et Alan Wake 2.

La qualité des textures peut s’améliorer selon les jeu, avec la ray reconstruction activée // Source : Digital Foundry

La qualité de l’image globale, notamment dans des scénarios ray tracing et path tracing, semble avoir fait un bond en avant. Dans ce contexte, les modes Performance et Ultra Performance gagnent en clarté, ce qui s’avère très utile pour les jeux les plus gourmands. En attendant de pouvoir tester plus en détail, le modèle Transformer permet au DLSS de Nvidia de prendre encore une avance considérable par rapport à ses concurrents, malgré un FSR4 prometteur du côté de chez AMD.


Chaque matin, WhatsApp s’anime avec les dernières nouvelles tech. Rejoignez notre canal Frandroid pour ne rien manquer !