Nvidia a profité de l’annonce de ses prochaines cartes graphiques GeForce RTX 50 pour dévoiler le DLSS 4, la nouvelle version majeure de sa boite à outils IA pour augmenter les performances de vos jeux. On ne parle plus désormais de Super Resolution (ou upscaling), mais aussi de génération d’images et de ray reconstruction.
C’est Bryan Catanzaro, le grand manitou du Deep Learning chez Nvidia, qui l’a déclaré : il s’agit de la mise à jour la plus importante du DLSS depuis 2020. La grande nouveauté réside dans l’adoption d’un tout nouveau modèle, le Vision Transformer. On vous explique son fonctionnement et surtout en quoi il change la donne pour le DLSS.
DLSS 4 passe au Vision Transformer
Jusqu’à maintenant, le DLSS exploitait un réseau neuronal convolutif ou CNN (convolutional neural network), qui fonctionne sur la base d’une agrégation locale des données, en analysant des zones précises de l’image sur plusieurs images successives. C’est aussi le choix adopté par Sony pour sa technologie PSSR sur PS5 Pro ainsi que la base de travail du Project Amethyst pour la future PS6.
Le DLSS 4 adopte désormais le modèle Vision Transformer bien plus récent, basé sur le modèle Transformer utilisé dans des applications comme ChatGPT ou même Sora, l’IA générative vidéo d’OpenAI. Ce nouveau modèle utilise un mécanisme dit d’autoattention, qui peut évaluer l’importance de chaque pixel entre eux au sein du même ainsi d’une même image, toujours sur plusieurs images successives. Cela permet ainsi au DLSS 4 d’avoir une meilleure compréhension des scènes 3D les plus complexes en se concentrant sur les détails et éléments les plus complexes à reconstruire à la définition native de votre écran.
Selon Bryan Catanzaro lors d’un briefing auquel à assisté Frandroid au CES de Las Vegas, le modèle Transformer est « beaucoup plus stable » et peut « être entrainé sur des ensembles de données bien plus importants ». S’il est plus efficient énergétiquement, cela permet à Nvidia de quadrupler sa puissance de calcul par rapport aux versions précédentes. Et pour les joueurs, les avantages sont nombreux.
Ce qu’apporte ce nouveau modèle
En exploitant un modèle qui peut analyser les zones les plus complexes d’une image pour y focaliser sa puissance de calcul, le DLSS 4 peut en théorie gommer certaines limitations de la technologie. Tous les aspects du DLSS sont concernés : Super Resolution, Frame Generation, Ray Reconstruction et même DLAA, la solution d’antialiasing de Nvidia.
Les différentes démonstrations de Nvidia nous ont en effet montré des phénomènes de scintillements ou de ghosting parfois éliminés sur des éléments comme des grillages ou ventilateurs dans Alan Wake 2 et Ratchet & Clank : Rift Apart. Globalement, on peut donc s’attendre à une meilleure stabilité temporelle de l’image dans les scènes les plus complexes à « reconstruire » par le modèle.
Avec une meilleure compréhension de la scène et ses différents éléments, le modèle Vision Transformer améliore la reconstruction de l’image, à savoir l’upscaling de la définition interne jusqu’à la définition native de votre écran. En attendant de pouvoir tester plus en détail, on a déjà pu en faire l’expérience au CES de Las Vegas, sur des jeux comme Cyberpunk 2077 et Alan Wake 2.
La qualité de l’image globale, notamment dans des scénarios ray tracing et path tracing, semble avoir fait un bond en avant. Dans ce contexte, les modes Performance et Ultra Performance gagnent en clarté, ce qui s’avère très utile pour les jeux les plus gourmands. En attendant de pouvoir tester plus en détail, le modèle Transformer permet au DLSS de Nvidia de prendre encore une avance considérable par rapport à ses concurrents, malgré un FSR4 prometteur du côté de chez AMD.
Chaque matin, WhatsApp s’anime avec les dernières nouvelles tech. Rejoignez notre canal Frandroid pour ne rien manquer !
Ce contenu est bloqué car vous n'avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Disqus.
Pour pouvoir le visualiser, vous devez accepter l'usage étant opéré par Disqus avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l'amélioration des produits d'Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l'audience de ce site (en savoir plus)
En cliquant sur « J’accepte tout », vous consentez aux finalités susmentionnées pour l’ensemble des cookies et autres traceurs déposés par Humanoid et ses partenaires.
Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d’informations, nous vous invitons à prendre connaissance de notre Politique cookies.
Gérer mes choix