Les graphiques DLSS de Nvidia expliqués
DLSS signifie Deep Learning Super Sampling. C’est un type de technique de rendu vidéo qui cherche à augmenter les fréquences d’images en rendant les images à une résolution inférieure à celle affichée et en utilisant l’apprentissage en profondeur, un type d’IA, pour augmenter les images afin qu’elles soient aussi nettes que prévu à la résolution native. Par exemple, avec DLSS, les images d’un jeu peuvent être rendues à une résolution de 1080p , ce qui rend des fréquences d’images plus élevées plus accessibles, puis agrandies et sorties à une résolution de 4K , apportant une qualité d’image plus nette sur 1080p.
Il s’agit d’une alternative aux autres techniques de rendu – comme l’anti-aliasing temporel (TAA), un algorithme de post-traitement – qui nécessite une carte graphique RTX et la prise en charge du jeu (voir la section Jeux DLSS ci-dessous). Les jeux qui fonctionnent à des fréquences d’images plus faibles ou à des résolutions plus élevées bénéficient le plus de DLSS.
Selon Nvidia , DLSS 2.0, la version la plus courante, peut augmenter les fréquences d’images de 200 à 300 % (voir la section DLSS 2.0 ci-dessous pour en savoir plus). Le DLSS d’origine est dans beaucoup moins de jeux et nous l’avons trouvé moins efficace, mais Nvidia dit qu’il peut augmenter les fréquences d’images “de plus de 70%”. Le DLSS peut s’avérer très utile, même avec les meilleures cartes graphiques , lorsque vous jouez à haute résolution ou avec le lancer de rayons , qui peuvent tous deux entraîner une baisse substantielle des fréquences d’images par rapport à 1080p.
D’après notre expérience, il est difficile de faire la différence entre un jeu rendu en 4K natif et un rendu en 1080p et upscalé en 4K via DLSS 2.0 (c’est le mode “performance” avec upscaling 4x). En mouvement, il est presque impossible de faire la différence entre DLSS 2.0 en mode qualité (c’est-à-dire 1440p converti en 4K), bien que les gains de performances ne soient pas aussi importants.
Pour une comparaison de l’impact du DLSS sur les performances du jeu avec le lancer de rayons , voir : AMD vs Nvidia : quels GPU sont les meilleurs pour le lancer de rayons ? . Dans ces tests, nous n’avons utilisé que DLSS 2.0 en mode qualité (upscaling 2x), et les gains sont encore assez importants dans les jeux les plus exigeants.
Lorsque DLSS a été publié pour la première fois, Nvidia a affirmé qu’il présentait une stabilité temporelle et une clarté d’image supérieures à celles du TAA. Bien que cela puisse être techniquement vrai, cela varie en fonction du jeu et nous préférons de loin DLSS 2.0 à DLSS 1.0. Un représentant Nvidia nous a confirmé que, étant donné que DLSS nécessite une quantité fixe de temps GPU par image pour exécuter le réseau de neurones d’apprentissage en profondeur, les jeux fonctionnant à des fréquences d’images élevées ou à des résolutions faibles n’ont peut-être pas connu d’amélioration des performances avec DLSS 1.0.
Vous trouverez ci-dessous une vidéo de Nvidia (prenez-la donc avec un grain de sel), comparant le gameplay de Cyberpunk 2007 à la fois en résolution 1440p et en 4K avec DLSS 2.0 activé contre DLSS 2.0 désactivé.
DLSS n’est disponible qu’avec les cartes graphiques RTX, mais la version AMD de la technologie, AMD Fidelity FX Super Resolution (FSR) fera ses débuts le 22 juin et est indépendante du GPU, ce qui signifie qu’elle fonctionnera sur Nvidia et même sur les GPU Intel qui ont le matériel nécessaire. fonctionnalités. Au moins 10 studios de jeux revendiqueront l’adoption de FSR parmi leurs jeux et moteurs cette année.
Nous nous attendons également à ce que la prochaine Nintendo Switch ait DLSS via un SoC intégré conçu par Nvidia.
Liste des Jeux DLSS
Pour utiliser DLSS, vous avez besoin d’une carte graphique RTX et devez jouer à un jeu prenant en charge cette fonctionnalité. Vous pouvez trouver une liste complète des jeux annoncés pour avoir DLSS via Nvidia et ci-dessous.
- Au milieu du mal
- Hymne
- L’aventure d’Aron
- Champ de bataille V
- Mémoire lumineuse
- Call of Duty : Guerre froide des Black Ops
- Call of Duty: Modern Warfare
- Call of Duty : Zone de guerre
- Contrôler
- CRSED : FOAD (Anciennement Cuisine Royale)
- Crysis remasterisé
- Cyberpunk 2077
- Échouement de la mort
- Livre-nous la lune
- Destin éternel
- Décès : 1983
- Bord de l’éternité
- Enrôlé
- Everspace 2
- F1 2020
- Final Fantasy XV
- Fortnite
- Ghostrunner
- Gu Jian Qi Tan en ligne
- Icare
- Conflit de fer
- Justice
- Le voyage du constructeur LEGO
- Les Vengeurs de Marvel
- MechWarrior 5: Mercenaires
- Métro Exode
- Metro Exodus PC Édition améliorée
- Minecraft avec RTX pour Windows 10
- Chasseur de monstres : Monde
- Lame clair de lune
- Carapace mortelle
- Mount & Blade II: Bannerlord
- No Man’s Sky
- Nioh 2 – L’édition complète
- Cavaliers
- Jack citrouille
- Rainbow Six Siège
- Red Dead Redemption 2
- Redout : assaut spatial
- Charognards
- L’Ombre du Tomb Raider
- Choc du système
- L’Ascension
- Les bois fabuleux
- Le moyen
- La persistance
- Tonnerre de guerre
- Chiens de garde : Légion
- Wolfenstein : Youngblood
- Épée Xuan-Yuan VII
Notez qu’Unreal Engine et Unity Engine prennent tous deux en charge DLSS 2.0, ce qui signifie que les jeux utilisant ces moteurs devraient pouvoir implémenter facilement DLSS.
DLSS 2.0 et DLSS 2.1
En mars 2020, Nvidia a annoncé DLSS 2.0 , une version mise à jour de DLSS qui utilise un nouveau réseau de neurones d’apprentissage en profondeur censé être jusqu’à 2 fois plus rapide que DLSS 1.0 car il exploite plus efficacement les processeurs AI des cartes RTX, appelés Tensor Cores. Ce réseau plus rapide permet également à l’entreprise de supprimer toutes les restrictions sur les GPU, les paramètres et les résolutions pris en charge.
Le DLSS 2.0 est également censé offrir une meilleure qualité d’image tout en promettant jusqu’à 2 à 3 fois la fréquence d’images (en mode de performance 4K) par rapport à l’augmentation d’environ 70 % des images par seconde du prédécesseur. En utilisant le mode de performance 4K de DLSS 2.0, Nvidia affirme qu’une carte graphique RTX 2060 peut exécuter des jeux avec des paramètres maximum à une fréquence d’images jouable. Encore une fois, un jeu doit prendre en charge DLSS 2.0, et vous avez besoin d’une carte graphique RTX pour en profiter.
Le DLSS d’origine était apparemment limité à environ 2x upscaling (Nvidia ne l’a pas confirmé directement), et de nombreux jeux limitaient son utilisation. Par exemple, dans Battlefield V , si vous possédez un GPU RTX 2080 Ti ou plus rapide, vous ne pouvez activer DLSS qu’en 4K, et non en 1080p ou 1440p. C’est parce que la surcharge de DLSS 1.0 l’emportait souvent sur tout avantage potentiel à des résolutions inférieures et à des fréquences d’images élevées.
En septembre 2020 , Nvidia a publié DLSS 2.1, qui a ajouté un mode Ultra Performance pour les jeux à très haute résolution (upscaling 9x), la prise en charge des jeux VR et la résolution dynamique. Ce dernier, a déclaré un représentant de Nvidia à Tom’s Hardware, signifie que “Le tampon d’entrée peut changer de dimensions d’une image à l’autre tandis que la taille de sortie reste fixe. Si le moteur de rendu prend en charge la résolution dynamique, DLSS peut être utilisé pour effectuer la mise à l’échelle requise vers le résolution d’affichage.” Notez que vous entendrez souvent des personnes se référer à la fois à la mise à jour DLSS 2.0 d’origine et à la mise à jour 2.1 comme “DLSS 2.0”.
Modes sélectionnables DLSS 2.0
L’un des changements les plus notables entre le DLSS original et la version sophistiquée du DLSS 2.0 est l’introduction de modes de qualité d’image sélectionnables : Qualité, Équilibré ou Performance – et Ultra Performance avec 2.1. Cela affecte la résolution de rendu du jeu, avec des performances améliorées mais une qualité d’image inférieure au fur et à mesure que vous parcourez cette liste.
Avec 2.0, le mode Performance offrait le plus grand saut, en passant de 1080p à 4K. C’est une mise à l’échelle 4x (2x largeur et 2x hauteur). Le mode équilibré utilise une mise à l’échelle 3x et le mode qualité utilise une mise à l’échelle 2x. Le mode Ultra Performance introduit avec DLSS 2.1 utilise une mise à l’échelle 9x et est principalement destiné aux jeux en résolution 8K (7680 x 4320) avec le RTX 3090 . Bien qu’il puisse techniquement être utilisé à des résolutions cibles inférieures, les artefacts de mise à l’échelle sont très visibles, même en 4K ( mise à l’échelle 720p ). Fondamentalement, DLSS a une meilleure apparence car il utilise plus de pixels pour travailler, donc bien que 720p à 1080p semble bon, le rendu à des résolutions de 1080p ou plus permettra d’obtenir un meilleur résultat final.
Comment tout cela affecte-t-il les performances et la qualité par rapport au DLSS d’origine ? Pour une idée, nous pouvons nous tourner vers Control , qui avait à l’origine DLSS 1.0 et a ensuite reçu le support DLSS 2.0 lors de sa sortie. (Rappelez-vous, l’image suivante provient de Nvidia, il serait donc sage de la prendre aussi avec un grain de sel.)
L’une des améliorations que DLSS 2.0 est censé apporter est une excellente qualité d’image dans les zones avec des objets en mouvement. Le rendu mis à jour dans l’image du ventilateur ci-dessus est bien meilleur que l’image utilisant DLSS 1.0, qui semblait en fait nettement pire que d’avoir DLSS désactivé.
DLSS 2.0 est également censé apporter une amélioration par rapport au DLSS standard dans les zones de l’image où les détails sont plus subtils.
Nvidia a promis que DLSS 2.0 entraînerait une plus grande adoption du jeu. En effet, le DLSS d’origine nécessitait la formation du réseau d’IA pour chaque nouveau jeu nécessitant une prise en charge DLSS. DLSS 2.0 utilise un réseau généralisé, ce qui signifie qu’il fonctionne sur tous les jeux et est formé à l’aide de “contenu non spécifique au jeu”, selon Nvidia.
Pour qu’un jeu prenne en charge le DLSS d’origine, le développeur devait l’implémenter, puis le réseau d’IA devait être formé spécifiquement pour ce jeu. Avec DLSS 2.0, cette dernière étape est éliminée. Le développeur du jeu doit encore implémenter DLSS 2.0, mais cela devrait prendre beaucoup moins de travail, car il s’agit d’un réseau d’IA général. Cela signifie également que les mises à jour du moteur DLSS (dans les pilotes) peuvent améliorer la qualité des jeux existants. Unreal Engine 4 et Unity ont tous deux également ajouté le support DLSS 2.0, ce qui signifie qu’il est trivial pour les jeux basés sur ces moteurs d’activer la fonctionnalité.
Comment fonctionne le DLSS ?
Le DLSS et le DLSS 2.0 d’origine fonctionnent tous deux avec le superordinateur NGX de Nvidia pour la formation de leurs réseaux d’IA respectifs, ainsi que les cœurs Tensor des cartes RTX, qui sont utilisés pour le rendu basé sur l’IA.
Pour qu’un jeu obtienne la prise en charge de DLSS 1.0, Nvidia a d’abord dû former le réseau neuronal DLSS AI, un type de réseau AI appelé autoencodeur convolutif, avec NGX. Il a commencé par montrer au réseau des milliers de captures d’écran du jeu, chacune avec un anticrénelage de suréchantillon 64x. Nvidia a également montré les images du réseau de neurones qui n’utilisaient pas l’anti-aliasing. Le réseau a ensuite comparé les prises de vue pour apprendre à « approximer la qualité » de l’image anticrénelée suréchantillon 64x en utilisant des images source de qualité inférieure. L’objectif était une meilleure qualité d’image sans trop nuire au framerate.Publicité
Le réseau d’IA répéterait ensuite ce processus, en peaufinant ses algorithmes en cours de route afin qu’il puisse éventuellement se rapprocher de la qualité 64x avec les images de qualité de base via l’inférence. Le résultat final était “l’anticrénelage approchant la qualité de [64x Super Sampled], tout en évitant les problèmes associés au TAA, tels que le flou sur tout l’écran, le flou basé sur le mouvement, les images fantômes et les artefacts sur les transparences”, a expliqué Nvidia en 2018.
DLSS utilise également ce que Nvidia appelle des “techniques de rétroaction temporelle” pour garantir des détails nets dans les images du jeu et une “stabilité améliorée d’une image à l’autre”. Le retour temporel est le processus d’application de vecteurs de mouvement, qui décrivent les directions dans lesquelles les objets de l’image se déplacent à travers les images, à la sortie de résolution native/plus élevée, afin que l’apparence de l’image suivante puisse être estimée à l’avance.
DLSS 2.0 obtient son accélération grâce à son réseau d’IA mis à jour qui utilise plus efficacement les cœurs Tensor, permettant de meilleures fréquences d’images et l’élimination des limitations sur les GPU, les paramètres et les résolutions. Team Green indique également que DLSS 2.0 ne restitue que 25 à 50 % des pixels (et seulement 11 % des pixels pour le mode Ultra Performance DLSS 2.1) et utilise de nouvelles techniques de rétroaction temporelle pour des détails encore plus nets et une meilleure stabilité par rapport au DLSS d’origine.
Le supercalculateur NGX de Nvidia doit encore entraîner le réseau DLSS 2.0, qui est également un auto-encodeur à convolution. Selon Nvidia, deux éléments entrent en jeu : « images aliasées en basse résolution rendues par le moteur de jeu » et « vecteurs de mouvement basse résolution à partir des mêmes images – également générés par le moteur de jeu ».
DLSS 2.0 utilise ces vecteurs de mouvement pour le retour temporel, que l’auto-encodeur à convolution (ou réseau DLSS 2.0) effectue en prenant “l’image actuelle basse résolution et l’image précédente haute résolution pour déterminer pixel par pixel comment générer une image plus élevée cadre actuel de qualité”, comme le dit Nvidia.
Le processus de formation pour le réseau DLSS 2.0 comprend également la comparaison de la sortie d’image à une image de référence « de très haute qualité » rendue hors ligne en résolution 16K (15360 x 8640). Les différences entre les images sont envoyées au réseau d’IA pour apprentissage et améliorations. Le supercalculateur de Nvidia exécute ce processus à plusieurs reprises, sur potentiellement des dizaines de milliers, voire des millions d’images de référence au fil du temps, créant ainsi un réseau d’IA entraîné capable de produire de manière fiable des images avec une qualité et une résolution satisfaisantes.Publicité
Avec DLSS et DLSS 2.0, une fois la formation du réseau AI pour le nouveau jeu terminée, le supercalculateur NGX envoie les modèles AI à la carte graphique Nvidia RTX via les pilotes GeForce Game Ready. À partir de là, votre GPU peut utiliser la puissance de l’IA de ses Tensor Cores pour exécuter le DLSS 2.0 en temps réel avec le jeu pris en charge.
Parce que DLSS 2.0 est une approche générale plutôt que d’être entraîné par un seul jeu, cela signifie également que la qualité de l’algorithme DLSS 2.0 peut s’améliorer au fil du temps sans qu’un jeu n’ait besoin d’inclure des mises à jour de Nvidia. Les mises à jour résident dans les pilotes et peuvent avoir un impact sur tous les jeux qui utilisent DLSS 2.0.
