Grâce à l’IA, Nvidia veut révolutionner les PNJ dans les jeux vidéo

L’intelligence artificielle pourrait bien changer beaucoup de choses dans les nouvelles technologies et dans les usages que nous en faisons. Les jeux vidéo ne sont pas mis de côté, comme le montre Nvidia au salon Computex 2023. Par ailleurs, lors de ce salon, Nvidia et Asus ont présenté un serveur faisant fonctionner un concurrent de ChatGPT.

L’intelligence artificielle de Nvidia : Ace

Avec Ace, pour Avatar Cloud Engine, Nvidia « vise à transformer les jeux en apportant de l’intelligence aux personnages non jouables (PNJ) grâce à des interactions en langage naturel alimentées par l’IA. » Cet outil est destiné aux développeurs de jeux vidéo et va principalement servir à la parole, à la conversation et à l’animation de personnages.

Au-delà de cela, l’intérêt est stratégique pour Nvidia : l’entreprise se rêve en « fer de lance » sur l’IA générative dans les jeux vidéo. D’ailleurs, cela commence déjà à lui rapporter de l’argent : sa valeur a dépassé les 1000 milliards de dollars, rapporte The Verge. Et ce grâce à la vente de cartes graphiques utilisées dans les supercalculateurs requis au fonctionnement des modèles d’IA.

Comment créer des personnages réalistes grâce à l’IA

En réalité, Nvidia Ace est essentiellement la combinaison de plusieurs modèles. Il y a tout d’abord NeMo, un grand modèle de langage (LLM) qui « permet de créer des histoires et des personnalités de personnages spécifiques qui correspondent à l’univers de jeu du développeur. » Ce n’est pas sans rappeler un mod de jeu basé sur ChatGPT pour donner vie aux personnages. Avec le composant Guardrails, Nvidia veut aligner les interactions des joueurs sur les PNJ.

Autre modèle d’IA, Riva, qui peut reconnaître la parole, mais qui est aussi une synthèse vocale. Il a pour but de mettre en place une conversation vocale en direct avec NeMo, qui s’occupe de générer textuellement les réponses. On compte également Omniverse Audio2Face, « qui crée instantanément des animations faciales expressives pour les personnages de jeux à partir d’une simple source audio ».

Des expressions faciales qui sont ajoutées aux personnages MetaHuman. Pour rappel, il s’agit d’un outil d’animation et de graphisme du moteur de jeu Unreal Engine, qui arrive à produire des visages très réalistes.

Une démonstration assez impressionnante de l’IA

Pour montrer les capacités d’Ace, Nvidia a publié une vidéo de démonstration sur YouTube, en collaboration avec la start-up Convai, qui développe une plateforme dédiée à la création de personnages par IA dans des univers virtuels.

Le principal défi de cette technologie est bien sûr la latence. Il est nécessaire que la génération textuelle des réponses soit assez rapide pour que la réponse ne prenne pas trop de temps et ne casse pas l’immersion. Cela s’ajoute à l’animation des bouches et des visages des personnages, qui doit se faire en temps réel. Nvidia assure tout de même que cette démonstration a été réalisée en temps réel sur une machine avec une carte graphique GeForce RTX.