Project Nvidia G-Assist : on a vu en action le ChatGPT qui vous aide à finir vos jeux et bien plus encore

Pour son poisson d’avril de 2017, Nvidia présentait le projet fictif « G-Assist », une clé USB en forme de carte graphique GeForce GTX qui « tire parti de l’intelligence artificielle de pointe de NVIDIA pour vous apporter la prochaine révolution dans le domaine des jeux ». Une technologie pour jouer à votre place, en somme.

Huit ans après, Nvidia est devenue l’une des entreprises les plus valorisées au monde, leader incontestée de l’IA pour les entreprises, mais aussi pour les joueurs depuis l’arrivée du DLSS en 2022. Si le rêve de G-Assist n’est pas (encore) une réalité, le projet a refait parler de lui au Computex 2024 dans le cadre d’une démo technologique prometteuse : un véritable assistant IA pour vous aider dans vos jeux et applications.

Dans le cadre d’un voyage à Berlin au siège européen de Nvidia, nous avons pu de nouveau expérimenter cette « preuve de concept » qui pose toujours autant de questions.

Un tutoriel universel pour vos jeux

Si ce « Projet G-Assist » nous est présenté comme une simple démonstration technologique, son fonctionnement est bien réel et s’appuie en partie sur l’architecture des cartes graphiques GeForce RTX. Le logiciel prend ainsi en compte les demandes du joueur, qu’elles soient envoyées par texte ou vocalement, pour l’envoyer dans le cas présent à un serveur distant aux États-Unis. Le modèle prend ainsi en compte la demande du joueur et le contexte de jeu, à savoir la fenêtre de jeu en cours d’affichage.

Ainsi, dans le jeu ARK: Survival Ascended qui s’est associé à Nvidia pour cette démonstration, le joueur peut alors demander de l’aide pour bien débuter dans le jeu, notamment par quel moyen apprivoiser un dinosaure et quelle arme privilégier. L’assistant détecte alors les objets présents dans l’inventaire rapide, mais aussi les types de dinosaures présents à l’écran pour guider le joueur vers la marche à suivre.

De même, en affichant sa fiche de personnage complète ainsi que le reste de son inventaire, nous pouvions alors demander quel indicateur du personnage faire progresser en premier lieu. G-Assist nous répondait alors de monter en niveau sur la santé et la stamina en premier lieu, un conseil qui vaut d’ailleurs pour bon nombre de RPG dans les premières heures de jeu. On imagine très bien le même cas de figure dans un jeu comme Elden Ring, dans lequel G-Assist pourrait conseiller la montée en niveau sur les catégories Force ou Dextérité selon les armes privilégiées par le joueur.

Si les réponses restent uniquement vocales et textuelles, Nvidia nous dressait un champ des possibles assez large : il sera possible, en collaboration avec les développeurs, d’afficher des indications visuelles, des images du jeu ou des schémas pour enrichir l’aide apportée par G-Assist. Il serait même possible de montrer des séquences entières de jeu en fonction de la requête, en se basant notamment sur le chapitrage des vidéos YouTube ayant servi à entrainer le LLM.

C’est ce travail avec développeurs et éditeurs qui sera décisif dans la concrétisation du projet, car ils seront le liant entre G-Assist et la communauté. La plupart des wikis et bases de connaissance sur lesquels se basera l’assistant sont très majoritairement l’œuvre des joueurs eux-mêmes, ce sont donc leurs solutions qui seront à la base de l’entrainement du modèle IA derrière G-Assist. Ces mêmes contenus sont d’ailleurs cités en source pour les réponses plus complexes aux joueurs voulant aller plus loin.

Déceler les soucis de performances

Mais ce n’est pas le seul cas d’usage de G-Assist, qui peut vous donner des conseils pour optimiser la performance de vos jeux selon vos paramètres graphiques ainsi que votre configuration. Ici, l’outil agit comme une intégration poussée de GeForce Experience, et plus récemment Nvidia App, en se basant sur les profils Game Ready intégrés au pilote Nvidia à chaque mise à jour.

Mais l’intégration va encore plus loin, vous affichant notamment une analyse approfondie de votre historique de performance et de consommation énergétique tout en vous proposant des mesures d’optimisation. Si vous aviez l’habitude d’utiliser un outil comme Rivatuner pour arriver à votre propre conclusion, G-Assist veut ici vous mâcher le travail.

G-Assist agit comme un assistant branché à Nvidia App ou Geforce Experience, définissant le profil graphique que vous voulez selon vos requêtes. Pas besoin de se rendre dans le panneau de configuration, les paramètres Nvidia, mais aussi du jeu se changent en temps réel. Il peut même vous proposer des réglages d’overclocking ou même d’undervolting pour mieux gérer la consommation de votre matériel.

On regrette cependant que l’outil ne permette pas de vérifier certains paramètres de Windows, comme les différents programmes lancés en arrière-plan ou le mode d’alimentation. Les représentants de Nvidia sur place nous ont cependant laissés entendre qu’il pourrait être possible de connecter des LLM tiers à G-Assist, on peut donc imaginer une compatibilité avec l’assistant Copilot de Windows dans une version fantasmée de l’assistant.

Un assistant pour vos jeux… et vos applications ?

Rappelons que sous cette forme, G-Assist n’est qu’un embryon d’une solution encore en cours de conception chez Nvidia. Ses fonctionnalités ne sont pas encore fixées, la firme comptant sur la coopération des développeurs pour permettre à son logiciel d’atteindre son plein potentiel.

Vous vous souvenez de Clippy dans Microsoft Office ? G-Assist pourrait bien en être le digne successeur, et ce, sur n’importe quelle application. Imaginez-vous sur Photoshop ou Blender avec un assistant vous aidant pas à pas pour apprendre les rudiments de la création 3D ou de la retouche photographique.

Actuellement, vous pouvez demander à ChatGPT, Copilot ou Gemini de l’aide dans la maitrise de vos logiciels, les différents modèles allant chercher leurs réponses dans les manuels et wikis officiels. L’intégration de G-Assist serait un vrai plus dans leur apprentissage ou simplement l’aide ponctuelle apportée à leurs utilisateurs.

Encore ici, Nvidia ne ferme aucune porte quant aux possibilités offertes par G-Assist. Son fonctionnement hybride entre cloud et local l’ouvre à une multitude de cas d’usage. Encore faut-il, encore une fois, compter sur l’implication des développeurs. En attendant, la botte secrète de Nvidia reste une idée qui demander encore un peu de travail avec de se concrétiser.