Comment générer des images par IA sur son propre PC avec Comfy UI et une carte graphique Nvidia ?

Générer des images via une IA générative est un processus de plus en plus commun pour les artistes. Pourtant, cela nécessite actuellement de passer par des entreprises tierces, monopoliser d’importantes ressources via des baies de serveurs et qui coûte souvent une coquette somme.

On le sait moins, mais il est pourtant possible de faire tourner des IA en local, sans internet et sur son propre ordinateur. Il faut “simplement” être équipé du bon matériel et de bonnes applications. Dans ce domaine, Nvidia a une longueur d’avance. Ses cartes graphiques de dernière génération, équipées des fameux Tensor Core, sont déjà capables de faire tourner des IA en local depuis quelques mois maintenant.

Pourquoi s’intéresser aux outils d’IA génératives d’images disponibles en local alors que des services spécialisés et mieux entrainés offrent des résultats plus pertinents ?

Tout simplement parce que l’IA générative en est encore à ses prémices et qu’elle va continuer de se développer au fil du temps. Dans quelques années, aucun doute que la génération d’image fixe ou animée sera devenue un standard pour tous les métiers créatifs. Il est donc important, à la fois de comprendre, ces outils, mais aussi de pouvoir les utiliser indépendamment des services payants.

Comfy UI, une avancée majeure dans le domaine de la génération d’images

Toute la difficulté de faire tourner des IA en local ou de générer du texte et des images provient des applications à utiliser. Dans le domaine de la génération d’image, il existe déjà Automatic1111 Web UI, une référence dans le domaine. Automatic1111 Web UI a toutefois un défaut : cette application est difficile à prendre en main et son installation est fastidieuse.

Ce n’est pas le cas de Comfy UI. L’interface graphique, récemment lancée, permet de faire tourner des modèles de génération d’image basée sur Stable Diffusion, en local. On vous explique comment l’installer et comment s’en servir.

Comment fonctionne Comfy UI ?

Comfy UI est un environnement graphique qui permet d’utiliser Stable diffusion, en local, via différents modèles préinstallés ou créés de zéro.

L’interface épurée permet de dissocier les étapes de générations en blocs appelés “nodes”. Chaque node répond à une fonction particulière comme la rédaction d’un prompt, le processing menant à la création d’image, un mode d’affichage… jusqu’au node de rendu de l’image générée.

Tous ces petits blocs, une fois reliés entre eux, permettent de générer une image. Pour que le processus se passe bien, quelques nodes doivent impérativement être placés dans le parcours, mais nous y reviendrons plus tard.

Quelle configuration pour utiliser confortablement Comfy UI ?

ComfyUI permet de générer des images en local en utilisant l’IA générative de Stable Diffusion. Les ressources nécessaires pour faire tourner confortablement l’interface graphique et l’IA sont donc conséquentes.

Côté GPU, il faut une carte graphique de génération 30 ou 40 de Nvidia. Les Nvidia RTX de type 3060 et au-delà sont fortement recommandées. Il est également conseillé d’avoir, a minima, 4 Go d’espace disque vidéo disponible.

Préférer une carte graphique Nvidia RTX présente, en effet, plusieurs avantages, à commencer par la vitesse de calcul. Les ordinateurs équipés de cartes graphiques Nvidia RTX, présentent, en effet, de bien meilleurs résultats lorsqu’il s’agit de traiter efficacement un grand nombre d’informations. Ce qui s’avère indispensable si vous devez utiliser les outils d’intelligence artificiels comme Comfy UI ou encore ChatWithRTX.

La présence des cœurs Tensor Core optimisés pour l’intelligence artificielle est également l’un des atouts des dernières cartes graphiques Nvidia RTX. Ils accélèrent et améliorent les capacités de traitement entre les données présentes en local et l’interface graphique Comfy UI.

Côté système d’exploitation, les versions de Windows 10 et au-delà sont nécessaires pour faire tourner le logiciel sur votre machine.

Où trouver et comment installer la dernière version de Comfy UI ?

Si votre configuration correspond, vous pourrez alors installer l’interface Comfy UI sur votre ordinateur Windows. Pour cela, il vous suffit de télécharger la dernière version de Comfy UI depuis cette page.

Le package, très complet, comprend un script qui s’exécute automatiquement dans le terminal Windows et qui lance Comfy UI une fois installé.

Il vous suffit enfin de télécharger modèles disponibles et ressources diverses sur la page GitHub dédiée et d’installer vos modèles préférées dans le dossier ComfyUI>models>checkpoints.

Premier pas avec Comfy UI

Si l’interface peut sembler aride de prime abord, après quelques heures d’utilisation, vous constaterez qu’elle est, somme toute, assez intuitive, lorsque que l’on appréhende les bases :

Il y a deux choses primordiales à comprendre pour bien se servir de l’interface :

• le placement des nodes est important ;
• comprendre comment se lient les nodes entre eux est indispensable.

Pour les nodes, quelques bases sont à retenir :

• le node intitulé “unCLIPCheckpointLoader” est toujours le premier et indispensable node à placer en début de parcours pour générer vos images, car il permet de choisir le modèle de génération d’image que vous souhaitez utiliser.
• Le node intitulé “Save Image” est à placer en toute fin de parcours et vous permettra de visualiser et sauvegarder vos images générées via Stable Diffusion.
• Un node de traitement de prompt intitulé “Ksampler” est également à placer impérativement dans votre espace de travail puisqu’il fera office de traducteur pour que votre bloc de prompt (intitulé CLIP Text Encode) soit compris et traité par l’interface.

En ce qui concerne les liens entre les différents nodes, il y a deux choses à garder en tête. La première, et surement la plus importante, concerne la couleur des liens : deux nodes possédants des points de même couleur peuvent être liés entre eux. Ceux qui ne présentent aucun point de couleur communs n’ont malheureusement rien à faire ensemble.

Second point d’importance, si vous n’avez aucune idée du type de node à placer à côté du node que vous venez de créer, il vous suffit de faire un appui long sur un point de couleur, de déplacer votre curseur sur une zone vide de votre workflow. Ensuite, Comfy UI va automatiquement vous proposer d’ajouter un node compatible avec celui que vous avez créé précédemment.

Comprendre ces bases, c’est comprendre la manière dont fonctionne Comfy UI. Bien sûr, les interfaces et les modèles sont totalement personnalisables et peuvent être très complexes pour générer des rendus extrêmement précis. Pour approfondir votre apprentissage de Comfy UI, de nombreuses ressources sont disponibles sur la page GitHub, mais également sur le subreddit dédié à Comfy UI.

Une carte graphique Nvidia pour tous vos usages

Que vous soyez néophyte ou professionnel dans l’utilisation des outils d’intelligence artificielle, Nvidia a pensé à vous avec un large choix de cartes graphiques RTX.

Pour les professionnels qui ont besoin d’une machine extrêmement puissante, une tour intégrant deux cartes graphiques Nvidia RTX 4080 Super est fortement conseillée.

Pour les utilisateurs chevronnés qui n’ont cependant pas besoin d’utiliser de manière professionnelle les outils d’IA, un PC plus abordable, mais néanmoins puissant est une base de travail solide.

Enfin, pour ceux qui préfèrent la satisfaction du travail manuel et qui veulent monter leur propre tour pour un usage personnel comme professionnel, s’équiper d’une carte graphique Nvidia RTX 4070 Ti Super est la meilleure solution.