Cet outil transforme vos gribouillis en chefs-d’œuvre artistiques

Scribble Diffusion est une application open-source qui transforme vos dessins faits à la main, accompagnés d’une description textuelle, en une œuvre d’art. Ce n’est pas le premier ni le dernier outil à transformer des gribouillis en dessins. AutoDraw pouvait déjà transformer des tracés en dessins, comme l’explique Numerama.

Basé sur ControlNet

L’outil est basé sur ControlNet, une structure de réseau neuronal développée par Lvmin Zhang et Maneesh Agrawala. Le modèle combine ControlNet avec Stable Diffusion. Il utilise ainsi votre gribouillis et du texte comme conditionnement pour diriger la génération d’images.

ControlNet récupère vos gribouillis et détecte ses contours à l’aide du détecteur de bordures Canny. D’autres outils sont utilisés, comme Openpose qui est un modèle de détection rapide de points clés. Ce dernier peut extraire des éléments précis, comme la position des mains.

À la fin, cela permet d’utiliser un croquis, même approximatif, et de le transformer en une image de haute qualité. Si vous êtes mauvais en dessin et que vous griffonnez un chien rapidement, en fournissant simplement l’indication « chien », ControlNet via Scribble Diffusion se charge de le métamorphoser en œuvre d’art. En gros, vous pouvez dessiner avec votre souris et l’IA s’occupe du reste. Vous pouvez accéder à Scribble Diffusion via ce lien, on a hâte de voir vos réalisations.

ControlNet n’a que trois semaines

Comme les récents outils d’OpenAI, ControlNet a été lancé il y a seulement trois semaines et les développeurs construisent déjà des applications avec cette technologie. Associé à Stable Diffusion, également en open-source, ces outils offrent aux développeurs et aux passionnés de machine learning de quoi expérimenter différents types de modèles.

Amazing AI

Télécharger gratuitement

Parmi les autres modèles, citons Riffusion, qui génère de la musique AI en temps réel en convertissant des images audio en audio. Cette approche consiste à affiner Stable Diffusion pour créer des spectrogrammes, qui sont des visualisations d’audio. Un autre modèle, Amazing AI, a été construit sur la base de Stable Diffusion 1.5 et fonctionne nativement sur macOS, vous n’avez pas besoin de connexion internet pour l’utiliser. Tous les calculs sont réalisés localement.