Scribble Diffusion est une application open-source qui transforme vos dessins faits à la main, accompagnés d’une description textuelle, en une œuvre d’art. Ce n’est pas le premier ni le dernier outil à transformer des gribouillis en dessins. AutoDraw pouvait déjà transformer des tracés en dessins, comme l’explique Numerama.
Basé sur ControlNet
L’outil est basé sur ControlNet, une structure de réseau neuronal développée par Lvmin Zhang et Maneesh Agrawala. Le modèle combine ControlNet avec Stable Diffusion. Il utilise ainsi votre gribouillis et du texte comme conditionnement pour diriger la génération d’images.
ControlNet récupère vos gribouillis et détecte ses contours à l’aide du détecteur de bordures Canny. D’autres outils sont utilisés, comme Openpose qui est un modèle de détection rapide de points clés. Ce dernier peut extraire des éléments précis, comme la position des mains.
À la fin, cela permet d’utiliser un croquis, même approximatif, et de le transformer en une image de haute qualité. Si vous êtes mauvais en dessin et que vous griffonnez un chien rapidement, en fournissant simplement l’indication « chien », ControlNet via Scribble Diffusion se charge de le métamorphoser en œuvre d’art. En gros, vous pouvez dessiner avec votre souris et l’IA s’occupe du reste. Vous pouvez accéder à Scribble Diffusion via ce lien, on a hâte de voir vos réalisations.
ControlNet n’a que trois semaines
Comme les récents outils d’OpenAI, ControlNet a été lancé il y a seulement trois semaines et les développeurs construisent déjà des applications avec cette technologie. Associé à Stable Diffusion, également en open-source, ces outils offrent aux développeurs et aux passionnés de machine learning de quoi expérimenter différents types de modèles.
Parmi les autres modèles, citons Riffusion, qui génère de la musique AI en temps réel en convertissant des images audio en audio. Cette approche consiste à affiner Stable Diffusion pour créer des spectrogrammes, qui sont des visualisations d’audio. Un autre modèle, Amazing AI, a été construit sur la base de Stable Diffusion 1.5 et fonctionne nativement sur macOS, vous n’avez pas besoin de connexion internet pour l’utiliser. Tous les calculs sont réalisés localement.
Rendez-vous un mercredi sur deux sur Twitch, de 17h à 19h, pour suivre en direct l’émission SURVOLTÉS produite par Frandroid. Voiture électrique, vélo électrique, avis d’expert, jeux ou bien témoignages, il y en a pour tous les goûts !
Ce contenu est bloqué car vous n'avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Disqus.
Pour pouvoir le visualiser, vous devez accepter l'usage étant opéré par Disqus avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l'amélioration des produits d'Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l'audience de ce site (en savoir plus)
En cliquant sur « J’accepte tout », vous consentez aux finalités susmentionnées pour l’ensemble des cookies et autres traceurs déposés par Humanoid et ses partenaires.
Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d’informations, nous vous invitons à prendre connaissance de notre Politique cookies.
Gérer mes choix