Après Dall-E et les artistes, Shap-E pourrait menacer Pixar et les jeux vidéo

C’est un nouveau service qui risque de créer des cauchemars au monde de l’animation et des jeux vidéo. Dans un article de recherche prépublié le 3 mai 2023 sur le site Arxiv de l’université américaine de Cornell, l’entreprise d’intelligence artificielle OpenAI a présenté son nouvel outil de génération de contenu par IA : Shap-E.

Déjà derrière le chatbot ChatGPT et l’outil de génération d’image Dall-E, OpenAI s’attaque donc ici à la 3D. Comme les deux services précédents avec le texte et les images 2D, Shap-E peut produire des images en trois dimensions sur la base d’une simple demande textuelle. Vous voulez un avion en forme de banane ? Il suffisait de le demander. Une simplicité qui pourrait menacer à terme les artistes 3D.

Du texte à la 3D en passant par l’image

Shap-E n’est pourtant pas totalement une nouveauté dans le monde de la génération d’images 3D par IA. Celui-ci se base sur un autre outil expérimental d’OpenAI annoncé fin 2022, Point-E.

Concrètement, ce programme permettait de créer des nuages de points en trois dimensions selon les demandes d’un utilisateur. Si le résultat était très proche d’un modèle 3D, la résolution restait très limitée et le rendu final ne pouvait pas réellement être utilisé ailleurs.

L’outil tente donc de corriger ces défauts : selon l’article scientifique d’OpenAI, Shap-E « converge plus rapidement et atteint une qualité d’échantillon comparable ou meilleure » malgré le fait qu’il produise de vrais modèles 3D pouvant être exportés dans Microsoft Paint 3D ou en fichier STL pour être imprimé.

Malgré tout, les deux outils utilisent les mêmes technologies : l’IA génère des images sur la base de la demande de l’utilisateur, comme Dall-E, puis un autre algorithme complexe transforme ces images en modèles 3D. Une méthode qui permet à Point-E et Shap-E d’accélérer radicalement le processus de création 3D.

8 heures pour faire fonctionner l’outil

Au point de remplacer les animateurs 3D travaillant dans le jeu vidéo ou les films d’animation ? Ce n’est pas sûr. Si Shap-E est bien disponible gratuitement en open source sur le site GitHub, son utilisation reste laborieuse, selon un article du média en ligne Tom’s Hardware.

Selon son rédacteur en chef, il lui aura fallu huit heures pour réussir à faire fonctionner l’IA sur son ordinateur, précisant qu’OpenAI « ne fournit presque aucune instruction, vous indiquant simplement d’utiliser la commande Python pip pour l’installer ».

Il a finalement réussi à produire des modèles 3D « en basse résolution et qui manquaient de détails clés », précisant qu’une grande puissance graphique reste nécessaire pour générer rapidement ces contenus. L’auteur reconnaît toutefois que « Shap-E est plein de potentiel ». En clair, le programme d’OpenAI ne remplacera pas les artistes travaillant en trois dimensions dès demain.

Cette technologie ouvre cependant la porte, à terme, à la génération d’objets 3D complexes d’une simple demande par écrit dans un logiciel de création de jeux vidéo. L’avenir nous dira ensuite si cela simplifie ou vole le travail des artistes.

Paint 3D

Télécharger gratuitement