Meta dévoile Movie Gen : un générateur vidéo aux capacités et fonctionnalités impressionnantes

Côté intelligence artificielle, Meta nous avait déjà impressionné lors de la Meta Connect 2024 avec la présentation de Llama 3.2, son grand modèle de langage désormais capable d’utiliser et de générer des images. Ce vendredi 4 octobre, l’entreprise américaine a remis le couvert en dévoilant son dernier-né, Movie Gen.

Cet outil peut générer des vidéos de 16 secondes maximum, en 1080p et à 16 images par seconde, à partir de commandes textuelles avec ou sans images existantes. Par exemple, vous pouvez fournir une photo de votre visage et demander à l’IA de générer une vidéo de vous en train de réaliser des expériences de chimie.

Movie Gen ne se contente pas de cela. Il est la première IA de ce type à pouvoir générer de l’audio en plus de la vidéo. Cette fonctionnalité rend l’outil plus complet et permet également de générer des effets sonores et de la musique de fond sur une vidéo déjà existante, toujours à l’aide de commandes textuelles. Les opérateurs de drones vont sans doute apprécier, d’autant que les résultats semblent convaincants.

Un outil complet, mais non dénué de défauts

Il sera aussi possible d’éditer les vidéos après génération, sur un détail précis ou sur l’ensemble du contenu. Ainsi, toujours à l’aide de prompts, on pourra demander à Movie Gen de changer l’arrière-plan, la couleur des cheveux d’une personne et ses vêtements, ou encore de supprimer n’importe quel élément. Bref, le véritable facteur limitant parait être l’imagination de l’utilisateur.

Si ce type d’outil n’est plus vraiment une surprise depuis la présentation de Sora d’OpenAI en février dernier, les résultats de Movie Gen sont assez impressionnants. Que ce soit pour créer une vidéo à partir de zéro ou pour modifier des éléments existants.

Selon Meta, son IA surpasse celle de la concurrence aux yeux de testeurs bien humains. Et, si les résultats présentés ne sont pas exempts de défauts, force est de constater que les vidéos sont exploitables. Du moins, dans les exemples que Meta nous a présentés. On se doute que l’entreprise a beaucoup de temps pour s’entraîner avec son outil, et qu’il faudra peut-être enchaîner les prompts pour atteindre le même niveau.

Sur certains des exemples donnés, on retrouve les défauts classiques de ce type d’outil, comme des pingouins flottant un peu trop bien sur l’eau, ou un quad défiant les lois de la physique. De plus, certaines limites subsistent, comme la génération de parole synchronisée avec le mouvement des lèvres.

Qu’en est-il des données personnelles et des deepfakes ?

Personnellement, si j’ai toujours réussi à trouver çà et là des indices laissant suggérer qu’il s’agit de vidéos générées par une IA, d’autres éléments m’ont particulièrement impressionné. Notamment lors de la génération d’une vidéo à partir d’une photo, Movie Gen semble être capable de reconnaître les défauts de vision des personnes portant des lunettes (myopie, etc.), apportant des effets de distorsion réalistes.

Hasard ou pas, c’est ce genre de détail qui peut rendre les vidéos plus crédibles, de quoi créer des deepfakes convaincants. D’autant que Movie Gen pourrait être intégré à des services de Meta comme Facebook et Instagram, des plateformes qui ont déjà des problèmes avec la désinformation.

Mais nous n’en sommes pas encore là. L’entreprise californienne doit encore trouver comment proposer son outil au grand public, mais aussi le peaufiner et améliorer ses performances. De plus, alors que l’IA est entraînée sur un ensemble de « données sous licence et accessibles au public », Meta souhaite désormais collaborer avec des créateurs et des cinéastes pour développer les futures versions du modèle.

Il reste à voir jusqu’où cela ira, et surtout ce qu’il adviendra de l’utilisation des données des utilisateurs. Comme le soulignent nos confrères d’Ars Technica, Movie Gen aurait potentiellement pu être entraîné avec du contenu provenant d’Instagram ou de Facebook, ce qui pourrait soulever quelques interrogations.