Une vidéo n'est pas une simple collection d'images indépendantes. Les objets, la lumière, la caméra et les détails doivent rester cohérents d'une image à la suivante. Cette continuité temporelle est le problème central de la génération vidéo.
Ajouter la dimension du temps
Un modèle vidéo apprend des relations spatiales et temporelles. Il doit représenter ce qui se trouve dans une image, mais aussi comment cet état peut évoluer. Selon l'architecture, il traite des blocs d'images, des latents spatio-temporels ou des mécanismes d'attention étendus au temps.
Texte vers vidéo et image vers vidéo
Texte vers vidéo
Le modèle invente la scène, le mouvement et le cadrage.
- Liberté maximale
- Contrôle initial plus faible
- Variations importantes entre essais
Image vers vidéo
Une image fixe impose l'apparence du premier état.
- Identité visuelle mieux ancrée
- Mouvement à décrire
- Risque de déformation progressive
L'image de départ ne dicte pas le mouvement. Une consigne utile décrit la caméra, l'action, la vitesse et les éléments qui doivent rester fixes.
Les défauts temporels
Le scintillement apparaît lorsque les détails changent légèrement à chaque image. La dérive transforme progressivement un visage, un objet ou un arrière-plan. Les occlusions posent aussi problème : quand un objet passe derrière un autre, le modèle doit reconstruire correctement ce qui réapparaît.
Résolution, durée et coût
Le coût augmente avec le nombre d'images, leur résolution et le nombre d'étapes. Une séquence courte à basse résolution constitue le meilleur point de départ. L'upscaling et l'interpolation peuvent venir ensuite.
L'interpolation crée des images intermédiaires pour fluidifier le mouvement. Elle ne corrige pas une action incohérente ou une identité qui dérive. L'upscaling augmente les détails, mais peut aussi amplifier les artefacts.
Concevoir un plan reproductible
Travaillez plan par plan. Fixez une image de départ, une durée courte et une seule action. Conservez les paramètres, puis assemblez les plans dans un outil de montage. Cette approche offre davantage de contrôle qu'une longue génération monolithique.
Audio, montage et provenance
Le son, les sous-titres et le rythme restent souvent des étapes séparées. Un bon montage peut transformer plusieurs plans courts en explication claire. Conservez la provenance des images sources, des modèles et des voix synthétiques.
L’essentiel
- Le problème central de la vidéo générée est la continuité dans le temps.
- Image vers vidéo ancre l'apparence ; texte vers vidéo laisse plus de liberté et moins de contrôle.
- Scintillement, dérive et occlusions sont les défauts temporels typiques.
- Le coût croît avec la durée, la résolution et le nombre d'étapes : commencez court et petit.
- Travaillez plan par plan et signalez clairement les contenus générés.
Testez-vous
Répondez de tête ou par écrit, puis vérifiez. Se tester juste après la lecture aide à retenir.
L'interpolation peut-elle corriger une identité qui dérive ?
Voir la réponse
Non. Elle crée des images intermédiaires pour fluidifier le mouvement, mais elle ne corrige ni une action incohérente ni une dérive d'identité.
Sur une machine limitée, quel réglage réduire en premier ?
Voir la réponse
La durée, puis la résolution et le nombre d'images traitées ensemble. Ce sont eux qui font exploser la mémoire et le temps de calcul.
Que décrire dans une consigne d'image vers vidéo ?
Voir la réponse
La caméra, l'action, la vitesse et les éléments qui doivent rester fixes. L'image de départ fixe l'apparence, pas le mouvement.
Sources et pour aller plus loin
- Video Diffusion Models : l'extension de la diffusion à la vidéo (Ho et al., 2022).
- Stable Video Diffusion : un modèle image vers vidéo ouvert et son entraînement (Blattmann et al., 2023).
- C2PA : le standard ouvert de provenance des contenus, pour signaler une génération.