Ce qu'est Wan 2.2 texte vers vidéo
Wan 2.2 a été lancé avec trois modèles ouverts. Wan2.2-T2V-A14B est le modèle texte vers vidéo : un transformeur de diffusion à mélange d'experts de 27 milliards de paramètres, 14 milliards actifs à chaque étape, où un expert « haut bruit » fixe la disposition d'ensemble et un expert « bas bruit » affine les détails. Wan2.2-I2V-A14B anime une image existante, et Wan2.2-TI2V-5B est un hybride plus petit qui fait les deux et tourne sur une carte grand public en 720p à 24 images par seconde.
Par rapport à Wan 2.1, les modèles 2.2 ont été entraînés sur 66 % d'images et 83 % de vidéos en plus, avec des annotations détaillées de lumière, de composition, de contraste et de tonalité des couleurs. C'est pourquoi un prompt peut nommer la lumière et le cadrage avec des termes de cinéma comme « soft lighting », « warm colors » ou « low angle shot », tous tirés du vocabulaire de prompt d'Alibaba.
Comment écrire un prompt vidéo
Un prompt vidéo décrit une courte scène, pas une image fixe. Une structure qui fonctionne est sujet, action, décor, caméra, style : « Un renard roux marche dans la neige fraîche d'une forêt de pins, tourne la tête vers la caméra, travelling en contre-plongée, lumière douce du matin, cinématographique ». Chaque élément répond à une question que le modèle devinerait sinon.
- Sujet et action : un sujet, une action claire avec un verbe. Cinq secondes suffisent pour un geste, une marche, un salut, pas pour une histoire.
- Décor : le lieu et l'heure fixent la lumière.
- Caméra : fixe, panoramique, inclinaison, travelling, avancée, plan de drone. Nommez-la, sinon le modèle choisit.
- Style : cinématographique, documentaire, anime, pâte à modeler, pellicule 35 mm. Un mot de style suffit.
Décrivez l'action en phrases simples ; des mots-clés peuvent fixer la lumière et le cadrage, comme dans les exemples de prompts d'Alibaba, mais une liste de mots-clés ne décrit pas un mouvement. Réservez le prompt négatif aux défauts classiques (flou, scintillement, mains déformées, doigts en trop, filigrane, sous-titres). Il n'agit que si la guidance est supérieure à 1 ; les workflows à LoRA Lightning en 4 étapes tournent à 1 et l'ignorent.
Réglages et temps de génération
Les valeurs par défaut officielles sont 81 images à 16 i/s, 480p ou 720p, 40 étapes et une guidance de 3 à 4 ; les workflows ComfyUI utilisent 20 étapes avec une guidance de 3,5, ou 4 étapes avec une guidance de 1 et le LoRA Lightning. Avec les réglages officiels, un clip 480p prend environ cinq minutes et demie sur un GPU H100 de centre de données, et le 720p environ trois fois plus longtemps pour le même nombre d'images. La seed fonctionne comme en génération d'images : fixez-la pour comparer deux prompts, changez-la pour obtenir une autre prise du même prompt. Le format se choisit avant la génération, en général 16:9 ou 9:16 ; le modèle ne peut pas le changer ensuite.
Chaque essai étant lent, testez le prompt en 480p et ne relancez qu'ensuite en 720p. La seed d'une prise en 480p donne un autre clip en 720p, car le bruit a une autre forme. La plupart des mauvais résultats viennent de prompts à trop d'actions ou aux consignes de caméra contradictoires, pas des réglages.
Ce que le texte vers vidéo ne sait pas encore faire
Cinq secondes, soit 81 images, c'est la durée pour laquelle le modèle est réglé ; au-delà, la génération dérive. Les textes longs dans la vidéo sont peu fiables. Les mains et les interactions rapides entre plusieurs personnes échouent encore souvent. La physique est plausible plutôt qu'exacte : eau, tissu et cheveux bougent bien, mais une balle peut rebondir de travers. Il n'y a pas de son. Pour un rendu précis, l'image vers vidéo est plus simple : générez la première frame avec Stable Diffusion, SDXL ou Flux, puis animez-la avec Wan 2.2.
Faire tourner Wan 2.2 T2V en local
Les poids sont sur Hugging Face et fonctionnent dans ComfyUI, Diffusers et le dépôt officiel. Avec le script officiel, pour lequel Alibaba demande une carte de 80 Go, le modèle T2V 14B atteint un pic d'environ 41 Go de VRAM en 480p et 60 Go en 720p. Dans ComfyUI, il tourne sur une carte de 24 Go avec les checkpoints fp8 et le déchargement, à plusieurs minutes par clip. Le modèle 5B produit un clip 720p de cinq secondes sur une RTX 4090 en moins de dix minutes. Dans ComfyUI, il tient sur une carte de 8 Go ; en dessous, utilisez un GPU dans le cloud ou la démo gratuite de ce site, qui part d'une image utilisée comme première frame.