Cos'è Wan 2.2 da testo a video
Wan 2.2 è uscito con tre modelli aperti. Wan2.2-T2V-A14B è il modello da testo a video: un transformer di diffusione a miscela di esperti da 27 miliardi di parametri, 14 miliardi attivi a ogni passo, in cui un esperto ad alto rumore imposta la struttura generale della scena e un esperto a basso rumore rifinisce i dettagli. Wan2.2-I2V-A14B anima un'immagine esistente, e Wan2.2-TI2V-5B è un ibrido più piccolo che fa entrambe le cose e gira su una scheda consumer a 720p e 24 fotogrammi al secondo.
Rispetto a Wan 2.1, i modelli 2.2 sono stati addestrati con il 66 % di immagini e l'83 % di video in più, con etichette dettagliate per illuminazione, composizione, contrasto e tonalità di colore. Per questo un prompt può indicare la luce e l'inquadratura con termini cinematografici come "soft lighting", "warm colors" o "low angle shot", tutti tratti dal vocabolario di prompt di Alibaba stessa.
Come scrivere un prompt video
Un prompt video descrive una breve scena, non un'immagine fissa. Una struttura che funziona è soggetto, azione, ambiente, camera, stile: "Una volpe rossa cammina nella neve fresca di una pineta, gira la testa verso la camera, carrellata dal basso, luce morbida del mattino, cinematografico". Ogni elemento risponde a una domanda che il modello altrimenti indovinerebbe.
- Soggetto e azione: un soggetto, un'azione chiara con un verbo. Cinque secondi bastano per un gesto, una camminata, un saluto, non per una storia.
- Ambiente: il luogo e l'ora del giorno fissano la luce.
- Camera: fissa, panoramica, inclinazione, carrellata, avvicinamento, ripresa da drone. Nominala, o sceglie il modello.
- Stile: cinematografico, documentario, anime, plastilina, pellicola 35 mm. Basta una parola di stile.
Scrivi l'azione in frasi semplici; le parole chiave possono fissare la luce e l'inquadratura, come negli esempi di prompt di Alibaba, ma un elenco di tag non descrive un movimento. Usa il prompt negativo per i difetti classici (sfocato, sfarfallio, mani deformate, dita in più, filigrana, sottotitoli). Ha effetto solo quando la guidance è superiore a 1; i workflow con il LoRA Lightning a 4 passi girano a 1 e lo ignorano.
Impostazioni e tempi di generazione
I valori predefiniti ufficiali sono 81 fotogrammi a 16 fps, 480p o 720p, 40 passi e una guidance da 3 a 4; i workflow di ComfyUI usano 20 passi con guidance 3,5, oppure 4 passi con guidance 1 e il LoRA Lightning. Con le impostazioni ufficiali una clip in 480p richiede circa cinque minuti e mezzo su una GPU H100 da data center; il 720p richiede circa tre volte tanto a parità di fotogrammi. Il seed funziona come nella generazione di immagini: fissalo per confrontare due prompt, cambialo per ottenere un'altra ripresa dello stesso prompt. Le proporzioni si scelgono prima della generazione, di solito 16:9 o 9:16; il modello non può cambiarle dopo.
Poiché ogni tentativo è lento, prova il prompt in 480p e solo allora rilancia in 720p. Il seed di una ripresa in 480p dà una clip diversa in 720p, perché il rumore ha un'altra forma. La maggior parte dei cattivi risultati viene da prompt con troppe azioni o istruzioni di camera contraddittorie, non dalle impostazioni.
Cosa da testo a video non sa ancora fare
Cinque secondi, 81 fotogrammi, sono la durata per cui il modello è impostato; le generazioni più lunghe derivano. I testi lunghi dentro il video sono inaffidabili. Le mani e le interazioni rapide e complesse tra più persone falliscono ancora spesso. La fisica è plausibile più che esatta: acqua, tessuto e capelli si muovono bene, ma una palla può rimbalzare male. Non c'è audio. Per un aspetto preciso, da immagine a video è più facile: genera il primo fotogramma con Stable Diffusion, SDXL o Flux, poi animalo con Wan 2.2.
Eseguire Wan 2.2 T2V in locale
I pesi sono su Hugging Face e girano in ComfyUI, Diffusers e nel repository ufficiale. Con lo script ufficiale, che secondo Alibaba richiede una scheda da 80 GB, il modello T2V da 14B arriva a un picco di circa 41 GB di VRAM in 480p e 60 GB in 720p. In ComfyUI gira su una scheda da 24 GB con checkpoint fp8 e offloading, a diversi minuti per clip. Il modello da 5B produce una clip 720p di cinque secondi su una RTX 4090 in meno di dieci minuti. In ComfyUI entra in una scheda da 8 GB; al di sotto, usa una GPU nel cloud o la demo gratuita di questo sito, che parte da un'immagine usata come primo fotogramma.