Was Wan 2.2 Text zu Video ist
Wan 2.2 ist mit drei offenen Modellen gestartet. Wan2.2-T2V-A14B ist das Text-zu-Video-Modell: ein Diffusions-Transformer mit Mixture-of-Experts, 27 Milliarden Parameter, 14 Milliarden pro Schritt aktiv, bei dem ein Experte für starkes Rauschen den Gesamtaufbau festlegt und ein Experte für schwaches Rauschen die Details verfeinert. Wan2.2-I2V-A14B animiert ein vorhandenes Bild, und Wan2.2-TI2V-5B ist ein kleineres Hybridmodell, das beides kann und auf einer Consumer-Karte in 720p mit 24 Bildern pro Sekunde läuft.
Gegenüber Wan 2.1 wurden die 2.2-Modelle mit 66 % mehr Bildern und 83 % mehr Videos trainiert, mit detaillierten Annotationen für Licht, Komposition, Kontrast und Farbton. Deshalb kann ein Prompt Licht und Bildausschnitt mit Filmbegriffen wie „soft lighting“, „warm colors“ oder „low angle shot“ benennen, die alle aus Alibabas eigenem Prompt-Vokabular stammen.
So schreibt man einen Video-Prompt
Ein Video-Prompt beschreibt eine kurze Szene, kein Standbild. Eine Struktur, die funktioniert, ist Motiv, Handlung, Ort, Kamera, Stil: „Ein Rotfuchs geht durch frischen Schnee in einem Kiefernwald, dreht den Kopf zur Kamera, Kamerafahrt aus der Froschperspektive, weiches Morgenlicht, filmisch“. Jedes Element beantwortet eine Frage, die das Modell sonst raten müsste.
- Motiv und Handlung: ein Motiv, eine klare Handlung mit Verb. Fünf Sekunden reichen für eine Geste, einen Gang, ein Winken, nicht für eine Geschichte.
- Ort: Ort und Tageszeit bestimmen das Licht.
- Kamera: statisch, Schwenk, Neigung, Fahrt, Heranfahrt, Drohnenaufnahme. Benennen Sie sie, sonst wählt das Modell.
- Stil: filmisch, dokumentarisch, Anime, Knetanimation, 35-mm-Film. Ein Stilwort genügt.
Beschreiben Sie die Handlung in einfachen Sätzen; Schlagwörter können Licht und Bildausschnitt festlegen, wie in Alibabas eigenen Beispiel-Prompts, aber eine Liste von Tags beschreibt keine Bewegung. Den negativen Prompt nutzen Sie für die klassischen Fehler (unscharf, Flackern, verzerrte Hände, zusätzliche Finger, Wasserzeichen, Untertitel). Er wirkt nur, wenn die Guidance über 1 liegt; die Workflows mit dem 4-Schritt-Lightning-LoRA laufen mit 1 und ignorieren ihn.
Einstellungen und Rechenzeit
Die offiziellen Voreinstellungen sind 81 Frames bei 16 fps, 480p oder 720p, 40 Schritte und eine Guidance von 3 bis 4; ComfyUI-Workflows nutzen 20 Schritte bei einer Guidance von 3,5 oder, mit dem Lightning-LoRA, 4 Schritte bei 1. Mit den offiziellen Einstellungen dauert ein 480p-Clip auf einer einzelnen Rechenzentrums-GPU vom Typ H100 etwa fünfeinhalb Minuten, 720p bei gleicher Framezahl etwa dreimal so lang. Der Seed funktioniert wie bei der Bilderzeugung: fixieren, um zwei Prompts zu vergleichen, ändern, um eine andere Version desselben Prompts zu bekommen. Das Seitenverhältnis wird vor der Erzeugung gewählt, meist 16:9 oder 9:16; nachträglich kann das Modell es nicht ändern.
Da jeder Versuch langsam ist, testen Sie den Prompt in 480p und starten erst dann in 720p. Der Seed einer 480p-Version ergibt in 720p einen anderen Clip, weil das Rauschen eine andere Form hat. Die meisten schlechten Ergebnisse stammen von Prompts mit zu vielen Handlungen oder widersprüchlichen Kameraanweisungen, nicht von den Einstellungen.
Was Text zu Video noch nicht kann
Fünf Sekunden, also 81 Frames, sind die Länge, auf die das Modell ausgelegt ist; längere Erzeugungen driften. Längerer Text im Video ist unzuverlässig. Hände und schnelle, komplexe Interaktionen mehrerer Personen scheitern noch oft. Die Physik ist plausibel statt exakt: Wasser, Stoff und Haare bewegen sich gut, ein Ball kann falsch abprallen. Es gibt keinen Ton. Für einen präzisen Look ist Bild zu Video einfacher: den ersten Frame mit Stable Diffusion, SDXL oder Flux erzeugen und dann mit Wan 2.2 animieren.
Wan 2.2 T2V lokal ausführen
Die Gewichte liegen auf Hugging Face und laufen in ComfyUI, Diffusers und dem offiziellen Repository. Mit dem offiziellen Skript, für das Alibaba eine 80-GB-Karte voraussetzt, erreicht das T2V-Modell mit 14B in der Spitze etwa 41 GB VRAM in 480p und 60 GB in 720p. In ComfyUI läuft es auf einer 24-GB-Karte mit fp8-Checkpoints und Offloading, bei mehreren Minuten pro Clip. Das 5B-Modell erzeugt einen 720p-Clip von fünf Sekunden auf einer RTX 4090 in unter zehn Minuten. In ComfyUI passt es auf eine 8-GB-Karte; darunter nutzen Sie eine Cloud-GPU oder die kostenlose Demo auf dieser Seite, die von einem Bild als erstem Frame ausgeht.