Qué es Wan 2.2 texto a vídeo
Wan 2.2 se lanzó con tres modelos abiertos. Wan2.2-T2V-A14B es el modelo texto a vídeo: un transformador de difusión con mezcla de expertos de 27.000 millones de parámetros, 14.000 millones activos en cada paso, donde un experto de ruido alto fija la composición general y un experto de ruido bajo afina los detalles. Wan2.2-I2V-A14B anima una imagen existente, y Wan2.2-TI2V-5B es un híbrido más pequeño que hace ambas cosas y funciona en una tarjeta de consumo a 720p y 24 fotogramas por segundo.
Frente a Wan 2.1, los modelos 2.2 se entrenaron con un 66 % más de imágenes y un 83 % más de vídeos, con etiquetas detalladas de iluminación, composición, contraste y tono de color. Por eso un prompt puede nombrar la luz y el encuadre con términos de cine como "soft lighting", "warm colors" o "low angle shot", tomados todos del vocabulario de prompts de la propia Alibaba.
Cómo escribir un prompt de vídeo
Un prompt de vídeo describe una escena corta, no una imagen fija. Una estructura que funciona es sujeto, acción, escenario, cámara, estilo: "Un zorro rojo camina por la nieve fresca de un bosque de pinos, gira la cabeza hacia la cámara, travelling en contrapicado, luz suave de la mañana, cinematográfico". Cada elemento responde a una pregunta que el modelo adivinaría de otro modo.
- Sujeto y acción: un sujeto, una acción clara con un verbo. Cinco segundos bastan para un gesto, un paseo, un saludo, no para una historia.
- Escenario: el lugar y la hora del día fijan la luz.
- Cámara: fija, panorámica, inclinación, travelling, acercamiento, plano de dron. Nómbrala, o el modelo elige.
- Estilo: cinematográfico, documental, anime, plastilina, película de 35 mm. Basta una palabra de estilo.
Escribe la acción en frases sencillas; las palabras clave pueden fijar la luz y el encuadre, como en los prompts de ejemplo de la propia Alibaba, pero una lista de etiquetas no describe un movimiento. Usa el prompt negativo para los defectos clásicos (borroso, parpadeo, manos deformadas, dedos de más, marca de agua, subtítulos). Solo tiene efecto cuando la guidance es superior a 1; los flujos con el LoRA Lightning de 4 pasos trabajan a 1 y lo ignoran.
Ajustes y tiempo de generación
Los valores oficiales por defecto son 81 fotogramas a 16 fps, 480p o 720p, 40 pasos y una guidance de 3 a 4; los flujos de ComfyUI usan 20 pasos con una guidance de 3,5, o 4 pasos con una guidance de 1 y el LoRA Lightning. Con los ajustes oficiales, un clip en 480p tarda unos cinco minutos y medio en una GPU de centro de datos H100, y el 720p unas tres veces más para el mismo número de fotogramas. La seed funciona como en la generación de imágenes: fíjala para comparar dos prompts, cámbiala para obtener otra toma del mismo prompt. La proporción se elige antes de generar, normalmente 16:9 o 9:16; el modelo no puede cambiarla después.
Como cada intento es lento, prueba el prompt en 480p y solo entonces relanza en 720p. La seed de una toma en 480p da un clip distinto en 720p, porque el ruido tiene otra forma. La mayoría de los malos resultados vienen de prompts con demasiadas acciones o instrucciones de cámara contradictorias, no de los ajustes.
Lo que texto a vídeo aún no puede hacer
Cinco segundos, 81 fotogramas, es la duración para la que está configurado el modelo; las generaciones más largas derivan. Un texto largo dentro del vídeo no es fiable. Las manos y las interacciones rápidas y complejas entre varias personas todavía fallan a menudo. La física es plausible más que exacta: el agua, la tela y el pelo se mueven bien, pero una pelota puede botar mal. No hay audio. Para un aspecto preciso, imagen a vídeo es más fácil: genera el primer fotograma con Stable Diffusion, SDXL o Flux y anímalo después con Wan 2.2.
Ejecutar Wan 2.2 T2V en local
Los pesos están en Hugging Face y funcionan en ComfyUI, Diffusers y el repositorio oficial. Con el script oficial, para el que Alibaba pide una tarjeta de 80 GB, el modelo T2V de 14B alcanza un pico de unos 41 GB de VRAM en 480p y de 60 GB en 720p. En ComfyUI funciona en una tarjeta de 24 GB con checkpoints fp8 y descarga de memoria (offloading), a varios minutos por clip. El modelo de 5B produce un clip 720p de cinco segundos en una RTX 4090 en menos de diez minutos. En ComfyUI cabe en una tarjeta de 8 GB; por debajo de eso, usa una GPU en la nube o la demo gratuita de este sitio, que parte de una imagen usada como primer fotograma.