如何用 Wan 2.2 从文字生成视频?

作者 更新于 2 分钟阅读

Wan 2.2 文生视频(T2V)根据一句描述场景、动作和镜头的话,生成约五秒、480p 或 720p 的无声短片。它是阿里巴巴 2025 年以 Apache 2.0 许可证发布的开放权重视频模型,可以在自己的电脑上用 ComfyUI 或 Diffusers 运行。

Wan 2.2 文生视频是什么

Wan 2.2 发布时有三个开放模型。Wan2.2-T2V-A14B 是文生视频模型:混合专家扩散 Transformer,总参数 270 亿,每步激活 140 亿,由高噪声专家确定整体布局、低噪声专家打磨细节。Wan2.2-I2V-A14B 让现有图片动起来,Wan2.2-TI2V-5B 是两者兼备的小型混合模型,可在消费级显卡上以 720p、每秒 24 帧运行。

与 Wan 2.1 相比,2.2 系列的训练数据多了 66% 的图片和 83% 的视频,并带有光照、构图、对比度和色调的详细标注。因此提示词可以用电影术语来指定光线和取景,例如“soft lighting”(柔光)、“warm colors”(暖色调)或“low angle shot”(低角度拍摄),这些都出自阿里巴巴自己的提示词词表。

如何写视频提示词

视频提示词描述的是一个短场景,而不是一张静态画面。一种行之有效的结构是:主体、动作、场景、镜头、风格。“一只赤狐走过松林里的新雪,转头看向镜头,低角度跟拍,柔和的晨光,电影感”。每个要素都回答了一个模型否则只能猜的问题。

  • 主体与动作:一个主体,一个带动词的清晰动作。五秒够做一个手势、一段行走、一次挥手,不够讲一个故事。
  • 场景:地点和时段决定光线。
  • 镜头:固定、横摇、俯仰、跟拍、推近、无人机镜头。要写明,否则由模型自选。
  • 风格:电影感、纪录片、动画、黏土动画、35 毫米胶片。一个风格词就够。

动作要用平实的句子来写;关键词可以用来设定光线和取景,阿里巴巴自己的示例提示词就是这样做的,但一串标签描述不了运动。反向提示词留给经典缺陷:模糊、闪烁、手部畸形、多余手指、水印、字幕。它只有在引导系数高于 1 时才起作用;4 步 Lightning LoRA 工作流把引导系数设为 1,会忽略它。

参数与生成时间

官方默认值是每秒 16 帧、81 帧,480p 或 720p,40 步,引导系数 3 到 4;ComfyUI 工作流用 20 步、引导系数 3.5,配合 Lightning LoRA 时则是 4 步、引导系数 1。按官方设置,一段 480p 短片在单张 H100 数据中心 GPU 上约需五分半钟;同样帧数的 720p 大约要三倍时间。种子的用法与图片生成相同:固定种子比较两条提示词,更换种子得到同一提示词的另一条结果。画幅比例要在生成前选定,通常是 16:9 或 9:16,模型事后无法更改。

因为每次尝试都很慢,先用 480p 测试提示词,然后再用 720p 重跑。480p 下某一条的种子,到了 720p 会得到另一段短片,因为噪声的形状不同。大多数糟糕的结果来自动作太多或镜头指令自相矛盾的提示词,而不是参数。

文生视频目前还做不到的事

五秒、81 帧,是模型预设的长度;更长的生成会漂移。视频内的长文字不可靠。手部以及多人之间快速、复杂的互动仍常常失败。物理效果是“看着合理”而非精确:水、布料和头发动得不错,但球可能弹错方向。没有音频。想要精确的画面,用图生视频更容易:先用 Stable Diffusion、SDXL 或 Flux 生成第一帧,再用 Wan 2.2 让它动起来。

在本地运行 Wan 2.2 T2V

权重在 Hugging Face 上,可在 ComfyUI、Diffusers 和官方仓库中运行。使用官方脚本时(阿里巴巴称需要 80 GB 显卡),14B 的 T2V 模型在 480p 下显存峰值约 41 GB,720p 下约 60 GB。在 ComfyUI 中,用 fp8 检查点加卸载,24 GB 显卡也能跑,每段几分钟。5B 模型在 RTX 4090 上不到十分钟就能生成一段 720p 五秒短片。在 ComfyUI 中,8 GB 显卡就能装下它;低于这个水平的话,请使用云端 GPU,或本站的免费演示,后者从一张图片出发,把它用作第一帧。

常见问题

Wan 2.2 比 Wan 2.1 更好吗?

按阿里巴巴的说法,在运动质量、提示词遵循度和美学控制上是的:混合专家模型和更丰富的训练标注,目标是更流畅的运动,以及对光线和构图更精细的控制。在小显卡上,Wan 2.2 的 5B 模型接替了 Wan 2.1。

Wan 2.2 能同时用图片和文字生成视频吗?

能。I2V 模型用一张图片作为第一帧,再加一段描述运动的文字;5B 的 TI2V 模型可以只用文字,也可以文字加图片。本站的 Wan 2.2 演示是从图片出发的。

视频可以商用吗?

模型以 Apache 2.0 许可证发布,允许商业使用,阿里巴巴也不对你生成的视频主张任何权利。请同时确认你所用托管服务的条款。