Stable Diffusion 的 LoRA 是什么?

作者 更新于 2 分钟阅读

LoRA(低秩适应)是一个通常只有 20 到 150 MB 的小文件,能在不重新训练的情况下,给现有的 Stable Diffusion 模型加上一种画风、一个角色、一件产品或一个概念。把它放在基础模型旁边,在提示词里带权重调用,还可以同时组合多个。

LoRA 如何工作

微调整个模型意味着改写数十亿个权重,并产出一个 2 到 7 GB 的文件。LoRA 则冻结模型,只在每个注意力层训练两个小矩阵,它们的乘积近似于所需的改动。结果只用几兆字节就记录下「新学到的东西」,并在生成时按一个系数即时套用。十到三十张图片,加上消费级显卡上的几分钟,就足以训练一个。

如何使用 LoRA

  1. 下载为你的基础模型制作的 LoRA:SD 1.5 的 LoRA 不能用于 SDXL,反之亦然;SD 3.5 有自己的 LoRA。
  2. 把文件放进 Automatic1111 的 models/Lora(ComfyUI、Forge、Fooocus 则是对应目录)。
  3. 在提示词中调用:<lora:文件名:0.8>。数字是权重,常用范围 0.6 到 1.0。
  4. 如果作者给出了触发词(角色名、风格 token),请加上。
  5. 调整:太强则每张图都一个样,太弱则毫无变化。

组合多个 LoRA

多个 LoRA 可以叠加:画风 0.7,角色 0.8,细节增强 0.4。权重总和最好控制在 1.5 到 2 以内,调试时固定种子,否则分不清每个 LoRA 各自的作用。针对同一概念训练的 LoRA 会互相打架,选一个就好。

LoRA、embedding、checkpoint:该选哪个?

类型大小最适合用法
Checkpoint(微调模型)2–7 GB整体美学(写实、动漫)替换基础模型
LoRA20–150 MB一种画风、角色、物品、姿势提示词中写 <lora:名称:权重>
Textual inversion(embedding)10–100 KB单个 token,常用于负面提示词中写 token 名

大多数人用一个好的 checkpoint,再按图切换 LoRA。

去哪里找 LoRA

Civitai 和 Hugging Face 上有数万个 LoRA,附带示例图、触发词和所需的基础模型。请检查许可证:许多禁止商用或禁止复现真实人物。本站的画家风格对比是画风类 LoRA 的好替代:在提示词里写一个画家名,往往就能达到画风 LoRA 的效果,什么都不用下载。

常见问题

LoRA 会拖慢生成吗?

几乎不会:每步只多几次小矩阵乘法。首次加载需要一两秒,之后开销可以忽略。

本站能用 LoRA 吗?

暂时不能:公开工具使用固定的模型。会员的 txt2img 页面将来可能提供特定的 LoRA。

<lora:名称:0.8> 里的数字是什么意思?

LoRA 改动的应用强度:1.0 是作者训练时的效果,0.5 是一半,超过 1.2 通常会让图像变形。