Stable Diffusion 的 LoRA 是什么?

作者 更新于 2 分钟阅读

LoRA(低秩适应)是一个小文件,从几 MB 到几百 MB 不等,能在不重新训练的情况下,给现有的 Stable Diffusion 模型加上一种画风、一个角色、一件产品或一个概念。把它和基础模型一起加载,设一个权重,还可以同时组合多个。

LoRA 如何工作

微调整个模型意味着改写数亿到数十亿个权重,对 SD 1.5 或 SDXL 来说会产出一个 2 到 7 GB 的文件。LoRA 则冻结模型,只训练成对的小矩阵(大多挂在注意力层旁),每对矩阵的乘积近似于所需的改动。结果用一个小文件就记录下「新学到的东西」,并在生成时按一个系数套用。十到三十张图片往往就足以在消费级显卡上训练一个,耗时从几分钟到几小时不等,取决于基础模型。

如何使用 LoRA

  1. 下载为你的基础模型制作的 LoRA:SD 1.5 的 LoRA 不能用于 SDXL,反之亦然;SD 3.5 有自己的 LoRA。
  2. 把文件放进 Automatic1111 的 models/Lora(ComfyUI、Forge、Fooocus 则是对应目录)。
  3. 在 Automatic1111、Forge 和 Fooocus 中,在提示词里用 <lora:文件名:0.8> 调用;在 ComfyUI 中则改为添加一个 Load LoRA 节点。数字是权重,常用范围 0.6 到 1.0。
  4. 如果作者给出了触发词(角色名、风格 token),请加上。
  5. 调整:太强则每张图都一个样,太弱则毫无变化。

组合多个 LoRA

多个 LoRA 可以叠加:画风 0.7,角色 0.8,细节增强 0.4。叠得越多,每个的权重就要相应调低;调试时固定种子,否则分不清每个 LoRA 各自的作用。针对同一概念训练的 LoRA 会互相打架,选一个就好。

LoRA、embedding、checkpoint:该选哪个?

类型大小最适合用法
Checkpoint(微调模型)2–7 GB(SD 1.5、SDXL)整体美学(写实、动漫)替换基础模型
LoRA几 MB 到几百 MB一种画风、角色、物品、姿势提示词中写 <lora:名称:权重>,ComfyUI 中用 Load LoRA 节点
Textual inversion(embedding)几 KB 到 100 KB单个 token,常用于负面提示词中写 token 名

常见的搭配是一个好的 checkpoint,再按图切换 LoRA。

去哪里找 LoRA

Civitai 和 Hugging Face 上有数万个 LoRA,附带示例图、触发词和所需的基础模型。请检查许可证:有些禁止商用;真实人物的 LoRA,Civitai 自 2025 年 5 月起已予以下架。本站的画家风格对比是画风类 LoRA 的好替代:在提示词里写一个画家名,往往就能达到画风 LoRA 的效果,什么都不用下载。

常见问题

LoRA 会拖慢生成吗?

几乎不会:Automatic1111 和 ComfyUI 会在采样前把 LoRA 合并进模型权重,所以每一步的开销不变。只有加载或更换 LoRA 时的这次合并需要片刻。

本站能用 LoRA 吗?

不能用你自己的 LoRA。这些工具使用固定的模型,本站已经给它们加上了增强细节和噪声偏移(noise offset)的小型 LoRA。会员的 txt2img 页面将来可能提供特定的 LoRA。

<lora:名称:0.8> 里的数字是什么意思?

LoRA 改动的应用强度:1.0 是作者训练时的效果,0.5 是一半,超过 1.2 通常会让图像变形。