¿Qué es un LoRA en Stable Diffusion?

Por Actualizado el 3 min de lectura

Un LoRA (Low-Rank Adaptation) es un archivo pequeño, normalmente de 20 a 150 MB, que añade un estilo, un personaje, un producto o un concepto a un modelo Stable Diffusion existente sin reentrenarlo. Se carga junto al modelo base, se invoca en el prompt con un peso y se pueden combinar varios a la vez.

Cómo funciona un LoRA

Reentrenar un modelo entero significa reescribir miles de millones de pesos y producir un archivo de 2 a 7 GB. Un LoRA congela el modelo y entrena solo dos matrices pequeñas por capa de atención cuyo producto aproxima el cambio. El resultado captura «lo nuevo» en unos pocos megabytes y se aplica al vuelo, al generar, con un multiplicador. Bastan entre diez y treinta imágenes y unos minutos en una GPU doméstica para entrenar uno.

Cómo usar un LoRA

  1. Descarga un LoRA hecho para tu modelo base: un LoRA de SD 1.5 no funciona con SDXL, y viceversa; SD 3.5 tiene los suyos.
  2. Coloca el archivo en models/Lora de Automatic1111 (o la carpeta equivalente de ComfyUI, Forge, Fooocus).
  3. Invócalo en el prompt: <lora:nombredelarchivo:0.8>. El número es el peso; de 0,6 a 1,0 es el rango habitual.
  4. Añade la palabra de activación que indique el autor, si la hay (un nombre de personaje, un token de estilo).
  5. Ajusta: demasiado fuerte y todas las imágenes se parecen; demasiado débil y no cambia nada.

Combinar LoRA

Se pueden apilar varios LoRA: un estilo a 0,7, un personaje a 0,8, un potenciador de detalle a 0,4. Mantén la suma de pesos en torno a 1,5 o 2 como máximo, y fija la seed mientras los ajustas; si no, no sabrás qué hace cada uno. Dos LoRA entrenados sobre el mismo concepto se pelean; elige uno.

LoRA, embeddings, checkpoints: ¿cuál elegir?

TipoTamañoIdeal paraCómo se usa
Checkpoint (fine-tune)2–7 GBuna estética completa (realista, anime)sustituye al modelo base
LoRA20–150 MBun estilo, personaje, objeto, pose<lora:nombre:peso> en el prompt
Textual inversion (embedding)10–100 KBun único token, a menudo negativoel nombre del token en el prompt

La mayoría usa un buen checkpoint y cambia de LoRA según la imagen.

Dónde encontrar LoRA

Civitai y Hugging Face alojan decenas de miles, con imágenes de ejemplo, palabras de activación y el modelo base que necesitan. Comprueba la licencia: muchos prohíben el uso comercial o la reproducción de personas reales. Nuestra comparación de estilos de artistas es una buena alternativa para los estilos: un nombre en el prompt a menudo hace lo que haría un LoRA de estilo, sin descargar nada.

Preguntas frecuentes

¿Un LoRA ralentiza la generación?

Apenas: añade unas pocas multiplicaciones de matrices pequeñas por paso. Cargar un LoRA la primera vez tarda uno o dos segundos; después el coste es despreciable.

¿Puedo usar LoRA en este sitio?

Todavía no: las herramientas públicas usan modelos fijos. Las páginas txt2img de los miembros podrán exponer LoRA concretos en el futuro.

¿Qué significa el número en <lora:nombre:0.8>?

La fuerza con la que se aplican los cambios del LoRA: 1,0 es lo que entrenó el autor, 0,5 la mitad del efecto, y por encima de 1,2 la imagen suele deformarse.