Cos’è un LoRA in Stable Diffusion?

Di Aggiornato il 3 min di lettura

Un LoRA (Low-Rank Adaptation) è un piccolo file, di solito da 20 a 150 MB, che aggiunge uno stile, un personaggio, un prodotto o un concetto a un modello Stable Diffusion esistente senza riaddestrarlo. Lo carichi accanto al modello base, lo richiami nel prompt con un peso e puoi combinarne diversi insieme.

Come funziona un LoRA

Riaddestrare un modello intero significa riscrivere miliardi di pesi e produrre un file da 2 a 7 GB. Un LoRA congela il modello e addestra solo due piccole matrici per livello di attenzione il cui prodotto approssima il cambiamento. Il risultato cattura «ciò che è nuovo» in pochi megabyte e si applica al volo, in generazione, con un moltiplicatore. Bastano da dieci a trenta immagini e qualche minuto su una GPU domestica per addestrarne uno.

Come usare un LoRA

  1. Scarica un LoRA fatto per il tuo modello base: un LoRA per SD 1.5 non funziona con SDXL e viceversa; SD 3.5 ha i suoi.
  2. Metti il file in models/Lora di Automatic1111 (o nella cartella equivalente di ComfyUI, Forge, Fooocus).
  3. Richiamalo nel prompt: <lora:nomefile:0.8>. Il numero è il peso; da 0,6 a 1,0 è l’intervallo abituale.
  4. Aggiungi la parola di attivazione indicata dall’autore, se c’è (un nome di personaggio, un token di stile).
  5. Regola: troppo forte e tutte le immagini si somigliano; troppo debole e non cambia nulla.

Combinare i LoRA

Più LoRA si possono sovrapporre: uno stile a 0,7, un personaggio a 0,8, un potenziatore di dettagli a 0,4. Tieni la somma dei pesi intorno a 1,5 o 2 al massimo, e fissa il seed mentre li regoli, altrimenti non sai cosa fa ciascuno. Due LoRA addestrati sullo stesso concetto si fanno la guerra; scegline uno.

LoRA, embedding, checkpoint: quale scegliere?

TipoDimensioneIdeale perCome si usa
Checkpoint (fine-tune)2–7 GBun’estetica completa (realistica, anime)sostituisce il modello base
LoRA20–150 MBuno stile, un personaggio, un oggetto, una posa<lora:nome:peso> nel prompt
Textual inversion (embedding)10–100 KBun singolo token, spesso negativoil nome del token nel prompt

La maggior parte usa un buon checkpoint e cambia LoRA a seconda dell’immagine.

Dove trovare i LoRA

Civitai e Hugging Face ne ospitano decine di migliaia, con immagini di esempio, parole di attivazione e il modello base richiesto. Controlla la licenza: molti vietano l’uso commerciale o la riproduzione di persone reali. Il nostro confronto di stili di artisti è una buona alternativa per gli stili: un nome nel prompt fa spesso ciò che farebbe un LoRA di stile, senza scaricare nulla.

Domande frequenti

Un LoRA rallenta la generazione?

Appena: aggiunge qualche piccola moltiplicazione di matrici per passo. Il primo caricamento richiede uno o due secondi; dopo il costo è trascurabile.

Posso usare i LoRA su questo sito?

Non ancora: gli strumenti pubblici girano con modelli fissi. Le pagine txt2img dei membri potranno esporre LoRA specifici in futuro.

Cosa significa il numero in <lora:nome:0.8>?

La forza con cui vengono applicate le modifiche del LoRA: 1,0 è ciò che l’autore ha addestrato, 0,5 metà dell’effetto, e oltre 1,2 l’immagine di solito si distorce.