Comment fonctionne un LoRA
Ré-entraîner un modèle entier revient à réécrire des centaines de millions, voire des milliards, de poids et à produire un fichier de 2 à 7 Go pour SD 1.5 ou SDXL. Un LoRA gèle le modèle et n’entraîne que des paires de petites matrices, placées surtout au niveau des couches d’attention ; le produit de chaque paire approche le changement. Le résultat capture « ce qui est nouveau » dans un petit fichier et s’applique à la génération, avec un multiplicateur. Dix à trente images suffisent souvent pour en entraîner un sur une carte grand public, en quelques minutes à quelques heures selon le modèle de base.
Comment utiliser un LoRA
- Téléchargez un LoRA fait pour votre modèle de base : un LoRA SD 1.5 ne fonctionne pas avec SDXL, et inversement ; SD 3.5 a les siens.
- Placez le fichier dans
models/Lorad’Automatic1111 (ou le dossier équivalent de ComfyUI, Forge, Fooocus). - Dans Automatic1111, Forge et Fooocus, appelez-le dans le prompt avec
<lora:nomdufichier:0.8>; dans ComfyUI, ajoutez plutôt un nœud Load LoRA. Le nombre est le poids ; 0,6 à 1,0 est la plage habituelle. - Ajoutez le mot déclencheur indiqué par l’auteur s’il y en a un (un nom de personnage, un token de style).
- Ajustez : trop fort, toutes les images se ressemblent ; trop faible, rien ne change.
Combiner des LoRA
Plusieurs LoRA s’empilent : un style à 0,7, un personnage à 0,8, un amplificateur de détails à 0,4. Baissez chaque poids à mesure que vous en ajoutez, et fixez la seed pendant les réglages, sinon impossible de savoir ce que fait chacun. Deux LoRA entraînés sur le même concept se battent ; choisissez-en un.
LoRA, embeddings, checkpoints : lequel choisir ?
| Type | Taille | Idéal pour | Utilisation |
|---|---|---|---|
| Checkpoint (fine-tune) | 2–7 Go (SD 1.5, SDXL) | une esthétique entière (réaliste, anime) | remplace le modèle de base |
| LoRA | de quelques Mo à quelques centaines de Mo | un style, un personnage, un objet, une pose | <lora:nom:poids> dans le prompt, ou un nœud Load LoRA dans ComfyUI |
| Textual inversion (embedding) | de quelques Ko à 100 Ko | un seul token, souvent négatif | le nom du token dans le prompt |
Une configuration courante : un bon checkpoint, et des LoRA que l’on change selon l’image.
Où trouver des LoRA
Civitai et Hugging Face en hébergent des dizaines de milliers, avec images d’exemple, mots déclencheurs et modèle de base requis. Vérifiez la licence : certaines interdisent l’usage commercial, et Civitai retire les LoRA de personnes réelles depuis mai 2025. Notre comparaison de styles d’artistes est une bonne alternative pour les styles : un nom dans le prompt fait souvent ce qu’un LoRA de style ferait, sans rien télécharger.