LoRA의 작동 원리
모델 전체를 파인튜닝하면 수억에서 수십억 개의 가중치를 다시 쓰게 되고, SD 1.5나 SDXL이라면 2~7GB짜리 파일이 만들어집니다. LoRA는 모델을 고정해 둔 채 주로 어텐션 레이어 옆에 붙는 작은 행렬 쌍만 학습시키며, 각 쌍의 곱이 변화량을 근사합니다. 그 결과 "새로 배운 것"만 작은 파일에 담기고, 이미지를 생성하는 시점에 배율을 곱해 적용됩니다. 이미지 10~30장이면 소비자용 GPU로 LoRA 하나를 학습시키기에 충분한 경우가 많고, 걸리는 시간은 베이스 모델에 따라 몇 분에서 몇 시간입니다.
LoRA 사용 방법
- 사용 중인 베이스 모델에 맞는 LoRA를 내려받습니다. SD 1.5용 LoRA는 SDXL에서 작동하지 않고 그 반대도 마찬가지입니다. SD 3.5에는 전용 LoRA가 따로 있습니다.
- 파일을 Automatic1111의
models/Lora폴더(또는 ComfyUI, Forge, Fooocus의 해당 폴더)에 넣습니다. - Automatic1111, Forge, Fooocus에서는 프롬프트에서
<lora:filename:0.8>형식으로 호출하고, ComfyUI에서는 그 대신 Load LoRA 노드를 추가합니다. 숫자가 가중치이며, 보통 0.6~1.0 범위에서 씁니다. - 제작자가 안내한 트리거 워드(캐릭터 이름, 스타일 토큰)가 있으면 함께 넣습니다.
- 값을 조절합니다. 너무 강하면 모든 이미지가 비슷해지고, 너무 약하면 아무 변화가 없습니다.
여러 LoRA 조합하기
LoRA는 여러 개를 겹쳐 쓸 수 있습니다. 스타일은 0.7, 캐릭터는 0.8, 디테일 보강용은 0.4로 주는 식입니다. LoRA를 더할수록 각각의 가중치는 낮추고, 조정하는 동안에는 시드를 고정하세요. 그러지 않으면 각 LoRA가 무슨 역할을 하는지 구분할 수 없습니다. 같은 개념을 학습한 LoRA끼리는 서로 충돌하므로 하나만 고르세요.
LoRA, 임베딩, 체크포인트: 무엇을 골라야 하나요?
| 종류 | 크기 | 적합한 용도 | 사용 방법 |
|---|---|---|---|
| 체크포인트(파인튜닝) | 2~7GB(SD 1.5, SDXL) | 전체적인 화풍(실사, 애니풍) | 베이스 모델을 대체 |
| LoRA | 몇 MB~수백 MB | 스타일, 캐릭터, 사물, 포즈 | 프롬프트에 <lora:name:weight>, ComfyUI에서는 Load LoRA 노드 |
| 텍스추얼 인버전(임베딩) | 몇 KB~100KB | 토큰 하나, 주로 네거티브용 | 프롬프트에 토큰 이름 |
좋은 체크포인트 하나를 두고 이미지마다 LoRA를 바꿔 가며 쓰는 구성이 흔합니다.
LoRA는 어디에서 구하나요?
Civitai와 Hugging Face에 수만 개가 올라와 있으며, 샘플 이미지와 트리거 워드, 필요한 베이스 모델이 함께 안내됩니다. 라이선스를 꼭 확인하세요. 상업적 이용을 금지하는 LoRA도 있고, Civitai는 2025년 5월부터 실존 인물 LoRA를 삭제하고 있습니다. 스타일이 목적이라면 저희 아티스트 스타일 비교가 좋은 대안입니다. 프롬프트에 이름 하나만 넣어도 스타일 LoRA가 할 일을 해내는 경우가 많고, 내려받을 것도 없습니다.