스테이블 디퓨전(Stable Diffusion) 프롬프트는 어떻게 작성하나요?

작성자 게시일 업데이트 2 분 소요

스테이블 디퓨전(Stable Diffusion) 프롬프트는 이미지의 방향을 정하는 텍스트 설명입니다. 명확한 피사체를 먼저 쓰고 스타일, 조명, 프레이밍, 품질 키워드 몇 개를 쉼표로 구분해 이어 붙입니다. 짧고 구체적으로, 중요한 것부터 차례로 쓰면 예측 가능한 이미지를 얻을 수 있습니다.

효과가 확실한 구조

  1. 피사체: 누가 또는 무엇이, 어디에서 무엇을 하는지. a red fox sitting on a mossy rock in a pine forest
  2. 스타일 또는 매체: oil painting, 35mm photograph, watercolor, 3D render, 또는 아티스트 이름: by Ivan Shishkin.
  3. 조명과 분위기: golden hour, soft diffused light, dramatic rim light, foggy.
  4. 프레이밍과 렌즈: close-up, wide shot, 85mm, shallow depth of field.
  5. 품질 키워드: highly detailed, sharp focus, masterpiece. 두세 개면 충분합니다.

프롬프트 앞쪽에 있는 단어일수록 뒤쪽 단어보다 영향력이 큰 경향이 있습니다. 피사체는 항상 맨 앞에 두세요.

해설과 함께 보는 예시

portrait of an old fisherman, weathered face, wool sweater, oil painting by Rembrandt, warm candlelight, dark background, close-up, 85mm, highly detailed

처음 다섯 단어가 피사체를 정합니다. 아티스트 토큰은 색감과 붓 터치를 결정합니다(이름 하나가 얼마나 큰 차이를 만드는지는 아티스트 스타일 페이지에서 볼 수 있습니다). 조명 관련 단어는 분위기를, 프레이밍 관련 단어는 구도를 좌우하고, 마지막 그룹은 완성도를 끌어올립니다. 네거티브 프롬프트: blurry, deformed hands, extra fingers, watermark, text. 자세한 내용은 네거티브 프롬프트란 무엇인가요?에서 다룹니다.

가중치와 강조

Automatic1111, Forge, Fooocus, ComfyUI에서는 괄호로 단어의 가중치를 지정합니다. (red scarf:1.3)은 그 단어의 어텐션을 30% 높인다는 뜻이고, (background:0.7)은 낮춘다는 뜻입니다. Automatic1111에서는 대괄호가 가중치를 낮춥니다. 값은 0.6~1.4 사이로 유지하세요. 이 범위를 벗어나면 이미지 품질이 떨어지는 경우가 많습니다. 가중치는 모든 단어에 붙이는 것이 아니라, 모델이 계속 무시하는 디테일을 살려 낼 때 쓰는 것입니다.

자주 하는 실수

  • 부정 표현: "a room without windows"라고 쓰면 오히려 창문이 나오는 경우가 많습니다. 원하지 않는 요소는 네거티브 프롬프트에 넣으세요.
  • 한 장에 너무 많은 내용 담기: 이미지 한 장에는 피사체 하나만 담으세요. SD 1.5와 SDXL에서 CLIP 청크 하나에는 75토큰(약 60단어)까지 들어갑니다. 그 뒤에 오는 내용을 Automatic1111은 두 번째 청크에 담고, 청크로 나누지 않는 도구는 잘라 버립니다.
  • 서로 모순되는 스타일: photorealistic watercolor는 이도 저도 아닌 탁한 결과를 냅니다.
  • 한꺼번에 전부 바꾸기: 시드를 고정하고 한 번에 단어 하나씩만 바꿔야 각 단어의 효과를 알 수 있습니다.

모델별 차이

SD 1.5와 SDXL은 위 예시처럼 키워드를 나열한 프롬프트에 잘 반응합니다. Stable Diffusion 3와 3.5는 자연스러운 문장을 더 잘 이해하고, 여러 피사체를 배치하거나("a cat on the left, a dog on the right") 따옴표 안의 짧은 문구를 그려 낼 수 있습니다. 어떤 모델을 쓰든 이 사이트의 설명이 달린 프롬프트 100+개에서 각 이미지에 쓰인 파라미터를 확인할 수 있고, 프롬프트 생성기는 단어 몇 개를 완성된 프롬프트로 확장해 줍니다. 스타일 문장이 어떤 효과를 내는지 보려면 FLUX.2로 비교한 아트 스타일을 열어 보세요. 같은 장면과 같은 시드를 모든 스타일로 렌더링했고, 복사할 문장도 함께 있습니다.

자주 묻는 질문

Stable Diffusion 프롬프트는 얼마나 길어야 하나요?

SD 1.5와 SDXL에서는 15~60단어가 적당합니다. 10단어 미만이면 모델이 빈 부분을 무작위로 채웁니다. 75토큰을 넘으면 Automatic1111은 텍스트를 청크로 나누고, 그런 기능이 없는 도구는 넘친 부분을 잘라 냅니다.

아티스트 이름은 아직도 효과가 있나요?

SD 1.5와 SDXL에서는 효과가 있습니다. 두 모델은 수천 명의 아티스트를 알고 있으며, 아티스트 1,731명의 이름을 똑같은 프롬프트 네 개와 똑같은 시드로 생성해 비교한 저희 자료에서 이름마다 어떤 효과가 나는지 확인할 수 있습니다. Stable Diffusion 3는 아티스트 이름에 대한 반응이 더 약합니다.

프롬프트는 영어로 써야 하나요?

네. 텍스트 인코더는 대부분 영어 캡션으로 학습되었습니다. 한국어 프롬프트도 부분적으로는 통하지만 정확도가 떨어집니다. 먼저 영어로 번역하세요.