Stable Diffusion はどう動くのか
Stable Diffusion は潜在拡散モデルです。学習時には、キャプション付きの数億枚の画像からノイズを取り除くことを覚えました。生成時には完全にランダムなノイズから出発し、あなたの文章の方向へ一歩ずつノイズを除去していきます。20〜30ステップ後には、ノイズはプロンプトに合った一枚の絵になっています。
三つの部品が協力します。言葉を数値に変えるテキストエンコーダ、ノイズ除去を担う U-Net（バージョン3以降は拡散トランスフォーマー）、そして圧縮された潜在画像をピクセルに戻すデコーダです。この圧縮された潜在空間で処理することが、家庭用 GPU でも十分速く動く理由です。
どのバージョンがあるのか
- Stable Diffusion 1.5（2022年）：512×512 の画像。コミュニティ製の派生モデルと LoRA が数千本あります。
- SDXL 1.0（2023年7月）：1024×1024 がネイティブ。手・顔・構図が改善され、細部用の refiner モデルが付属。
- Stable Diffusion 3 Medium（2024年6月）：拡散トランスフォーマー。文字の描画とプロンプト理解が大幅に向上。
- Stable Diffusion 3.5（2024年10月）：現行版。Large・Large Turbo・Medium の3サイズで、プロンプトへの忠実さが向上し、画風もより多彩に。
詳しい比較は SDXL と Stable Diffusion 3 の比較をご覧ください。
何ができるのか
テキストから画像を作るのは入口にすぎません。同じモデルで画像から画像（スケッチや写真の変換）、インペインティング（一部だけ描き直す）、アウトペインティング（画像の外側を描き足す）、超解像モデルによる拡大、そして ControlNet を使えばポーズ・深度マップ・輪郭に沿った生成もできます。LoRA と呼ばれる小さな追加ファイルは、モデルに画風やキャラクターを教え込みます。
このサイトでは、アカウントなしでインペインティングと拡大を試し、SDXL や Stable Diffusion 3 で画像を生成し、1,731人の画家のスタイルと100+本の記録付きプロンプトを眺めて、プロンプトが何を変えるのかを学べます。
DALL-E や Midjourney と何が違うのか
二点です。重みが公開されていること、そしてローカルで動くことです。モデルをダウンロードして自分のパソコンで無料で動かし、改造し、生成した画像を手元に置いておけます。Midjourney と OpenAI の画像モデル（DALL-E、現在は GPT Image）は閉じたサービスです。料金は月額制か画像ごとの課金で、モデルが提供元のサーバーから外に出ることはありません。その代わり Stable Diffusion は、モデルを選び、正確なプロンプトとネガティブプロンプトを書き、シードを理解するという手間を求めます。
高性能なパソコンが必要か
自分で動かすなら、SD 1.5 には VRAM 6 GB 以上の比較的新しい NVIDIA カードで十分で、SDXL には 8 GB あれば足ります。AMD カードは Linux 上の ROCm で、Apple Silicon は MPS バックエンドで動きます。どれもない場合でも、このサイトのツールならハードウェアは要りません。一部は私たちの GPU で動作し、待ち行列と進捗をリアルタイムで表示します。それ以外は、外部でホストされているデモをページに埋め込んだものです。準備ができたらStable Diffusion をローカルに導入する方法をお読みください。