Come funziona Stable Diffusion?
Stable Diffusion è un modello di diffusione latente. Durante l’addestramento ha imparato a togliere il rumore da centinaia di milioni di immagini accompagnate dalla loro didascalia. In fase di generazione parte da un rumore puramente casuale e, passo dopo passo, lo ripulisce nella direzione del tuo testo: dopo 20 o 30 passi il rumore è diventato un’immagine che corrisponde al prompt.
Collaborano tre componenti: un codificatore di testo che trasforma le parole in numeri, una U-Net (o, dalla versione 3, un transformer di diffusione) che rimuove il rumore, e un decodificatore che converte l’immagine latente compatta in pixel. Lavorare in quello spazio compresso è ciò che la rende abbastanza veloce per una GPU domestica.
Quali versioni esistono?
- Stable Diffusion 1.5 (2022): immagini 512×512, migliaia di varianti e LoRA della community.
- SDXL 1.0 (luglio 2023): 1024×1024 nativo, mani, volti e composizione migliori, un modello «refiner» per i dettagli.
- Stable Diffusion 3 Medium (giugno 2024): transformer di diffusione, resa del testo e comprensione del prompt molto migliori.
- Stable Diffusion 3.5 (ottobre 2024): la versione attuale, nelle taglie Large, Large Turbo e Medium, più fedele al prompt e con stili più vari.
Il confronto dettagliato è in SDXL contro Stable Diffusion 3.
Cosa si può fare?
Il testo-immagine è solo l’inizio. Gli stessi modelli fanno immagine-immagine (trasformare uno schizzo o una foto), inpainting (ridipingere una zona), outpainting (estendere un’immagine), ingrandimento con modelli di super-risoluzione e, con ControlNet, una generazione guidata da una posa, una mappa di profondità o dei contorni. Estensioni chiamate LoRA, piccoli file a parte, insegnano al modello uno stile o un personaggio.
Su questo sito puoi provare l’inpainting e l’ingrandimento senza account, generare immagini con SDXL o Stable Diffusion 3, e sfogliare 1.731 stili di artisti e 100+ prompt documentati per capire cosa fa un prompt.
Che differenza c’è con DALL-E o Midjourney?
Due cose: i pesi sono pubblici e gira in locale. Puoi scaricare il modello, eseguirlo gratis sul tuo computer, modificarlo e tenere private le tue immagini. Midjourney e i modelli per immagini di OpenAI (DALL-E, oggi GPT Image) sono servizi chiusi: si paga in abbonamento o a immagine, e il modello non lascia mai i loro server. In cambio Stable Diffusion ti chiede di più: scegliere un modello, scrivere un prompt preciso e un prompt negativo, e capire il seed.
Serve un computer potente?
Per farla girare da soli basta una scheda NVIDIA recente con almeno 6 GB di VRAM per SD 1.5, e 8 GB bastano per SDXL. Le schede AMD funzionano con ROCm su Linux e i Mac Apple Silicon con il backend MPS. Se non hai nulla di tutto questo, per gli strumenti di questo sito non serve alcun hardware: alcuni girano sulla nostra GPU, con coda e avanzamento mostrati in diretta, altri sono demo ospitate altrove e incorporate nella pagina. Leggi come installare Stable Diffusion in locale quando sei pronto.