Stable Diffusion est un réseau neuronal développé par StabilityAI, en collaboration avec EleutherAI et LAION, pour générer des images depuis une description écrite en texte. Le modèle peut être utilisé pour d'autres activités, comme la génération d'une image à partir d'une image initiale modifiée en fonction d'une description textuelle.
SD a été entrainé avec une partie de la collection LAION-Aesthetics V2 dataset, avec 256 cartes graphiques Nvidia A100 GPUs !
Contrairement à d'autres modèles tels que DALL-E, Stable Diffusion a diffusé son code en open source. Il peut être installé sur des ordinateurs domestiques équipés d'une carte graphique décente (>6 Go de mémoire).
Stable Diffusion est basé sur une technique de génération d'image appelé modèle de diffusion latent (LDMs). Contrairement aux autres methodes de génération populaires tels que les 'generative adversarial networks (GANs)' et les techniques auto-regressivess utilisées par DALL-E, LDMs génère des images en "supprimant le bruit" de l'image de manière intérative dans une représentation, puis de la décoder dans une image complète. LDM a été développé par Machine Vision et le groupe Learning research à l'université Ludwig Maximilian de Munich et décrit dans un article présenté au récent IEEE / CVF Computer Vision and Pattern Recognition Conference (CVPR). Plus tôt cette année (2022) InfoQ a mis en avant Google's Imagen model, un autre modèle de génération d'image par une intelligence artificielle (AI) avec un modèle de diffusion.
Beaucoup d'utilisateurs de Stable Diffusion ont publiquement partagé des exemples d'images générées; Katherine Crowson, lead developer chez Stability AI, a partagé des images sur Twitter. Beaucoup de personnes ont été troublées par l'impact de la génération d'images par une intelligence artificielle dans le monde de l'art.La même semaine que la sortie de Stable Diffusion, une AI (intelligence artificielle) a gagné le premier prix dans un concourt d'art au Colorado State Fair.