Présentation des modèles et outils complémentaires

Stable Diffusion (SD) est un outil puissant pour la génération d'images à partir de texte. Pour aller au-delà des fonctions de base, il est essentiel de maîtriser les différents types de modèles et extensions disponibles.

Modèles de base (Checkpoints)

Les modèles de base, souvent appelés checkpoints, définissent le style global de l'image générée. Ils se trouvent généralement dans le répertoire models/checkpoints de l'interface webUI de SD. Ces fichiers ont généralement une extension .ckpt ou .safetensors, et leur taille varie entre 2 Go et 7 Go.

Exemples populaires :

• Realistic Vision : style réaliste et photographique.
• Anything v5 : style manga et illustration.
• Dreamshaper : style pictural réaliste.

Modèles VAE (Variational Autoencoder)

Les VAE jouent le rôle de filtres visuels, influençant les tons et la qualité perceptive des images. Certains modèles de base incluent un VAE par défaut, mais il est possible de les remplacer ou d'en ajouter.

Pour activer les paramètres VAE dans l'interface webUI de SD :

1. Accédez à l'onglet Settings.
2. Sélectionnez User interface dans le menu de gauche.
3. Ajoutez sd_vae,CLIP_stop_at_last_layers dans le champ Quicksettings list.
4. Cliquez sur Apply settings puis sur Reload UI.

Les fichiers VAE doivent être placés dans le répertoire models/VAE. Exemple de téléchargement :

wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt -O ~/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.ckpt

Modèles LoRA

LoRA (Low-Rank Adaptation) sont des modèles légers qui modifient ou spécialisent un modèle de base pour un style ou un sujet spécifique. Ces modèles pèsent généralement entre 50 Mo et 200 Mo et sont stockés dans models/Lora.

Hypernetworks

Les hyperréseaux permettent d'ajuster le style global de l'image générée. Ils sont stockés dans models/hypernetworks et utilisent souvent une extension .pt.

Embeddings

Les embeddings sont des fichiers qui ajoutent des concepts ou personnages spécifiques au vocabulaire visuel du modèle. Ils se placent dans le répertoire embeddings et sont généralement nommés avec un suffixe .pt.

Options de génération

• img2img : Permet de modifier ou d'améliorer une image existante.
• Extras : Utilisé pour redimensionner des images.
• PNG Info : Récupère les données de génération d'une image.
• Checkpoint Merger : Combine plusieurs modèles avec des poids ajustables.
• Extensions : Gère les modules complémentaires de l'interface.

Techniques de prompt

Les prompts jouent un rôle crucial dans la qualité et la pertinence des résultats. Voici quelques bonnes pratiques :

• Utilisez des mots-clés en anglais.
• Évitez les connecteurs comme "and" ou "with".
• Utilisez des virgules pour séparer les termes.
• Privilégiez des termes précis comme "huge" plutôt que "big".
• Utilisez des emojis pour affiner le contexte visuel.

Modèle de prompt structuré

(qualité), (sujet)(style), (action/lieu), (artiste), (filtres)

• qualité : ex. best quality, high resolution
• sujet : ex. 1girl, dragon
• style : ex. oil painting, cyberpunk
• action/lieu : ex. flying in the sky, underwater
• artiste : ex. Makoto Shinkai
• filtres : ex. sharp focus, dramatic lighting

Poids syntaxique des prompts

Les parenthèses permettent de pondérer l'importance d'un terme :

• (word) : ×1.1
• ((word)) : ×1.21
• [word] : ×0.909
• (word:1.5) : ×1.5

Prompts négatifs

Voici une liste de termes à exclure pour améliorer la qualité visuelle :

ugly, blurry, bad anatomy, text, watermark, extra limbs, low quality

Outils complémentaires

• Danbooru : base de données de tags.
• PromptHero : exemples de prompts.
• Lexica : moteur de recherche d'images générées.
• Danbooru Tag Supermarket : outil d'analyse des tags.