本文講解，模型底模，VAE美化模型，Lora模型，hypernetwork。
文本Stable Diffusion 簡稱sd
歡迎關注

使用模型

C站：https://civitai.com/
huggingface：https://huggingface.co/models?pipeline_tag=text-to-image

大模型（底模型）

stable diffusion webui 部署完成后，checkpoint是放底模
home\webui\models 目錄下
常見模式：后綴ckpt/safetensors
常見大?。?G-7G

Realistic Vision：逼真的照片風格。
Anything v5：動漫風格。
Dreamshaper：寫實繪畫風格。

VAE美化模型

可以理解為濾鏡，選擇VAE就像給圖片套上了一層濾鏡，會改變圖片原有的顏色風格；一般默認是無，而且有些大模型中會自帶VAE
常見模式：后綴ckpt/pt
名字中帶有vae

stable-diffusion-webui 默認頁面并沒有顯示 VAE 設置部分，所以需要先設置一下。首先點擊「Settings」，然后點左側菜單的「User interface」這個 Tab，拉到下面有個選項叫做Quicksettings list，在輸入框里面添加,sd_vae,CLIP_stop_at_last_layers:

最后點擊上面的「Apply settings」，在點「Reload UI」就會重新刷新頁面，即可看到頭部的 VAE 區(qū)域:

可以去C站和huggingface下載
我們把這些 VAE 模型下載并把它放入到models/VAE目錄下:

wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt -O ~/workspace/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.ckpt
wget https://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Anything-V3.0.vae.safetensors -O ~/workspace/stable-diffusion-webui/models/VAE/Anything-V3.0.vae.safetensors
wget "https://huggingface.co/AIARTCHAN/aichan_blend/resolve/main/vae/Berry's%20Mix.vae.safetensors" -O ~/workspace/stable-diffusion-webui/models/VAE/BerrysMix.vae.safetensors

所謂沒有對比就沒有傷害，對比明顯可以感受到不加 VAE 圖片優(yōu)點灰蒙蒙的，不夠鮮艷，另外是細節(jié)不夠，而加了不同的 VAE 都有了更好的顏色效果，細節(jié)更全了 (微調)。

最后，注意不同的 VAE 適配的模型不同，也不是某個 VAE 可以用在任何模型下，否則可能會生成非常奇怪的圖。

Lora模型

LoRA模型是通過截取大模型的某一特定部分生成的小模型，雖然不如大模型的能力完整，但短小精悍。因為訓練方向明確，所以在生成特定內(nèi)容的情況下，效果會更多。
常見模式：后綴ckpt/safetensors/pt
常見大小：100MB
模型下載并把它放入到models/Lora目錄下

可以去C站下載搜索Lora模型

Embeddings

通過角色訓練產(chǎn)出，能夠讓你的主模型識別某個指定的角色，因為你的主模型不可能每個角色都認識，通過文件名觸發(fā)。
常見模式：后綴pt
常見大?。簬资甂B
模型下載放到webui\embeddings
可以去C站下載搜索Embeddings模型

Hypernetworks

通過畫風訓練產(chǎn)出，能夠指定特定的畫風！
常見模式：后綴pt
常見大?。簬资甂B
模型下載放到webui\models\hypernetworks
可以去C站下載搜索hypernetworks模型

功能類型選擇

除了文生圖，也可根據(jù)自己的需求選擇其他選項卡進行操作，以下簡單介紹正常流程會用到的選項卡：

圖生圖（img2img）：將文生圖的結果繼續(xù)生成圖片，或自己上傳一張圖片，常用于調整和優(yōu)化圖片，或修改圖片風格、背景、人物形象等場景；
附加功能（Extras）：對單張或批量圖片進行縮放的操作；
圖片信息（PNG Info）：將本地圖片上傳后，可以用于其他選項卡的功能中；
模型合并（Checkpoint Merger）：將多個模型進行不同權重的合并，從而獲得一個新的模型；
擴展：SD的擴展插件配置區(qū)，可以查看已安裝的插件內(nèi)容，并控制開啟和禁用狀態(tài)；也支持通過URL的方式獲取其他插件。

掌握提示詞技巧

提示語輸入基本要求

使用英語描述最佳，避免出現(xiàn)單詞拼寫錯誤；（不同模型可能有訓練中文和日文，可自行判斷）

標點符號同樣使用英文半角進行輸入；

建議使用逗號隔開的單詞作為提示詞；（也可用句號、甚至是空字符（\0)來分隔關鍵詞，可以提高圖像質量；

也可以使用自然語言描述圖片內(nèi)容，比如：A handsome hero armed with a sword（一個英俊的英雄裝配著劍）

提示語描述和圖像風格搭配，相近的描述不要重復出現(xiàn)

善于利用反向提示語來去除圖片的負面效果；

盡可能使用特定含義的詞匯，比如將 big 調整為 huge ，避免使用有多種含義的詞匯；

避免使用with、and之類的連接詞；

可使用emoji(??,??,??,??,??,??,??,??) 進行補充描述；

逗號前后的少量空格并不影響實際效果；

可以通過指定風格提示語來創(chuàng)作帶有特效或指定畫風的圖片；(風格獲取參考下文??)

姿勢的描述越精簡越好，否則容易出現(xiàn)肢體重復的情況；（肢體生成是AI硬傷，可用controlnet來解決）

避免過長提示詞，越尾部的提示詞在圖片中的權重默認就越低，因此關鍵特征盡可能放在頭部或通過語法來提高權重；（過長提示詞可適當提高生成步數(shù)獲取更好效果）

輸入提示詞技巧

輸入模板
將自己構思的圖片特征抽象為標簽描述，并將標簽按分類進行排列，以下為模板示例：

(quality), (subject)(style), (action/scene), (artist), (filters)

(quality) 代表畫面的品質，比如 low res 結合 sticker使用來“利用”更多數(shù)據(jù)集，1girl結合high quality使用來獲得高質量圖像。

(subject) 代表畫面主題，鎖定畫面內(nèi)容，這是任何提示詞基本組成部分。
(style) 是畫面風格，可選。
(action/scene) 代表動作/場景，描述了主體在哪里做了什么。
(artist) 代表藝術家名字或者出品公司名稱
(filters) 代表一些細節(jié)，補充?？梢允褂?藝術家，工作室，攝影術語，角色名字，風格，特效等等。

提示詞語法
(word) - 將權重提高 1.1 倍
((word)) - 將權重提高 1.21 倍（= 1.1 * 1.1），乘法的關系。
[word] - 將權重降低 90.91%
(word:1.5) - 將權重提高 1.5 倍
(word:0.25) - 將權重減少為原先的 25%
(word) - 在提示詞中使用字面意義上的 () 字符
使用數(shù)字指定權重時，必須使用() 括號。如果未指定數(shù)字權重，則假定為 （權重增加通常會占一個提示詞位，應當避免加特別多括號）

（n）=(n:1.1)
（（n））=(n:1.21)
（（（n）））=(n:1.331)
（（（（n））））=(n:1.4641)
（（（（（n）））））=(n:1.61051)
（（（（（（n））））））=(n:1.771561)

相關模板

正向提示語：

#萬能畫質要求#
(masterpiece, best quality),

反向提示語：

#避免糟糕人像的#
ugly, fat, obese, chubby, (((deformed))), [blurry], bad anatomy,disfigured, poorly drawn face, mutation, mutated, (extra_limb),(ugly), (poorly drawn hands fingers), messy drawing, morbid,mutilated, tranny, trans, trannsexual, [out of frame], (bad proportions),(poorly drawn body), (poorly drawn legs), worst quality, low quality,normal quality, text, censored, gown, latex, pencil,

#避免生成水印和文字內(nèi)容#
lowres, bad anatomy, bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worst quality, low quality,normal quality, jpeg artifacts, signature, watermark, username, blurry,

#通用#
lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,

#避免變形的手和多余的手#
extra fingers,fused fingers,too many fingers,mutated hands,malformed limbs,extra limbs,missing arms,poorly drawn hands,

輔助工具推薦

標簽參考
最全tag庫（根據(jù)分類查找）：https://danbooru.donmai.us/

顏色列表：https://en.wikipedia.org/wiki/List_of_colors_by_shade

表情符號：https://unicode.org/emoji/charts/emoji-list.html

標簽冰山圖：https://icebergcharts.com/i/Danbooru_Tags

美圖靈感

C站：https://civitai.com/

OpenArt：https://openart.ai/discovery

prompthero：https://prompthero.com/

ptsearch（韓風）：https://www.ptsearch.info/home/

arthub ：https://arthub.ai/

lexica（藝術風格）：https://lexica.art/

提示詞工具

Danbooru 標簽超市：https://tags.novelai.dev/
AI繪畫提示詞生成器：http://www.atoolbox.net/Tool.php?Id=1101
魔咒百科詞典：https://aitag.top/

風格化標簽
Stable Diffusion V1 Artist Style Studies(風格化總結)：
https://proximacentaurib.notion.site/e28a4f8d97724f14a784a538b8589e7d?v=42948fd8f45c4d47a0edfc4b78937474

藝術家風格：https://www.urania.ai/top-sd-artists
Artists To Study：https://artiststostudy.pages.dev/

MidLibrary 這個網(wǎng)站提供了不同的圖像風格，每一種都帶有鮮明的特色：https://midlibrary.io/midjourney-style-classifier#styles-by-categories

看到這里，說明你已經(jīng)完成進階，繼續(xù)加油，幫忙關注！

更多參考：歡迎關注文章來源地址http://www.zghlxwxcb.cn/news/detail-814509.html

到了這里，關于AI繪畫Stable Diffusion進階使用的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！