之前講了stable diffusion webui搭建,這里主要介紹使用方法以及模型,擴(kuò)展等.
模型下載
主要下載網(wǎng)址
- HuggingFace：Stable Diffusion、ControlNet的官方倉(cāng)庫(kù)。
- Civitai：里面多是Lora或其它NSFW等模型的倉(cāng)庫(kù)。
這里下載anythingV4的模型,在Huggingface網(wǎng)站中搜索,
下載后放在stable-diffusion-webui\models\Stable-diffusion中
其他的模型也類似.
NovelAI模型也類似,需要下載相關(guān)模型.可以在Huggingface上搜索,如果實(shí)在找不到可以后臺(tái)私信我.接下來(lái)介紹一些比較有意思的模型以及有用的插件
NovelAI
官網(wǎng)NovelAI - The AI Storyteller可以自己在網(wǎng)站上嘗試
如果是本地部署的話,下載模型即可,可以參考這個(gè)網(wǎng)站Stable Diffusion NovelAI模型下載 - openAI
但這個(gè)模型貌似是泄露出來(lái)的,不能在huggingface上直接下載到,所以可以自己在網(wǎng)上搜搜.
loraAI
首先需要下載一個(gè)基礎(chǔ)模型,然后再下載你想要的lora模型.
一般的基礎(chǔ)模型是chilloutmix,在下載好這個(gè)模型后可以自己選擇喜歡的lora模型.
一般的基礎(chǔ)模型是chilloutmix,在下載好這個(gè)模型后可以自己.選擇喜歡的lora模型,下載后放到models/Lora中.
我這里使用chilloutmix_Ni作為基礎(chǔ)模型,然后點(diǎn)擊右邊的show extra networks,可以看見(jiàn)下面的Lora模型,點(diǎn)擊使用,再加上自己的prompt即可.
![[AI繪圖教程]stable-diffusion webui加載模型與插件. 實(shí)戰(zhàn)AI繪畫(huà)](https://imgs.yssmx.com/Uploads/2023/04/407805-1.png)
正向詞
<lora:yaeMikoRealistic_yaemikoMixed:1>masterpiece,((8k, RAW photo, highest quality, masterpiece), High detail RAW color photo professional close-up photo, (realistic, photo realism:1. 37), (highest quality), (best shadow), (best illustration), ultra high resolution, physics-based rendering, cinematic lighting), 1girl, petite, (ulzzang-6500:0.7), yae miko \(fox\), yae miko \(cosplay\), yae miko, smile, thick lips, narrow waist, shiny skin, pink hair, face_focus, (from side), depth of field, (long hair), bare shoulders, detached sleeves, hair ornament, earrings, bare thighs, (sideboob:1.65), upper body, east asian architecture, covered nipples
反向詞
bright lantern, brightness, (nipples:1.2), pussy, EasyNegative, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans,extra fingers, fewer fingers, strange fingers, bad hand, strange leg, strange thighs, ((between breasts)), (cleavage:1.5), bra,
感覺(jué)不到一分鐘就出圖了.我的GPU顯存4G,GTX1650
![[AI繪圖教程]stable-diffusion webui加載模型與插件. 實(shí)戰(zhàn)AI繪畫(huà)](https://imgs.yssmx.com/Uploads/2023/04/407805-2.png)
怎么樣,還不錯(cuò)吧
參考LORA模型使用教程及模型下載 Stable Diffusion WebUI - openAI
ControlNet
下載插件
可以直接在stable diffusion webui中下載擴(kuò)展,擴(kuò)展名字是sd-webui-controlnet
下載方式跟之前下載中文支持類似
![[AI繪圖教程]stable-diffusion webui加載模型與插件. 實(shí)戰(zhàn)AI繪畫(huà)](https://imgs.yssmx.com/Uploads/2023/04/407805-3.png)
同時(shí)推薦安裝OpenPose Editor用于編輯人物姿勢(shì)
下載模型
網(wǎng)站lllyasviel/ControlNet at main (huggingface.co)
| 模型名稱 | 模型描述 |
|---|---|
| control_sd15_canny.pth | 適用于給線稿上色，或?qū)D片轉(zhuǎn)化為線搞后重新上色，比較適合人物。 |
| control_sd15_depth.pth | 創(chuàng)造具有景深的中間圖，建筑人物皆可使用。 Stability的模型64×64深度，ControlNet模型可生成512×512深度圖。 |
| control_sd15_hed.pth | 提取的圖像目標(biāo)邊界將保留更多細(xì)節(jié)，此模型適合重新著色和風(fēng)格化。 |
| control_sd15_mlsd.pth | 該模型基本不能識(shí)別人物的，但非常適合建筑生成，根據(jù)底圖或自行手繪的線稿去生成中間圖，然后再生成圖片。 |
| control_sd15_normal.pth | 根據(jù)底圖生成類似法線貼圖的中間圖，并用此中間圖生成建模效果圖。 此方法適用于人物建模和建筑建模，但更適合人物建模。 |
| control_sd15_openpose.pth | 根據(jù)圖片生成動(dòng)作骨骼中間圖，然后生成圖片，使用真人圖片是最合適的，因?yàn)槟Ｐ蛶?kù)使用的真人素材。 |
| control_sd15_scribble.pth | 使用人類涂鴉控制SD。該模型使用邊界邊緣進(jìn)行訓(xùn)練，具有非常強(qiáng)大的數(shù)據(jù)增強(qiáng)功能，以模擬類似于人類繪制的邊界線。 |
| control_sd15_seg.pth | 使用語(yǔ)義分割來(lái)控制SD，協(xié)議是ADE20k。 現(xiàn)在您需要輸入圖像，然后一個(gè)名為Uniformer的模型將為您檢測(cè)分割。 |
這里一個(gè)模型就是5.71G,由于磁盤(pán)空間有限,所以我這里選擇其中一個(gè)即可.
注意模型需要放在controlnet擴(kuò)展目錄下的models中
![[AI繪圖教程]stable-diffusion webui加載模型與插件. 實(shí)戰(zhàn)AI繪畫(huà)](https://imgs.yssmx.com/Uploads/2023/04/407805-4.png)
使用
![[AI繪圖教程]stable-diffusion webui加載模型與插件. 實(shí)戰(zhàn)AI繪畫(huà)](https://imgs.yssmx.com/Uploads/2023/04/407805-5.png)
下載后刷新,界面會(huì)出現(xiàn)ControlNet
利用剛才的圖像,將剛才的圖像拖到ControlNet中,勾選啟用,預(yù)處理器選擇openpose,模型選擇對(duì)應(yīng)的control_openpose的模型,其他的可以不動(dòng).然后點(diǎn)擊預(yù)覽預(yù)處理結(jié)果.
這樣就得到對(duì)應(yīng)的骨骼姿勢(shì)了,輸入不同的prompt,點(diǎn)擊生成可以通過(guò)這個(gè)骨骼姿勢(shì)得到其他圖像.下載了的預(yù)處理器如下
![[AI繪圖教程]stable-diffusion webui加載模型與插件. 實(shí)戰(zhàn)AI繪畫(huà)](https://imgs.yssmx.com/Uploads/2023/04/407805-6.png)
| 預(yù)處理名稱 | 對(duì)應(yīng)模型 | 模型描述 |
|---|---|---|
| canny | control_canny | 邊緣檢測(cè) |
| depth | control_depth | 深度檢測(cè) |
| hed | control_hed | 邊緣檢測(cè)但保留更多細(xì)節(jié)，適合重新著色和風(fēng)格化。 |
| mlsd | control_mlsd | 線段識(shí)別，識(shí)別人物功能極差，非常適合建筑。 |
| normal_map | control_normal | 根據(jù)圖片生成法線貼圖，非常適合CG建模師。 |
| openpose | control_openpose | 提取人物骨骼姿勢(shì) |
| openpose_hand | control_openpose | 提取人物+手部骨骼姿勢(shì) |
| scribble | control_openpose | 提取黑白稿 |
| fake_scribble | control_scribble | 涂鴉風(fēng)格提?。ê軓?qiáng)大的模型） |
| segmentation | control_seg | 語(yǔ)義分割 |
除了使用openpose還有其他模型可用,比如使用Canny提取線稿
還有使用Scribble模型涂鴉繪畫(huà)等等.這里就不詳細(xì)說(shuō)了
插件下載
提示詞補(bǔ)全
能在輸入Tag時(shí)提供booru風(fēng)格（如Danbooru）的TAG自動(dòng)補(bǔ)全。因?yàn)橛幸恍┠Ｐ褪腔谶@種TAG風(fēng)格訓(xùn)練的（例如Waifu Diffusion），因此使用這些Tag能獲得較為精確的效果。
a1111-sd-webui-tagcomplete/README_ZH.md at main · DominikDoom/a1111-sd-webui-tagcomplete (github.com)
git clone "https://github.com/DominikDoom/a1111-sd-webui-tagcomplete.git" extensions/tag-autocomplete
openpose editor
下載插件即可,可用于編輯ControlNet得到的骨骼圖.
骨架人偶Posex
hnmr293/posex: Posex - Estimated Image Generator for Pose2Image (github.com)
使用方法
點(diǎn)擊:選擇身體
左拽:移動(dòng)關(guān)節(jié)(選中關(guān)節(jié)點(diǎn))或者旋轉(zhuǎn)視角
右拽:移動(dòng)整個(gè)身體(如果選中身體)或者移動(dòng)視角
鼠標(biāo)滾輪:放大縮小
手部模型
jexom/sd-webui-depth-lib: Depth map library for use with the Control Net extension for Automatic1111/stable-diffusion-webui (github.com)文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-407805.html
不定期更新,歡迎關(guān)注點(diǎn)贊.??文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-407805.html
參考資料
- AI繪畫(huà)｜ControlNet安裝教程及模型下載｜Stable Diffusion WebUI高階教程 - openAI
- Stable Diffusion WebUI實(shí)用AI繪圖擴(kuò)充功能介紹 | Ivon的部落格 (ivonblog.com)
- AI繪畫(huà)新突破-ControlNet精準(zhǔn)控圖 - 知乎 (zhihu.com)
到了這里，關(guān)于[AI繪圖教程]stable-diffusion webui加載模型與插件. 實(shí)戰(zhàn)AI繪畫(huà)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
