前言

注：本文偏向于整理，都是跟著大佬們學(xué)的。

推薦兩個(gè)b站up主，學(xué)完他們倆的東西基本就玩轉(zhuǎn)SD為底的ai繪畫：
秋葉aaaki，Nenly同學(xué)

1.首先SD主流的就是秋葉佬的Webui了，直接壓縮包下載即可，下載地址在這個(gè)視頻的簡(jiǎn)介里：https://www.bilibili.com/video/BV1iM4y1y7oA

2.下載之后，就可以配合著Nenly佬的ai繪畫課來看我的筆記了(正課一共10集，基本滿足大部分人的需求了)：
https://www.bilibili.com/video/BV1As4y127HW

3.有一點(diǎn)要注意以下，第10課中的ControlNet，Nenly佬提供的方法是不使用秋葉Webui的方法，我比較推薦用秋葉Webui，畢竟是來畫的不是來被一堆安裝問題弄瘋的，在下載她的壓縮包的時(shí)候就會(huì)把主流的ControlNet模型都給你了，然后啟用ControlNet的方法可以看我的筆記也可以看秋葉佬的視頻：https://www.bilibili.com/video/BV1fa4y1G71W

當(dāng)然如果你想挑戰(zhàn)原汁原味的下載和安裝以及鍛煉英語能力，你可以直接去github下載：https://github.com/AUTOMATIC1111/stable-diffusion-webui

Stable Diffusion筆記

目錄 (點(diǎn)擊即可跳轉(zhuǎn)):

1. 提示詞常用模板

2. 常用主模型/底模型(checkpoint)

3. 超分辨率

4. Embeddings/LoRa/Hypernetwork 針對(duì)性小模型

5. 圖片tag反推

6. 定向局部重繪/修復(fù)

7. Stable Diffusion擴(kuò)展插件

8. Lora的詳細(xì)使用

9. ControlNet基礎(chǔ)及進(jìn)階

1.提示詞常用模板

ai繪畫的重中之重，想讓ai畫出滿意的畫，tag自然要精良，以下是區(qū)分各種不同詞條并分類，僅作為示例，比較簡(jiǎn)單且快速上手的方法就是直接抄大佬作業(yè)，去https://civitai.com/隨便找個(gè)大佬作品，點(diǎn)進(jìn)去圖片基本上都會(huì)有生成那張圖片的tag，抄就完事了，后續(xù)熟練再自己寫。

不過負(fù)面提示詞可以直接抄我的，這東西基本沒啥變化，除非你想畫古神？

以及可以通過加括號(hào)的方式來提高某些詞語的權(quán)重, 一個(gè)括號(hào)()為1.1倍權(quán)重， 每次套一個(gè)括號(hào)就是再乘1.1，也可以通過(xxx:1.2)這種來直接指定tag的權(quán)重。

翻譯軟件或者在擴(kuò)展插件中提到的詞庫(kù)翻譯，都是你寫tag的好幫手，個(gè)人非常推薦詞庫(kù)翻譯，你可以寫中文來補(bǔ)全英文，也能更好的理解有一些tag的意義。

正面提示詞

• 描述人物：1girl, solo, ultra detailed (green eyes), very long [brown|blondie|brown] curly hair, (fine face),upper body,
• 描述場(chǎng)景：sits in the flower meadow,
• 描述環(huán)境(時(shí)間，光照)：sunrise,beautiful detailed sky,a lot of white flowers,sunlight,
• 描述畫幅視角：cinematic angle,
• 其他畫面要素：depth of field,
  
  
• 高品質(zhì)標(biāo)準(zhǔn)化:(masterpiece:1.5),(best quality:1.1),(ultra-detailed),(illustration),
• 畫風(fēng)標(biāo)準(zhǔn)化：anime,
• 其他特殊要求：
• Lora添加：<lora:StardustModel:0.8>

負(fù)面提示詞

• (worst quality:1.5), (low quality:1.5), (normal quality:1.5), lowres, bad anatomy, bad hands, multiple eyebrow, (cropped), extra limb, missing limbs, deformed hands, long neck, long body, (bad hands), signature, username, artist name, conjoined fingers, deformed fingers, ugly eyes, imperfect eyes, skewed eyes, unnatural face, unnatural body, error, painting by bad-artist layman work, worst quality, ugly, (deformed|distorted|disfigured:1.21), poorly drawn, bad anatomy, wrong anatomy, mutation, mutated, (mutated hands AND fingers:1.21), bad hands, bad fingers, loss of a limb, extra limb, missing limb, floating limbs, amputation, Yaeba, photo, deformed, black and white, realism, disfigured, low contrast,EasyNegative,

示例：

2.常用主模型/底模型(checkpoint)

模型下載一般就去 https://civitai.com/ 或者 https://huggingface.co/，以下的這些皆為主流模型推薦。

二次元模型：

• Anything V5
• Counterfeit V2.5
• Dreamlike Diffusion
• AbyssOrangeMix2
• Cetus-Mix
• pastelMix

真實(shí)風(fēng)格模型：

• koreanDollLikeness
• LOFI
• Realistic Vision

2.5D風(fēng)格模型：

• Never Ending Dream
• Protogen
• GuoFeng3

3.超分辨率

3.1 Hi-Res Fix: 通過Text to image的固定詞條和seed,

選擇高清修復(fù)，調(diào)整放大算法(R-ESRGAN 4x+/anime6B)，高清修復(fù)采樣次數(shù)0-7，重繪幅度(0.3-0.7)，放大倍率2等.

3.2 SD放大(upscal): 通過image to image將圖片分割為多個(gè)區(qū)塊分別進(jìn)行放大重繪，再通過圖塊重疊像素Tile Overlap來讓區(qū)塊進(jìn)行過度，

選擇SD腳本，重繪幅度0.3-0.7，重疊像素128，寬度和高度加上放大的像素尺寸.

3.3 附加功能中的ai超分：相當(dāng)于重繪幅度為0的高清修復(fù)

縮放比例2，選擇兩個(gè)放大算法，調(diào)整第二個(gè)放大算法的可見度0.3-0.7

4.Embeddings/LoRa/Hypernetwork 針對(duì)性小模型

4.1 Embeddings：

.pt文件，詞嵌入模型，類似于書簽，使用關(guān)鍵詞觸發(fā)，“嵌入式向量”，本身不包含信息。

• 角色三視圖 CharTurner
• 解決手部問題 badhandv4,EasyNegative
• 真人問題 DeepNegative

4.2 LoRa：

.safe文件，低秩適應(yīng)模型，類似于更為直接且清晰的彩頁(yè)圖片書簽，更加完好的保證了某一角色/類型的特點(diǎn)，使用<lora:xxx:0.8>來觸發(fā)，范圍在0.5-0.7。

4.3 Hypernetwork：

超網(wǎng)絡(luò)模型，非寫實(shí)類型更改畫風(fēng)，但可以被lora進(jìn)行替代

5.圖片tag反推

這個(gè)太簡(jiǎn)單了，沒啥說的，切換到tagger中直接圖片拖進(jìn)去就自動(dòng)給你分析了

• 圖生圖中的DeepBooru/CLIP反推
• WD1.4標(biāo)簽器(推薦)

6.定向局部重繪/修復(fù)

6.1 使用圖生圖中的局部重繪功能

使用畫筆覆蓋需要重繪的區(qū)域，設(shè)置較高的重繪幅度0.75+，蒙版預(yù)留邊緣像素和重繪區(qū)域成正比，蒙版模糊也是同理，但推薦10以下。

蒙版：指被畫筆涂黑的區(qū)域

6.2 Inpaint Stetch畫筆繪制重繪 (涂鴉重繪)

使用畫筆添加需要的內(nèi)容，并可以根據(jù)調(diào)色板來指定顏色，可以對(duì)畫面進(jìn)行添加物體例如口罩。記得畫完物品后加上對(duì)應(yīng)的物品詞條(black mask:1.2)。

蒙版透明度代表添加上去的顏色的不透明度，重繪幅度調(diào)低0.5-。

6.3 上傳重繪蒙版

說人話就是用Ps等圖片處理軟件來進(jìn)行蒙版的選取，套索工具等

7.Stable Diffusion擴(kuò)展插件

一些基礎(chǔ)擴(kuò)展插件已經(jīng)被秋葉佬的webui中收錄，進(jìn)階的可以去擴(kuò)展extension里下載。

7.1 基礎(chǔ)擴(kuò)展：

1. SD漢化，搜索zh
2. 圖庫(kù)瀏覽器，搜索image browser
3. 提示詞補(bǔ)全，搜索tag complete
4. 詞庫(kù)翻譯，b站up@一般路過的boki醬整合的7w詞條翻譯，放到extension文件中的tags文件夾中，并進(jìn)行webui的設(shè)置(標(biāo)簽自動(dòng)補(bǔ)全)更改選擇使用的標(biāo)簽文件名以及翻譯文件名

7.2 進(jìn)階擴(kuò)展：

1. Ultimate SD Upscale 無損高清放大，SD放大的上位替代，搜索ultimate。

目標(biāo)尺寸類型選custom進(jìn)行調(diào)整放大后的大小，放大算法R-ESRGAN 4+，Chess類型，寬度512，按縫修復(fù)half tile offset pass + intersection，重繪幅度0.5.

8.Lora

多在c站逛逛，總會(huì)有心儀的lora的

8.1 Lora的詳細(xì)使用：

.ckpt/.safe文件，放入sd-webui-aki-v4.2\models\Lora文件夾中。

1. 在提示詞中假如對(duì)應(yīng)的lora的<lora:xxx:0.8>來觸發(fā)lora。
2. 通過webui中的按鈕來顯示所有可用lora(記得刷新)。

同時(shí)可以通過點(diǎn)擊Lora的替換圖按鈕來為L(zhǎng)ora設(shè)置預(yù)設(shè)圖，更清晰明了的展現(xiàn)Lora的風(fēng)格，方便挑選：

8.2 Lora的分類：

人物lora的權(quán)重在0.6-0.8之間，其余l(xiāng)ora如果用于’調(diào)味’那就設(shè)置在0.3左右。

9.ControlNet基礎(chǔ)及進(jìn)階

Ai繪畫的進(jìn)階技巧，通過 骨骼/景深/描邊 模型來一定程度上的控制ai繪畫的 動(dòng)作/場(chǎng)景/人物特點(diǎn) 等。

工作原理是基于一些額外信息來給擴(kuò)散模型的生成提供明確的指引 (啟發(fā)式函數(shù)?)。

9.1 安裝：

秋葉佬的教程：https://www.bilibili.com/video/BV1fa4y1G71W/

1. 將預(yù)處理器的download文件夾復(fù)制到"sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator"文件夾中。
2. 將模型放入到"sd-webui-aki-v4.2\models\ControlNet"文件夾中。

9.2 ControlNet的參數(shù)：

1. 勾選啟用。
2. 完美像素模式，建議勾選，自動(dòng)計(jì)算預(yù)處理器產(chǎn)出圖像最適合的分辨率。
3. 允許預(yù)覽, 打開一個(gè)小窗口可以看到處理過的信息圖。
4. 控制模式，讓圖片更傾向于什么，一般balance就夠用。
5. 預(yù)處理器和模型選擇要對(duì)應(yīng)。
6. 權(quán)重，controlnet的控制強(qiáng)度。
7. 引導(dǎo)介入/引導(dǎo)終止時(shí)機(jī), 也就是controlnet何時(shí)介入圖像擴(kuò)散生成的過程，晚一點(diǎn)介入可以給到ai更多的自由度。

控制模式的示例：

9.3 ControlNet的模型：

五種基礎(chǔ)模型 (Canny已被Lineart替代)

其余可用模型：

• Lineart，上位替代Canny
• Instruct Pix2Pix，根據(jù)指令/tag局部整體操縱圖像 (例如變?yōu)橐雇?
• Tile，增加局部細(xì)節(jié)
• Shuffle 打亂重建/風(fēng)格遷移

9.4 五大模型的應(yīng)用：

1. Openpose，捕捉人物骨骼，可以使用預(yù)處理器openpose-full來進(jìn)行全捕捉(手部，面部，身體), 也可以使用hand/face/faceonly來只捕捉某一部分。

2. Depth，捕捉景深還原富有空間感的多層次場(chǎng)景，推薦使用Leres++預(yù)處理，效果最為精細(xì)，但處理時(shí)間也很長(zhǎng)。

3. Canny，識(shí)別提取圖像里的邊緣特征，最重要的模型之一，因?yàn)榭梢宰畲蟪潭鹊谋Ａ裟承┨卣鱽碜龅竭€原，比如文字，使用Canny時(shí)，如果有些線條沒被識(shí)別到，那么可以試試降低兩個(gè)threshold(閾值)。

4. SoftEdge，類似于更加柔和的Canny，線條更為模糊，比Canny給ai的自由度更大。

5. Scribble, 比Softedge自由度更大，可以做到靈魂畫手的感覺，比如用scribble提取一個(gè)房子的線條模型，給宇宙戰(zhàn)艦的提示詞，就能得到房子形狀的宇宙戰(zhàn)艦啦！

9.5 Multi-ControlNet應(yīng)用：

秋葉佬webui默認(rèn)啟用，可在設(shè)置-ControlNet-ControlNet unit最大數(shù)量中進(jìn)行更改。

用于處理一些單個(gè)模型無法解決的情況，例如有一張手擋在臉前面的圖片，openpose識(shí)別出的骨骼圖無法讓ai知道手到底是在腦袋前還是后，而depth雖然能根據(jù)景深識(shí)別出手在前還是后，但無法精準(zhǔn)的給出手的骨骼，那么就可以使用Multi-ControlNet了，來讓幾個(gè)模型同時(shí)發(fā)揮作用。

不過切記小心每個(gè)模型的權(quán)重，比如在剛剛的手在前的例子中，depth實(shí)際上只是讓ai知道手在前，那么就可以適當(dāng)降低depth模型的權(quán)重，讓depth對(duì)其他東西的影響降到最低。

開啟后通過unit進(jìn)行切換。

結(jié)尾

如果有所幫助請(qǐng)給個(gè)免費(fèi)的贊吧~有人看才是支撐我寫下去的動(dòng)力！
后續(xù)可能會(huì)繼續(xù)更新，不過ai繪畫最近也確實(shí)沒什么大的突破了。文章來源地址http://www.zghlxwxcb.cn/news/detail-693736.html

到了這里，關(guān)于Stable Diffusion---Ai繪畫-下載-入門-進(jìn)階(筆記整理)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！