一、前言

穩(wěn)定擴(kuò)散算法（stable diffusion）可以應(yīng)用于圖像處理中的許多問(wèn)題，例如圖像去噪、圖像分割、圖像增強(qiáng)和圖像恢復(fù)等。在圖像去噪方面，穩(wěn)定擴(kuò)散算法可以通過(guò)對(duì)圖像進(jìn)行平滑處理來(lái)減少噪聲，并保留圖像的細(xì)節(jié)信息。在圖像分割方面，穩(wěn)定擴(kuò)散算法可以通過(guò)對(duì)圖像進(jìn)行聚類來(lái)將圖像分成不同的區(qū)域。在圖像增強(qiáng)方面，穩(wěn)定擴(kuò)散算法可以通過(guò)增加圖像的對(duì)比度和亮度來(lái)使圖像更加清晰。在圖像恢復(fù)方面，穩(wěn)定擴(kuò)散算法可以通過(guò)重建缺失的像素來(lái)恢復(fù)圖像的完整性。

再次感謝B站秋葉大佬的整合包，小白也能放心食用，B站秋葉大佬 一鍵三連

鏈接：https://pan.baidu.com/s/1r8nv5CbYRI4p6QSue5zeoA 提取碼：lj33
下面介紹使用的細(xì)節(jié)

二、安裝

1.解壓后點(diǎn)擊啟動(dòng)器運(yùn)行依賴，然后點(diǎn)擊A啟動(dòng)器

2.更新本體和擴(kuò)展

3.把controlnet1.1放入stable diffusion 中

模型里面的文件復(fù)制放入

預(yù)處理器里的download放入

三、使用界面參數(shù)

1.提示詞

masterpiece,best quality,
lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,username,blurry

正向反向提示詞，如果要加大提示詞比重，(word:1.5) - 將權(quán)重提高 1.5 倍

2.采樣和迭代步數(shù)

• Sampler（采樣器/采樣方法）

Euler a（Eular ancestral）可以以較少的步數(shù)產(chǎn)生很大的多樣性，不同的步數(shù)可能有不同的結(jié)果。
DPM 相關(guān)的采樣器通常具有不錯(cuò)的效果，但耗時(shí)也會(huì)相應(yīng)增加。
Euler 是最簡(jiǎn)單、最快的
Euler a 更多樣，不同步數(shù)可以生產(chǎn)出不同的圖片。但是太高步數(shù) (>30) 效果不會(huì)更好。
DDIM 收斂快，但效率相對(duì)較低，因?yàn)樾枰芏?step 才能獲得好的結(jié)果，適合在重繪時(shí)候使用。
LMS 是 Euler 的衍生，它們使用一種相關(guān)但稍有不同的方法（平均過(guò)去的幾個(gè)步驟以提高準(zhǔn)確性）。大概 30 step 可以得到穩(wěn)定結(jié)果
PLMS 是 Euler 的衍生，可以更好地處理神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的奇異性。
DPM2 是一種神奇的方法，它旨在改進(jìn) DDIM，減少步驟以獲得良好的結(jié)果。它需要每一步運(yùn)行兩次去噪，它的速度大約是 DDIM 的兩倍，生圖效果也非常好。但是如果你在進(jìn)行調(diào)試提示詞的實(shí)驗(yàn)，這個(gè)采樣器可能會(huì)有點(diǎn)慢了。
UniPC 效果較好且速度非常快，對(duì)平面、卡通的表現(xiàn)較好，推薦使用。
推薦 Euler a ，DPM2++2M Karras，DPM2++SDE Karras

• 迭代步數(shù)

Stable Diffusion 的工作方式是從以隨機(jī)高斯噪聲起步，向符合提示的圖像一步步降噪接近。隨著步數(shù)增多，可以得到對(duì)目標(biāo)更小、更精確的圖像。但增加步數(shù)也會(huì)增加生成圖像所需的時(shí)間。增加步數(shù)的邊際收益遞減，取決于采樣器。一般開(kāi)到 20~30。

3.修復(fù)和圖片相關(guān)設(shè)置

• 高清修復(fù) 默認(rèn)情況下，文生圖在高分辨率下會(huì)生成非?；煦绲膱D像。如果使用高清修復(fù)，會(huì)型首先按照指定的尺寸生成一張圖片，然后通過(guò)放大算法將圖片分辨率擴(kuò)大，以實(shí)現(xiàn)高清大圖效果。最終尺寸為（原分辨率*縮放系數(shù) Upscale by)。
• 面部修復(fù) 修復(fù)畫(huà)面中人物的面部，但是非寫(xiě)實(shí)風(fēng)格的人物開(kāi)啟面部修復(fù)可能導(dǎo)致面部崩壞。
• 放大算法中，Latent 在許多情況下效果不錯(cuò)，但重繪幅度小于 0.5 后就不甚理想。ESRGAN_4x、SwinR 4x 對(duì) 0.5 以下的重繪幅度有較好支持。
• Hires step 表示在進(jìn)行這一步時(shí)計(jì)算的步數(shù)。
• Denoising strength 字面翻譯是降噪強(qiáng)度，表現(xiàn)為最后生成圖片對(duì)原始輸入圖像內(nèi)容的變化程度。該值越高，放大后圖像就比放大前圖像差別越大。低 denoising 意味著修正原圖，高 denoising 就和原圖就沒(méi)有大的相關(guān)性了。一般來(lái)講閾值是 0.7 左右，超過(guò) 0.7 和原圖基本上無(wú)關(guān)，0.3 以下就是稍微改一些。實(shí)際執(zhí)行中，具體的執(zhí)行步驟為 Denoising strength * Sampling Steps。
• CFG Scale（提示詞相關(guān)性） 圖像與你的提示的匹配程度。增加這個(gè)值將導(dǎo)致圖像更接近你的提示，但它也在一定程度上降低了圖像質(zhì)量。 可以用更多的采樣步驟來(lái)抵消。過(guò)高的 CFG Scale 體現(xiàn)為粗獷的線條和過(guò)銳化的圖像。一般開(kāi)到 7~11。 CFG Scale 與采樣器之間的關(guān)系：
• 生成批次 每次生成圖像的組數(shù)。一次運(yùn)行生成圖像的數(shù)量為“批次* 批次數(shù)量”。
• 每批數(shù)量 同時(shí)生成多少個(gè)圖像。增加這個(gè)值可以提高性能，但也需要更多的顯存。大的 Batch Size 需要消耗巨量顯存。若沒(méi)有超過(guò) 12G 的顯存，請(qǐng)保持為 1。
• 尺寸 指定圖像的長(zhǎng)寬。出圖尺寸太寬時(shí)，圖中可能會(huì)出現(xiàn)多個(gè)主體。1024 之上的尺寸可能會(huì)出現(xiàn)不理想的結(jié)果，推薦使用小尺寸分辨率+高清修復(fù)（Hires fix)。
• 種子 種子決定模型在生成圖片時(shí)涉及的所有隨機(jī)性，它初始化了 Diffusion 算法起點(diǎn)的初始值。 理論上，在應(yīng)用完全相同參數(shù)（如 Step、CFG、Seed、prompts）的情況下，生產(chǎn)的圖片應(yīng)當(dāng)完全相同。

四、使用界面模型

1.Controlnet

Controlnet 允許通過(guò)線稿、動(dòng)作識(shí)別、深度信息等對(duì)生成的圖像進(jìn)行控制。

• 點(diǎn)擊 Enable 啟用該項(xiàng) ControlNet
• Preprocessor 指預(yù)處理器，它將對(duì)輸入的圖像進(jìn)行預(yù)處理。如果圖像已經(jīng)符合預(yù)處理后的結(jié)果，請(qǐng)選擇 None。譬如，圖中導(dǎo)入的圖像已經(jīng)是 OpenPose 需要的骨架圖，那么 preprocessor 選擇 none 即可。
• 在 Weight 下，可以調(diào)整該項(xiàng) ControlNet 的在合成中的影響權(quán)重，與在 prompt 中調(diào)整的權(quán)重類似。Guidance strength 用來(lái)控制圖像生成的前百分之多少步由 Controlnet 主導(dǎo)生成，這點(diǎn)與[:]語(yǔ)法類似。

預(yù)處理器（只是一部分）

• Invert Input Color 表示啟動(dòng)反色模式，如果輸入的圖片是白色背景，開(kāi)啟它。
• RGB to BGR 表示將輸入的色彩通道信息反轉(zhuǎn)，即 RGB 信息當(dāng)做 BGR 信息解析，只是因?yàn)?OpenCV 中使用的是 BGR 格式。如果輸入的圖是法線貼圖，開(kāi)啟它。
• Low VRAM 表示開(kāi)啟低顯存優(yōu)化，需要配合啟動(dòng)參數(shù)“–lowvram”。
• Guess Mode 表示無(wú)提示詞模式，需要在設(shè)置中啟用基于 CFG 的引導(dǎo)。
• Model 中請(qǐng)選擇想要使用解析模型，應(yīng)該與輸入的圖像或者預(yù)處理器對(duì)應(yīng)。請(qǐng)注意，預(yù)處理器可以為空，但模型不能為空。
• canny 用于識(shí)別輸入圖像的邊緣信息。
• depth 用于識(shí)別輸入圖像的深度信息。
• hed 用于識(shí)別輸入圖像的邊緣信息，但邊緣更柔和。
• mlsd 用于識(shí)別輸入圖像的邊緣信息，一種輕量級(jí)的邊緣檢測(cè)。 它對(duì)橫平豎直的線條非常敏感，因此更適用于于室內(nèi)圖的生成。
• normal 用于識(shí)別輸入圖像的法線信息。
• openpose 用于識(shí)別輸入圖像的動(dòng)作信息。
• OpenPose Editor 插件可以自行修改姿勢(shì)，導(dǎo)出到文生圖或圖生圖。
• scribble 將輸入圖像作為線稿識(shí)別。如果線稿是白色背景，務(wù)必勾選“Invert Input Color”
• fake_scribble 識(shí)別輸入圖像的線稿，然后再將它作為線稿生成圖像。
• segmentation 識(shí)別輸入圖像各區(qū)域分別是什么類型的物品，再用此構(gòu)圖信息生成圖像。

controlnet1.1模型

線稿上色
Invert Input Color
control_v11p_sd15s2_lineart_anime

control_v1le_sd15_ip2p
提示詞需要寫(xiě)指令，例如make it night變?yōu)橐雇硗瑫r(shí)，可以也增加一些夜晚的tag。這個(gè)需要調(diào)低CFG,低到5以下，不穩(wěn)定，酌情使用

tile_resample
control_v11fle_sd15_tile 
神必特性：
·忽略圖像中的細(xì)節(jié)并生成新的細(xì)節(jié)
·如果局部的內(nèi)容與全局提示詞不匹配，則忽略掉提示詞，根據(jù)周圍的圖片嘗試去推斷局部的內(nèi)容
帶來(lái)的效果：
·圖生圖的功能，讓畫(huà)面更好的融合的功能（比如P上去一個(gè)物品，Tie可以推斷周圍融合）
·增加細(xì)節(jié)的功能
如果你直接拉大分辨率再用Tle，那他就可以有放大圖片的功能
·配合其他圖片放大器（例如后處理里面的放大，可以很好的修復(fù)因?yàn)榉糯髮?dǎo)致的細(xì)節(jié)問(wèn)題

姿態(tài)控制
openpose  +  control_openpose

還可以對(duì)姿態(tài)編輯，在擴(kuò)展下載openpoe，對(duì)姿態(tài)圖關(guān)鍵點(diǎn)拖動(dòng)成自己想要的姿勢(shì)

嵌入式(Embedding)模型:yaguru magiku +LORA:GuoFeng3.2 Lora

五、模型下載放置

1.模型下載

模型能夠有效地控制生成的畫(huà)風(fēng)和內(nèi)容。 常用的模型網(wǎng)站有：

Civitai | Stable Diffusion models, embeddings, hypernetworks and more Models - Hugging Face SD - WebUI 資源站 元素法典 AI 模型收集站 - AI 繪圖指南 wiki (aiguidebook.top) [AI 繪畫(huà)模型博物館 (subrecovery.top)]

2.模型安裝

下載模型后需要將之放置在指定的目錄下，請(qǐng)注意，不同類型的模型應(yīng)該拖放到不同的目錄下。 模型的類型可以通過(guò)Stable Diffusion 法術(shù)解析檢測(cè)。

• 大模型（Ckpt）：放入 models\Stable-diffusion
• VAE 模型： 一些大模型需要配合 vae 使用，對(duì)應(yīng)的 vae 同樣放置在 models\Stable-diffusion 或 models\VAE 目錄，然后在 webui 的設(shè)置欄目選擇。
• Lora/LoHA/LoCon 模型：放入 extensions\sd-webui-additional-networks\models\lora，也可以在 models/Lora 目錄
• Embedding 模型：放入 embeddings 目錄
• hypernetwork中文名：超網(wǎng)絡(luò)。它的功能與embedding、lora類似，都是會(huì)對(duì)圖片進(jìn)行針對(duì)性的調(diào)整，可以簡(jiǎn)單的理解為低配版的lora，所以它的適用范圍比較窄，但是它對(duì)畫(huà)面風(fēng)格的轉(zhuǎn)換是easy的，也可以生成特定的模型和人物。在C站右側(cè)篩選列篩選hypernetwork，就可以看到所有的超網(wǎng)絡(luò)模型了，在其中挑選自己喜歡的就好。models\hypernetworks

3.模型使用

• Checkpoint(ckpt)模型 對(duì)效果影響最大的模型。在 webui 界面的左上角選擇使用。一些模型會(huì)有觸發(fā)詞，即在提示詞內(nèi)輸入相應(yīng)的單詞才會(huì)生效。
• Lora 模型 / LoHA 模型 / LoCon 模型,

對(duì)人物、姿勢(shì)、物體表現(xiàn)較好的模型，在 ckpt 模型上附加使用。 在 webui 界面的 Additional Networks 下勾線 Enable 啟用，然后在 Model 下選擇模型，并可用 Weight 調(diào)整權(quán)重。權(quán)重越大，該 Lora 的影響也越大。 不建議權(quán)重過(guò)大（超過(guò) 1.2），否則很容易出現(xiàn)扭曲的結(jié)果。
多個(gè) lora 模型混合使用可以起到疊加效果，譬如一個(gè)控制面部的 lora 配合一個(gè)控制畫(huà)風(fēng)的 lora 就可以生成具有特定畫(huà)風(fēng)的特定人物。 因此可以使用多個(gè)專注于不同方面優(yōu)化的 Lora，分別調(diào)整權(quán)重，結(jié)合出自己想要實(shí)現(xiàn)的效果。
LoHA 模型是一種 LORA 模型的改進(jìn)。
LoCon 模型也一種 LORA 模型的改進(jìn)，泛化能力更強(qiáng)。

• Embedding

對(duì)人物、畫(huà)風(fēng)都有調(diào)整效果的模型。在提示詞中加入對(duì)應(yīng)的關(guān)鍵詞即可。大部分 Embedding 模型的關(guān)鍵詞與文件名相同，譬如一個(gè)名為為“SomeCharacter.pt”的模型，觸發(fā)它的關(guān)鍵詞檢索“SomeCharacter”。

六、使用技巧（探索中）

1.放大算法BSRGAN

栗子：1024x1024—》3072x3072

2.LORA模型使用

LOAR模型：就是別人訓(xùn)練好的模型，加載別人的模型就會(huì)使自己生成圖片往別人訓(xùn)練好的風(fēng)格上調(diào)整

啟動(dòng)器界面提供了LORA模型下載，或者去c站下載放到models/Lora 目錄下，上面說(shuō)過(guò)。重啟客戶端

隨便寫(xiě)點(diǎn)提示詞，之前的正反向提示詞，使用一個(gè)國(guó)風(fēng)模型，或者Additional Networks啟用LORA

GuoFeng3.2 Lora 結(jié)果：為啥圖片這么頂呢，絕對(duì)沒(méi)有搞yellow

hanfu-v3.0-ming

hanfu-v3.0-song

MoXin-1.0

RainbowLinesStyle-linev1

Shukezouma-1.1

3.大模型介紹（秋葉大佬提供）

現(xiàn)在使用的大模型anything-v5-PrtRE

Counterfeit-V2.5

Pastel-Mix

AbyssOrangeMix2

Cetus-Mix

4.如何使用C站復(fù)刻別人的圖

https://civitai.com/

右上角可以選擇不同的模型下載，然后放到模型文件路徑下，前面講過(guò)不同模型路徑放置

將參數(shù)填入我們的界面中

majicMIX realistic 大模型

如果你要圖片信息，下圖操作，然后發(fā)送到文生圖

majicMIX realistic +FilmGirl（LORA）

majicMIX fantasy

nwsj_realistic

5.最后提供一個(gè)插件

用于圖像分割的然后可以輸入提示詞變成你想要的樣子，類似于p圖，下面是github地址，里面有詳細(xì)文檔，下載代碼和權(quán)重文件即可，8G顯存選vit_l 1.25GB,分別放入

\sd-webui-aki-v4\extensions

\sd-webui-aki-v4\extensions\sd-webui-segment-anything-master\models\sam

https://github.com/continue-revolution/sd-webui-segment-anything

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-481064.html

七、總結(jié)

• 模型下載放入文件夾
• 就是把參數(shù)填入，做調(diào)整，每個(gè)參數(shù)都會(huì)影響結(jié)果
• 使用單獨(dú)的LORA模型，大模型單獨(dú)試試結(jié)果，然后融合看看有什么奇效
• controlnet用法其實(shí)非常多，在細(xì)節(jié)方面有很多體現(xiàn)，期待你去煉丹
• 后面持續(xù)更新

到了這里，關(guān)于【stable diffusion 小白最全詳細(xì)使用教程+大模型資源】的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！