一、安裝

1.1、插件安裝

1.2、模型安裝

模型安裝分為預(yù)處理模型和 controlnet所需要的模型。

先安裝預(yù)處理模型，打開AI所在的安裝目錄\extensions\sd-webui-controlnet\annotator,將對應(yīng)的預(yù)處理模型放進(jìn)對應(yīng)的文件夾中即可，
而controlnet所需模型則是安裝目錄\extensions\sd-webui-controlnet\models,放在該文件夾下即可。

二、Control Net 使用

2.1、線稿上色

通過 ControlNet 邊緣檢測模型或線稿模型提取線稿（可提取參考圖片線稿，或者手繪線稿），再根據(jù)提示詞和風(fēng)格模型對圖像進(jìn)行著色和風(fēng)格化。

應(yīng)用模型：Canny、SoftEdge、Lineart。

2.1.1、Canny

1、選擇預(yù)處理器及模型

2、參數(shù)控制

1、preprocessor_resolution 預(yù)處理器分辨率

調(diào)整線稿的精細(xì)層度，越高生成的效果與原圖越相像

數(shù)值越大，線條越細(xì)，描述越清晰

2、Threshold

3、寫入提示詞，生成圖片

提示詞：lace-trimmed dress,red dress,blck garter straps,
看的姿勢很相似

2.1.3、SoftEdge(保留更多邊緣細(xì)節(jié))

預(yù)處理器： hed, hed_safe, 模型： control_v11p_sd15_softedge
參數(shù)同 canny

2.1.4、Lineart

2.2、深度檢測，提取深度結(jié)構(gòu)

2.2.1、背景替換

方法：在 img2img 圖生圖模式中，通過 ControlNet 的 Depth_leres 模型中的 remove background 功能移除背景，再通過提示詞更換想要的背景。

預(yù)處理器 depth_leres， 應(yīng)用模型：depth。

要點(diǎn)：如果想要比較完美的替換背景，可以在圖生圖的 Inpaint 模式中，對需要保留的圖片內(nèi)容添加蒙版，remove background 值可以設(shè)置在 70-80%。

depth_leres 示例：（將原圖背景替換為公園背景）

2.3、openpose（姿態(tài)檢測）

通過 ControlNet 的 Openpose 模型精準(zhǔn)識別出人物姿態(tài)，再配合提示詞和風(fēng)格模型生成同樣姿態(tài)的圖片。

下面是一次生成的預(yù)覽圖

2.3.1、 控制女友姿勢

提示詞： 1girl, solo, dress, braid, hairband, earrings, smile, brown eyes, white dress, realistic, jewelry, long hair, black hair, looking at viewer, bare shoulders, lips, blue hairband, single braid, brown hair, simple background

在這里插入圖片描述

2.4、Scribble （涂鴉）

方法：通過 ControlNet 的 Scribble 模型提取涂鴉圖（可提取參考圖涂鴉，或者手繪涂鴉圖），再根據(jù)提示詞和風(fēng)格模型對圖像進(jìn)行著色和風(fēng)格化。

應(yīng)用模型：Scribble。

Scribble 比 Canny、SoftEdge 和 Lineart 的自由發(fā)揮度要更高，也可以用于對手繪稿進(jìn)行著色和風(fēng)格處理。Scribble 的預(yù)處理器有三種模式：Scribble_hed，Scribble_pidinet，Scribble_Xdog，對比如下，可以看到 Scribble_Xdog 的處理細(xì)節(jié)更為豐富：

2.4.1、涂鴉

提示詞： 1girl, solo, dress, braid, hairband, earrings, smile, brown eyes, white dress, realistic, jewelry, long hair, black hair, looking at viewer, bare shoulders, lips, blue hairband, single braid, brown hair, simple background

2.4.2、手動涂鴉

Scribble 手動涂鴉示例（根據(jù)手繪草圖，生成圖像）：

也可以不用參考圖，直接創(chuàng)建空白畫布，手繪涂鴉成圖。

有提示詞：1girl, solo, dress, braid, hairband, earrings, smile, brown eyes, white dress, realistic, jewelry, long hair, black hair, looking at viewer, bare shoulders, lips, blue hairband, single braid, brown hair, simple background

2.5、建筑物繪圖

通過分析圖片中的線條結(jié)構(gòu)和幾何形狀，可以構(gòu)建建筑物的外框，適合建筑、室內(nèi)設(shè)計(jì)的朋友使用。

你可以輸入關(guān)鍵詞，也可以不填，讓ai自動發(fā)揮

pearl white walls, windsor gray floors, bedroom, Natural lighting, earthly tones, simple and clean, trending on interior design, digital artwork by Audrey kawasaki, Smooth, Detailed, Artstation, Neutral colors, elegant

2.6、 法線貼圖 (Normal map)

從原圖中提取 3D 物體的法線向量，繪制的新圖與原圖的光影效果完全相同。

文章來源地址http://www.zghlxwxcb.cn/news/detail-577111.html

到了這里，關(guān)于Stable Diffusion Webui 之 ControlNet使用的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！