Stable Diffuse AI 繪畫 之 ControlNet 插件及其對(duì)應(yīng)模型的下載安裝

目錄

Stable Diffuse AI 繪畫 之 ControlNet 插件及其對(duì)應(yīng)模型的下載安裝

一、簡(jiǎn)單介紹

二、ControlNet 插件下載安裝

三、ControlNet 插件模型下載安裝

四、ControlNet 插件其他的下載安裝方式

五、ControlNet 插件模型名稱說(shuō)明

一、簡(jiǎn)單介紹

Stable Diffusion是一個(gè)文本到圖像的潛在擴(kuò)散模型，由CompVis、Stability AI和LAION的研究人員和工程師創(chuàng)建。它使用來(lái)自LAION-5B數(shù)據(jù)庫(kù)子集的512x512圖像進(jìn)行訓(xùn)練。使用這個(gè)模型，可以生成包括人臉在內(nèi)的任何圖像，因?yàn)橛虚_源的預(yù)訓(xùn)練模型，所以我們也可以在自己的機(jī)器上運(yùn)行它，如下圖所示。

Stable Diffusion 是一個(gè)AI 繪圖軟件 （開源模型），可本地部署，可切換多種模型，且新的模型和開源庫(kù)每天都在更新發(fā)布，最重要的是免費(fèi)，沒(méi)有繪圖次數(shù)限制。

Github 網(wǎng)址：GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
?

玩 Stable Diffusion，就一定要會(huì)玩 ControlNet，它是 Stable Diffusion 一個(gè)非常重要的擴(kuò)展插件（sd-webui-controlnet），它不僅可以用來(lái)復(fù)制構(gòu)圖和人體姿勢(shì)，還有其他很多強(qiáng)大的功能，要使用 ControlNet（sd-webui-controlnet），就必須先要學(xué)會(huì)怎么安裝它。

ControlNet github 地址：https://github.com/lllyasviel/ControlNet

ControlNet-v1-1-nightly github 地址：https://github.com/lllyasviel/ControlNet-v1-1-nightly

sd-webui-controlnet
github 地址：https://github.com/Mikubill/sd-webui-controlnet

通過(guò)上面的方式，ControlNet 可以重用SD編碼器作為一個(gè)深度，強(qiáng)，魯棒和強(qiáng)大的骨干來(lái)學(xué)習(xí)不同的控制。許多證據(jù)(像這個(gè)和這個(gè))驗(yàn)證了SD編碼器是一個(gè)優(yōu)秀的骨干。

注意，我們連接層的方式是計(jì)算效率高的。原始SD編碼器不需要存儲(chǔ)梯度(鎖定的原始SD編碼器塊1234和Middle)。所需的GPU內(nèi)存并不比原來(lái)的SD大多少，盡管增加了許多層。

所有的模型和檢測(cè)器都可以從?our Hugging Face page下載。確保SD模型放在“ControlNet/models”中，檢測(cè)器放在“ControlNet/annotator/ckpts”中。確保從?our Hugging Face page下載了所有必要的預(yù)訓(xùn)練權(quán)重和檢測(cè)器模型，包括HED邊緣檢測(cè)模型、Midas深度估計(jì)模型、Openpose等等。

二、ControlNet 插件下載安裝

1、運(yùn)行 Stable Diffuse WebUI ，打開網(wǎng)頁(yè)，找到擴(kuò)展-可用-點(diǎn)擊加載自，會(huì)出現(xiàn)很多可用的擴(kuò)展插件

注意：這里可能需要魔法上網(wǎng)

2、“Ctrl+F” 搜索 ControlNet ，查找 ControlNet 插件，點(diǎn)擊安裝

3、安裝好后，即可在擴(kuò)展-已安裝中找到 ControlNet 插件

4、ControlNet 插件勾選上，然后點(diǎn)擊應(yīng)用并重啟用戶界面，界面重啟后，就可以看到 ControlNet 相關(guān)操作界面

5、在extensions 文件夾即可看到 ControlNet插件文件夾

三、ControlNet 插件模型下載安裝

1、在 hugging face 找到 ControlNet 插件下載地址

ControlNet 插件模型網(wǎng)址：lllyasviel/ControlNet-v1-1 at main

2、模型名稱的說(shuō)明，有些模型可用和不可用，以及測(cè)試中

在下載的時(shí)候要注意文件名中"V11"后面的字母，p:表示可以使用，e:表示還在試驗(yàn)中，u:表示未完成，如果是文件名中的字母是e，就不要下載

3、模型還是較大的，根據(jù)自己需要酌情下載，這里以 canny 為例

注意：對(duì)應(yīng)模型的.pth 和 .yaml 文件都要下載

4、下載好后的模型，放到之前安裝好后的 ControlNet 插件文件夾

5、重啟界面

6、對(duì)應(yīng)的模型，就可以找到

7、自己去試試吧

四、ControlNet 插件其他的下載安裝方式

1、可以在 Github 上拷貝 ControlNet 插件 的 git 地址，然后在 擴(kuò)展-從網(wǎng)址安裝 進(jìn)行安裝

ControlNet 插件 GitHub地址：https://github.com/Mikubill/sd-webui-controlnet

2、可以在 Github 上拷貝 ControlNet 插件 的 git 地址，然后在 git clone 進(jìn)行安裝

注意：在 xxxx\xxxx\stable-diffusion-webui\extensions 文件夾進(jìn)行克隆

3、可以在 Github 下載 ControlNet 插件包，解壓到? xxxx\xxxx\stable-diffusion-webui\extensions 文件夾下

五、ControlNet 插件模型名稱說(shuō)明

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-717164.html

到了這里，關(guān)于Stable Diffuse AI 繪畫 之 ControlNet 插件及其對(duì)應(yīng)模型的下載安裝的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！