部署包作者:秋葉aaaki
免責(zé)聲明:
本安裝包及啟動器免費提供 無任何盈利目的
大家好,我是風(fēng)雨無阻。
眾所周知,StableDiffusion 是非常強大的AI繪圖工具,需要詳細(xì)了解StableDiffusion的朋友,可查看我之前的這篇文章: 最近大火的兩大AI繪圖工具 Midjourney VS StableDiffusion。
今天為大家?guī)淼氖?Stable Diffusion 研究(二)sd模型ControlNet1.1 介紹與安裝 。
首先來明確一下這個ControlNet1.1 到到底是什么?
ControlNet1.1 是Stable Diffusion 繪畫插件,在2023年4月份更新了 V1.1 版本,發(fā)布了14 個優(yōu)化模型,并新增了多個預(yù)處理器,并且在原有的模型上進(jìn)行了一些優(yōu)化,讓它的功能比之前更加好用了。
那么我們先來詳細(xì)了解一下 ControlNet1.1 的新模型新功能。
一、ControlNet1.1 的新模型新功能
1、新增Lineart模型 和 lineart_anime模型
現(xiàn)在新增了兩個模型,lineart和lineart anime,完全可以替代原來的Canny強大的線稿上色,無論是上色黑白和彩色功能都非常強大。
2、新增Instruct Pix2Pix 模型
模型能夠接受一張圖像和相應(yīng)的文字指令(也就是prompt),根據(jù)指令來編輯圖像,局部整體操縱圖像程度的能力。
將白天變?yōu)橐雇?,如圖:
?
換發(fā)型 ,如圖:
?
換裝 ,如圖:
?
3、 新增Tile 模型
Tile 模型對于圖片高清修復(fù)、提升細(xì)節(jié)、根據(jù)畫面自動推斷內(nèi)容有著很好效果,根據(jù)官方的介紹有5種功能:
- 可以進(jìn)行圖片放大 2x、4x 或 8x 超分辨率
- 可以在圖像中添加、更改或重新生成圖像細(xì)節(jié)
- 可以修復(fù)、細(xì)化和改進(jìn)通過任何其他超分辨率方法獲得的不良圖像細(xì)節(jié)
- 它可以引導(dǎo)SD放大腳本,生成錯誤的問題
- 可以完成未完成的圖稿,如果這些圖稿是用色塊繪制的
圖像修復(fù)前:
圖像修復(fù)后:
細(xì)節(jié)調(diào)整前:
細(xì)節(jié)調(diào)整后:
4 、新增shuffle 模型
shuffle模型可以稱為重組模型,從shuffle模型的是使用效果來看,shuffle模型可以通過獲取原圖的風(fēng)格后借助這個風(fēng)格進(jìn)行新的圖片生成,所以當(dāng)我們找到比較好的參考圖時,就可以使用shuffle模型進(jìn)行圖片創(chuàng)作。
我們先來看一下人物圖處理效果:
從成圖效果來看,新生成的圖片風(fēng)格、色調(diào)、人物的部分姿態(tài)都進(jìn)行還原和保留,因此我們使用Shuffle模型可以使用原圖進(jìn)行參考借鑒,重組畫面進(jìn)行生成的新圖片。
再來看一下風(fēng)景類圖處理效果:
從成圖來看,主要的配色、風(fēng)格還是參考了原圖的樣式,構(gòu)圖結(jié)構(gòu)上也有部分的參考。
新增的功能和模型效果介紹就到這里了,接下來介紹一下,如何安裝和使用ControlNet1.1。
之前,我們一直在用的是Control插件,其實只需要將插件升級到新版本以后,就可以用新版本的模型了。所以我們只需更新插件,然后下載新的模型放進(jìn)去就好。
二、安裝ControlNet1.1
本次升級和安裝的內(nèi)容主要有2點:
-
升級 ControlNet插件版本
-
安裝各種預(yù)處理器的模型
如果你還沒有安裝 Stable Diffusion 整合包,可以閱讀 Stable Diffusion 研究(一)sd整合包v4.2 版本安裝說明 這篇文章,了解安裝 Stable Diffusion 整合包需要的電腦配置以及下載相關(guān)的安裝包。
首先需要準(zhǔn)備好ControlNet 1.1 安裝文件,文件集成在整合包sd-webui-aki-v4.2 版本 里,沒有下載的朋友,可以去自行下載。
1、升級 ControlNet插件版本
第一步, 進(jìn)入整合包目錄:sd-webui-aki-v4, 直接雙擊 A啟動器.exe 運行
啟動后如下 :
第二步,點擊左側(cè)版本管理
第三步,切換到擴展標(biāo)簽頁 ,點擊右上角“一鍵更新”按鈕即可。
2、安裝各種預(yù)處理器的模型 (可選)
第一步,將預(yù)處理器模型文件夾里的 download 文件夾,整個復(fù)制放到插件目錄底下的annotator文件夾里面。
\controlnet1.1\預(yù)處理器\download
\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator
如圖:
第二步,將controlnet1.1 模型放到sd-webui-controlnet\model 文件夾就可以了
\controlnet1.1\模型
\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\models
完成以上操作后,關(guān)閉啟動器、控制臺、webui,然后重新啟動就可生效。
如圖:
三、ControlNet1.1 使用體驗及相對于老板本的一些變化
1、顏色反轉(zhuǎn)模式變?yōu)榱艘粋€單獨的預(yù)處理器
2、新增加完美像素模式
選擇以后能解決 ControlNet 處理的一些分辨率問題。
3、新增控制模式
新增控制模式:
- 均衡
- 更偏向提示詞
- 更偏向ControlNet
選擇更偏向ControlNet時,需要降低CFG。
4、老板本的HED變?yōu)榱薙oftEdge
5、 增加了幾個預(yù)處理器
OpenPose預(yù)處理器-> OpenPose模型
Openpose_full,一個模型姿態(tài)手部臉部全部搞定
6、老板本的 Depth模型 -> 新版本推薦 Leres++、Zoe預(yù)處理器
文章來源:http://www.zghlxwxcb.cn/news/detail-617350.html
好了,今天的分享就到這里,ControlNet1.1 更多功能和變化這里就不再詳細(xì)說明了,感興趣的朋友可以自行研究。下一篇,將給大家?guī)?,sd 各個功能模塊的詳細(xì)使用方法,敬請期待。文章來源地址http://www.zghlxwxcb.cn/news/detail-617350.html
到了這里,關(guān)于AI 繪畫Stable Diffusion 研究(二)sd模型ControlNet1.1 介紹與安裝的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!