SDXL是目前最強(qiáng)的AI繪畫基礎(chǔ)模型,直接加載模型,就可以生成不錯(cuò)的效果。但是它有一個(gè)致命的問題,就是不支持ControlNet。
在AI繪畫中,ControlNet是一個(gè)非常重要的工具。有了它,就可以生成更加可控精準(zhǔn)的圖片。ControlNet的用途非常多,比如,控制人物姿勢(shì)、線稿上色、動(dòng)漫變真人、藝術(shù)二維碼,光影字、ailogo...
好消息是,SDXL終于也支持了Controlnet。雖然只有一個(gè)canny模型,但是至少是能用了。
下面來看一下效果:
提示詞: ultrarealistic shot of a furry blue bird
我自己嘗試的效果:
隨手拿了一張之前生成的圖片,然后用Controlnet生成了一下。對(duì)比一下,細(xì)節(jié)控制得挺不錯(cuò)。
下面就具體地說一下,如何在ComfyUI中使用Controlnet。
1.準(zhǔn)備工作
首選需要安裝好ComfyUI軟件,然后確保SDXL基礎(chǔ)模型放在指定的路徑
這一步不會(huì)的可以參考之前的文章。
2. 獲取模型
獲取ControlNet的Canny模型,并放到指定的路徑。
3. 準(zhǔn)備圖片
準(zhǔn)備一張測(cè)試圖片
這是我之前用SDXL生成的一張line風(fēng)格的圖片。這次就用這張圖片來做演示。
選圖片的時(shí)候,最好是直接選線稿這樣穩(wěn)定一些,當(dāng)然用普通圖片也是可以滴。
4. 加載工作流
ComfyUI其實(shí)挺好用,但是對(duì)于不太熟悉的人,自己來創(chuàng)建工作流難度還是比較大。快速體驗(yàn)的最好方式是,直接使用別人創(chuàng)建好的工作流配置文件。
雙擊run_nvidia_gpu.bat啟動(dòng)軟件之后。
只需要把這個(gè)叫做sdxl_controlnet_canny.json的文件拖動(dòng)到瀏覽器上就可以了。
然后就可以看到這樣的流程圖了。
5. 運(yùn)行測(cè)試
加載工作流之后,稍微設(shè)置一下就可以出圖了。
首先是設(shè)置一下基礎(chǔ)模型,確保是圖片中的模型。
然后是設(shè)置Controlnet模型和上傳參考圖片。
然后是改一下提示詞。
另外修改一下像素為1024x1024。
萬事俱備,最后只要點(diǎn)擊一下"Queue Prompt",然后等待圖片生成了。
可以對(duì)比,原圖和生成的圖片,是不是完全一張的姿勢(shì)。具體的效果的話,和提示詞以及風(fēng)格有關(guān)。
第一次出圖會(huì)比較慢,因?yàn)樾枰荛L(zhǎng)的時(shí)間去加載巨大的模型。加上多了一個(gè)巨大的Controlnet模型,需要一點(diǎn)耐心。
我以前用SDXL生成過不同的風(fēng)格圖片,但是按以前的方式,每張圖片除了風(fēng)格不同之外,形態(tài)也完全不同。現(xiàn)在用了ControlNet就可以生成形態(tài)相同,不同風(fēng)格的圖片了。
這匹馬,蹄子有點(diǎn)多...哈哈~~
SDXL的ControlNet使用方法大概就是這樣,具體的創(chuàng)作就留給大家了!文章來源:http://www.zghlxwxcb.cn/news/detail-702407.html
軟件,模型,工作流:見文末文章來源地址http://www.zghlxwxcb.cn/news/detail-702407.html
到了這里,關(guān)于AI繪畫:SDXL版ControlNet模型和使用方法!的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!