IP-Adapter 全稱是 Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models（文本到圖像擴(kuò)散模型的文本兼容圖像提示適配器），是騰訊研究院出品的一個(gè)新的ControlNet模型，旨在使預(yù)訓(xùn)練的文本到圖像擴(kuò)散模型能夠生成具有圖像提示的圖像。
IP-Adapter是一種有效的輕量級(jí)適配器，用于實(shí)現(xiàn)預(yù)訓(xùn)練文本到圖像擴(kuò)散模型的圖像提示能力。
IP-Adapter實(shí)現(xiàn)圖片風(fēng)格遷移示例
1、選擇文生圖
2、設(shè)置ControlNet unit 0的參數(shù)
添加一張圖片作為參考風(fēng)格。
- Control Type：選擇IP-Adapter
- Preprocessor：選擇ip-adapter_clip_sd15
- Model：選擇ip-adapter_sd15_plus
- Control Weight：設(shè)置為1。
3、設(shè)置ControlNet unit 1的參數(shù)
這里選擇Depth控制圖片的結(jié)構(gòu)，也可以使用lineart、canny、softedge等線條類模型。文章來源：http://www.zghlxwxcb.cn/news/detail-860690.html
- Control Type：選擇Depth
- Preprocessor：選擇depth_midas
- Model：選擇control_v11f1p_sd15_depth
- Control Weight：設(shè)置為1。
文章來源地址http://www.zghlxwxcb.cn/news/detail-860690.html
4、文生圖參數(shù)設(shè)置
- 采樣方式：選擇DPM++ 2M Karras
- 迭代步數(shù)：設(shè)置為20
- 高度和寬度與ControlNet unit 1上傳的圖片保持一致
效果展示
到了這里，關(guān)于Stable Diffusion使用ControlNet:IP-Adapter實(shí)現(xiàn)圖片風(fēng)格遷移的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
