??背景介紹

IP-Adapter的一系列模型在stable diffusion的實(shí)際應(yīng)用中，越來越被頻繁的使用到，用于“換臉”或者“保證角色的一致性”，但是很多朋友在安裝或者使用別人的工作流的時(shí)候，經(jīng)常會(huì)遇到各種各樣的問題，同時(shí)因?yàn)橘Y源在各種群里轉(zhuǎn)來轉(zhuǎn)去的，發(fā)現(xiàn)有很多個(gè)版本，所以有些時(shí)候比較迷茫，這篇文章簡(jiǎn)單的介紹下這些模型每個(gè)版本到底有什么區(qū)別，自己的使用場(chǎng)景應(yīng)該用哪個(gè)，讓大家不至于過于迷茫和糾結(jié)，并提供下載地址，因?yàn)槟Ｐ蛯?shí)在比較多，所以大家按需下載就好。

??網(wǎng)盤下載地址：IP-Adapter 十幾個(gè)模型的下載地址集合

?IP-Adapter系列是干啥的

從git的介紹頁面可以看到，這個(gè)庫是騰訊的AI-Lab實(shí)驗(yàn)室建立的，2023/8/16就建立了，之后持續(xù)更新，陸續(xù)的更新了大大小小一大堆的版本，這是一種有效且輕量級(jí)的適配器，可為預(yù)訓(xùn)練的文本到圖像擴(kuò)散模型實(shí)現(xiàn)“圖像提示”功能。

IP-Adapter Git地址

以下是官方的架構(gòu)圖：

可以簡(jiǎn)單的看出，ip-dapter可以讓圖片和提示詞共同影響U-Net中的每一個(gè)層級(jí)，所以可以讓輸入圖像的各種圖像特征帶入到生成結(jié)果中，從而實(shí)現(xiàn)“IP”的“適配”，emm..非專業(yè)人士大概這么理解差不多就夠了。

?到底多少個(gè)版本

這個(gè)模型的版本的確是比較多，從官方git提供的huggingface下載地址來看：

有兩組，分別是IP-Adapter-FaceID系列和IP-Adapter系列，而每一個(gè)系列，里邊又對(duì)應(yīng)著一堆模型，所以的確是有十幾個(gè)模型的，大家覺得亂也是滿合理的一件事情...十幾個(gè)模型的controlnet，可能作者都得迷糊...

從當(dāng)前（2024.3.17）來看：

IP-Adapter 1.5 版本：6個(gè)；

IP-Adapter sdxl版本：4個(gè)；

IP-Adapter-faceID (1.5+sdxl):7個(gè)；

IP-Adapter-faceID 的Lora (1.5+sdxl):5個(gè)；

也就是，總計(jì)17個(gè)版本的adpter模型，另外還有5個(gè)faceID對(duì)應(yīng)的lora模型；

??先看比較早的IP-Adapter系列：

分為sd1.5版本的模型和sdxl版本的模型，這些在webui或者comfyui中，都是用于controlnet的模型中，這么多版本也是不同是前期不同目的一點(diǎn)點(diǎn)累積起來的，你需要根據(jù)自己使用的是1.5還是sdxl的大模型來匹配自己使用的ip-adapter模型，否則一定是會(huì)出錯(cuò)的。

那么這些版本到底是什么區(qū)別呢？按照官方的解釋，如下：

(safetensors版本和bin版本，模型一致，一般下載safetensors后綴的版本就可以。)

SD 1.5 的 IP-Adapter

• ip-adapter_sd15.bin：使用 OpenCLIP-ViT-H-14 中的全局圖像嵌入作為條件，也就是說不僅僅參考臉部，而是參考政府圖片，這件事情與另外一組的faceID系列模型出發(fā)點(diǎn)上就不同了；
• ip-adapter_sd15_light.bin：與 ip-adapter_sd15 相同，但更兼容文本提示，因?yàn)楸旧韎p-adpter是圖像和提示詞共同影響生成的結(jié)果，所以這個(gè)模型從理論上提升了文本提示詞的影響權(quán)重；
• ip-adapter-plus_sd15.bin：：使用從OpenCLIP-ViT-H-14模型中提取的圖像塊嵌入作為條件輸入，比 ip-adapter_sd15 更接近參考圖像，簡(jiǎn)單理解就是，有plus用plus，效果更好。
• ip-adapter-plus-face_sd15.bin：與 ip-adapter-plus_sd15 相同，但使用裁剪后的人臉圖像作為條件，也就意味著人物臉部的影響會(huì)更強(qiáng)，而衣服姿勢(shì)等信息的影響被極大的降低；

SDXL 1.0 的 IP-Adapter

• ip-adapter_sdxl.bin：使用 OpenCLIP-ViT-bigG-14 中的全局圖像嵌入作為條件；
• ip-adapter_sdxl_vit-h.bin：與 ip-adapter_sdxl 相同，但使用 OpenCLIP-ViT-H-14，作者在git中也提到了，兩個(gè)模型對(duì)結(jié)果的影響實(shí)測(cè)下來發(fā)現(xiàn)并不大；
• ip-adapter-plus_sdxl_vit-h.bin：使用 OpenCLIP-ViT-H-14 中的補(bǔ)丁圖像嵌入作為條件，比 ip-adapter_sdxl 和 ip-adapter_sdxl_vit-h 更接近參考圖像,同理，有plus用plus；
• ip-adapter-plus-face_sdxl_vit-h.bin：與 ip-adapter-plus_sdxl_vit-h 相同，但使用裁剪后的人臉圖像作為條件，這個(gè)也是增強(qiáng)臉部信息對(duì)最終生成畫面的影響程度；

??IP-Adapter系列模型使用小夢(mèng)總結(jié)（省流版）

1. 根據(jù)你自己使用的大模型版本（1.5 還是sdxl）來選擇對(duì)應(yīng)的ip-adapter模型，帶sd1.5的就是適配1.5版本大模型的，帶sdxl的，當(dāng)然也就是適配sdxl版本的大模型；
2. 盡量使用plus版本，比不帶plus的效果要更好；
3. 如果想要僅僅參考輸入畫面的臉部信息，那么需要選擇帶face的版本，如果要參考輸入的圖片的整體（如衣服、姿勢(shì)等等），選擇不帶face的版本；

??再看比較新的FaceID系列：

哈，又是一堆各種版本各種型號(hào)的faceid模型；

https://huggingface.co/h94/IP-Adapter-FaceID

IP-Adapter-FaceID 目前還是實(shí)驗(yàn)階段的模型，使用人臉識(shí)別模型中的人臉 ID 嵌入代替 CLIP 圖像嵌入，此外，我們使用 LoRA 來提高 ID 一致性。IP-Adapter-FaceID 只需文字提示即可生成以人臉為條件的各種風(fēng)格圖像，比如現(xiàn)在很多人用IP-Adapter來實(shí)現(xiàn)照片換臉，大多使用的就是這個(gè)系列的ip-adapter模型；

那這一堆模型又是什么區(qū)別呢，我們直接進(jìn)入總結(jié)：

??IP-Adapter-FaceID系列模型使用小夢(mèng)總結(jié)（省流版）

1. 根據(jù)你自己使用的大模型版本（1.5 還是sdxl）來選擇對(duì)應(yīng)的ip-adapter-FaceID模型，帶sd1.5的就是適配1.5版本大模型的，帶sdxl的，當(dāng)然也就是適配sdxl版本的大模型；
2. 盡量使用plus版本，比不帶plus的效果要更好；
3. 除了portrait版本，其他的版本建議搭配相應(yīng)的lora來使用，效果會(huì)更好；
4. plusV2版本比plus版本多了可控性，可以通過調(diào)整controlnet中臉部結(jié)構(gòu)的權(quán)重以獲得不同的生成；
5. portrait版本是一個(gè)比較特殊的版本，與 IP-Adapter-FaceID 相同，但用于肖像生成，但是不需要lora，也不需要controlnet。具體來說，它接受多個(gè)面部圖像以增強(qiáng)相似性（默認(rèn)為 5），也就是參考同一個(gè)人物的多張臉部照片來生成圖像，保證生成圖像與原人物的一致性；

補(bǔ)充portrait版本的官方示例圖：

（前兩行是國(guó)內(nèi)的人物，所以手工打碼了，要不然發(fā)不出來哈，感興趣可以到原網(wǎng)頁查看。）

?如果對(duì)你有幫助的話，還請(qǐng)幫忙點(diǎn)個(gè)贊??咯，謝謝啦~

??寫在最后~

去年的時(shí)候?qū)懥藘砷T比較基礎(chǔ)的Stable Diffuison WebUI的基礎(chǔ)文字課程，大家如果喜歡的話，可以按需購買，在這里首先感謝各位老板的支持和厚愛~

?StableDiffusion系統(tǒng)基礎(chǔ)課（適合啥也不會(huì)的朋友，但是得有塊Nvidia顯卡）：

https://blog.csdn.net/jumengxiaoketang/category_12477471.html

?????綜合案例課程（適合有一點(diǎn)基礎(chǔ)的朋友）：

https://blog.csdn.net/jumengxiaoketang/category_12526584.html

???

這里是聚夢(mèng)小課堂，就算不買課也沒關(guān)系，點(diǎn)個(gè)關(guān)注，交個(gè)朋友??文章來源地址http://www.zghlxwxcb.cn/news/detail-845561.html

到了這里，關(guān)于關(guān)于IP-Adapter的十幾個(gè)模型，到底是干啥用的？的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！