????????我們認為，上述方法的主要問題在于文本到圖像擴散模型的交叉注意力模塊。對預訓練擴散模型中交叉注意力層的鍵和值投影權重進行訓練，以適應文本特征。因此，將圖像特征和文本特征合并到交叉注意力層中只能完成圖像特征與文本特征的對齊，但這可能會遺漏一些特定于圖像的信息，并最終導致僅使用參考圖像進行粗粒度可控生成（例如，圖像樣式）。

????????為此，我們提出了一種更有效的圖像提示適配器，命名為IP-Adapter，以避免了前人方法的缺點。具體而言，IP-Adapter對文本特征和圖像特征采用解耦的交叉注意力機制。對于擴散模型的UNet中的每個交叉注意力層，我們僅為圖像特征添加一個額外的交叉注意力層。在訓練階段，只訓練新的交叉注意力層的參數(shù)，而原來的UNet模型保持凍結狀態(tài)。我們提出的適配器是輕量級的，但非常高效：只有22M參數(shù)的IP適配器的生成性能可與文本到圖像擴散模型中完全微調的圖像提示模型相媲美。更重要的是，我們的 IP 適配器具有出色的泛化能力，并且與文本提示兼容。使用我們提出的 IP 適配器，可以輕松完成各種圖像生成任務，如下圖所示。

????????大型文本轉圖像模型主要分為兩類：自回歸模型和擴散模型。早期的作品，如DALLE [ 13 ]、CogView [ 14， 15 ]和Make-A-Scene [ 16]，都是自回歸模型。對于自回歸模型，使用像VQ-VAE [ 17 ]將圖像轉換為token，然后訓練一個以文本標記為條件的自回歸轉換器[18]來預測圖像標記。然而，自回歸模型通常需要較大的參數(shù)和計算資源來生成高質量的圖像，如Parti [19]所示。

????????最近，擴散模型（DMs）[20,21,22,23]已成為文本到圖像生成的新模型。作為先驅，GLIDE采用級聯(lián)擴散架構，分辨率為64×64，分辨率為3.5B文本條件擴散模型，分辨率為256×256，分辨率為1.5B文本條件上采樣擴散模型。DALL-E 2 采用擴散模型條件圖像嵌入，并訓練先前的模型通過給出文本提示來生成圖像嵌入。DALL-E 2 不僅支持圖像生成的文本提示，還支持圖像提示。為了增強對文本的理解，Imagen 采用了 T5 [ 24]，一個在純文本數(shù)據(jù)上預訓練的大型 transformer 語言模型，作為擴散模型的文本編碼器。Re-Imagen [ 25 ] 使用檢索到的信息來提高稀有或看不見實體的生成圖像的保真度。SD 建立在潛在擴散模型 [ 4 ] 之上，該模型在潛在空間而不是像素空間上運行，使 SD 能夠僅使用擴散模型生成高分辨率圖像。為了改善文本對齊，eDiff-I 設計了一組文本到圖像擴散模型，利用了多種條件，包括 T5 文本、CLIP 文本和 CLIP 圖像嵌入。Versatile Diffusion [ 26 ] 提出了一個統(tǒng)一的多流擴散框架，以支持單個模型中的文本到圖像、圖像到文本和變體。為了實現(xiàn)可控的圖像合成，Composer [ 27] 提出了一種在以圖像嵌入為條件的預訓練擴散模型上具有各種條件的聯(lián)合微調策略。RAPHAEL在文本條件圖像擴散模型中引入了混合專家（MoE）策略[28,29]，以提高圖像質量和審美吸引力。

????????DALL-E 2 的一個吸引人的特點是它還可以使用圖像提示來生成圖像變化。因此，還有一些工作需要探索，以支持僅以文本為條件的文本到圖像擴散模型的圖像提示。SD 圖像變化模型是從修改后的 SD 模型微調而來的，其中文本特征被替換為 CLIP 圖像編碼器的圖像嵌入。穩(wěn)定的unCLIP也是SD上的微調模型，其中圖像嵌入被添加到時間嵌入中。雖然微調模型可以成功地使用圖像提示生成圖像，但往往需要比較大的訓練成本，并且無法與現(xiàn)有工具兼容，例如ControlNet[9]。

????????由于微調大型預訓練模型效率低下，另一種方法是使用適配器，它添加了一些可訓練的參數(shù)，但會凍結原始模型。適配器在NLP領域已經(jīng)應用了很長時間[30]。最近，適配器已被用于實現(xiàn)大型語言模型的視覺語言理解[31,32,33,34,35]。

????????隨著最近文本到圖像模型的普及，適配器也被用于為文本到圖像模型的生成提供額外的控制。ControlNet [9] 首先證明了可以使用預訓練的文本到圖像擴散模型來訓練適配器，以學習特定于任務的輸入條件，例如 canny edge。幾乎同時，T2I適配器[11]采用簡單輕量級的適配器來實現(xiàn)對生成圖像的顏色和結構的細粒度控制。為了降低微調成本，Uni-ControlNet [ 12 ] 提出了一種多尺度條件注入策略來學習各種局部控制的適配器。

????????除了用于結構控制的適配器外，還有根據(jù)所提供圖像的內容和風格進行可控生成的工作。ControlNet Shuffle 經(jīng)過訓練，可以重新組合圖像，可用于指導由用戶提供的圖像生成。此外，還提出了ControlNet Reference-only，通過簡單的特征注入在SD模型上實現(xiàn)圖像變體，無需訓練。在 T2I 適配器的更新版本中，樣式適配器旨在通過將從 CLIP 圖像編碼器中提取的圖像特征附加到文本特征來使用參考圖像來控制生成圖像的樣式。Uni-ControlNet的全局控制適配器還將CLIP圖像編碼器的圖像嵌入投射到小網(wǎng)絡的條件嵌入中，并與原始文本嵌入連接起來，用于指導參考圖像的樣式和內容的生成。SeeCoder [10] 提出了一個語義上下文編碼器來替換原始文本編碼器以生成圖像變體。

????????盡管上述適配器是輕量級的，但它們的性能幾乎無法與微調的圖像提示模型相提并論，更不用說從頭開始訓練的模型了。在這項研究中，我們引入了一種解耦的交叉注意力機制，以實現(xiàn)更有效的圖像提示適配器。所提出的適配器仍然簡單小巧，但優(yōu)于以前的適配器方法，甚至可以與微調模型相媲美。

方法

預備知識

????????擴散模型是一類生成模型，由兩個過程組成：擴散過程（也稱為正向過程），它使用固定的馬爾可夫 T 步鏈逐漸將高斯噪聲添加到數(shù)據(jù)中，以及去噪過程，該過程使用可學習模型從高斯噪聲生成樣本。擴散模型還可以基于其他輸入進行調節(jié)，例如文本到圖像擴散模型中的文本。通常，預測噪聲的擴散模型的訓練目標（表示為 ε）被定義為變分邊界的簡化變體：

????????其中 x表示帶有附加條件 c 的真實數(shù)據(jù)，t ∈ [0， T ] 表示擴散過程的時間步長，x= αx+ σε 是 t 步的噪聲數(shù)據(jù)，α，σ 是確定擴散過程的 t 預定義函數(shù)。一旦模型ε被訓練，就可以以迭代的方式從隨機噪聲中生成圖像。通常，在推理階段采用DDIM [21]、PNDM [36]和DPM-Solver[37,38]等快速采樣器來加速生成過程。?

????????對于條件擴散模型，分類器引導[ 23]是一種簡單的技術，用于通過利用來自單獨訓練的分類器的梯度來平衡圖像保真度和樣本多樣性。消除培訓的需要獨立分類器、無分類器指導[39]通常被用作替代方法。在這種方法中，條件和無條件擴散模型是通過在訓練過程中隨機丟棄 c 來聯(lián)合訓練的。在采樣階段，根據(jù)條件模型ε（x， c， t）和非條件模型ε（x， t）的預測來計算預測噪聲：

????????在這里，W，通常稱為指導刻度或指導權重，是一個標量值，用于調整與條件 C 的對齊方式。對于文本到圖像擴散模型，無分類器引導在增強生成樣本的圖像-文本對齊方面起著至關重要的作用。

????????在我們的研究中，我們利用開源 SD 模型作為示例基礎模型來實現(xiàn) IP 適配器。SD 是一種潛在擴散模型，以從凍結的 CLIP 文本編碼器中提取的文本特征為條件。擴散模型的架構基于帶有注意力層的UNet[40]。與 Imagen 等基于像素的擴散模型相比，SD 效率更高，因為它是在預訓練的自動編碼器模型的潛在空間上構建的。

圖像提示適配器

????????在大多數(shù)方法之后，我們使用預訓練的 CLIP 圖像編碼器模型從圖像提示中提取圖像特征。CLIP 模型是一種多模態(tài)模型，通過對比學習在包含圖像文本對的大型數(shù)據(jù)集上進行訓練。我們利用 CLIP 圖像編碼器的全局圖像嵌入，它與圖像標題很好地對齊，可以表示圖像的豐富內容和風格。在訓練階段，CLIP圖像編碼器被凍結。

????????為了有效地分解全局圖像嵌入，我們使用一個小型可訓練投影網(wǎng)絡將圖像嵌入投影到長度為N的特征序列中（本研究使用N = 4），圖像特征的維度與預訓練擴散模型中文本特征的維度相同。我們在這項研究中使用的投影網(wǎng)絡由線性層和層歸一化組成[41]。

解耦的交叉注意力

????????在這項工作中，我們提出了 IP-Adapter 來實現(xiàn)預訓練文本到圖像擴散模型的圖像提示功能。我們的 IP 適配器的核心設計基于解耦的交叉注意力策略，該策略為圖像特征整合了單獨的交叉注意力層。定量和定性實驗結果表明，我們的IP適配器只有22M參數(shù)，其性能與一些完全微調的圖像提示模型和現(xiàn)有適配器相當，甚至更好。此外，我們的 IP 適配器只需經(jīng)過一次訓練，就可以直接與從同一基礎模型和現(xiàn)有結構可控工具派生的自定義模型集成，從而擴大其適用性。更重要的是，圖像提示可以與文本提示相結合，實現(xiàn)多模態(tài)圖像生成。

????????盡管我們的 IP 適配器很有效，但它只能生成在內容和樣式上類似于參考圖像的圖像。換句話說，它不能像一些現(xiàn)有的方法那樣合成與給定圖像的主題高度一致的圖像，例如Textual Inversion [ 51 ]和DreamBooth [52 ]。未來，我們的目標是開發(fā)更強大的圖像提示適配器，以增強一致性。