反向擴(kuò)散的工作原理是從圖像中連續(xù)減去預(yù)測(cè)的噪聲。

您可能會(huì)注意到我們無(wú)法控制生成貓或狗的圖像。當(dāng)我們談?wù)摋l件反射時(shí)，我們將解決這個(gè)問(wèn)題。目前，圖像生成是無(wú)條件的。

譯者：大家可以結(jié)合這張WebUi的界面看后面的內(nèi)容，其實(shí)后面的內(nèi)容很好的解釋了這些參數(shù)的用途。

Stable Diffusion Model

現(xiàn)在我需要告訴你一些壞消息：我們剛才談?wù)摰牟皇荢table Diffusion的工作原理！原因是上述擴(kuò)散過(guò)程是在圖像空間中。它在計(jì)算上非常非常慢。?您甚至無(wú)法在任何單個(gè)GPU上運(yùn)行，更不用說(shuō)筆記本電腦上蹩腳的GPU了。

圖像空間是巨大的。想一想：具有三個(gè)顏色通道（紅色、綠色和藍(lán)色）的 512×512 圖像是一個(gè) 786,432 維的空間！

像谷歌的Imagen和Open AI的DALL-E這樣的擴(kuò)散模型都在像素空間中。他們使用了一些技巧來(lái)使模型更快，但仍然不夠。

潛在擴(kuò)散模型（Latent diffusion model）

Stable Diffusion旨在解決速度問(wèn)題。方法如下：
Stable Diffusion是一種在潛在空間擴(kuò)散（latent diffusion）的模型。它不是在高維圖像空間中操作，而是首先將圖像壓縮到潛空間（latent space）中。對(duì)比原像素空間，潛空間（latent space）小了 48 倍，因此它獲得了處理更少數(shù)字的好處，這就是為什么它要快得多。

變分自編碼器（Variational Autoencoder）

Stable Diffusion使用一種稱為變分自編碼器（Variational Autoencoder）的技術(shù)來(lái)實(shí)現(xiàn)圖像潛空間壓縮。這正是我們?cè)谑褂肧table Diffusion時(shí)設(shè)置的VAE文件的內(nèi)容，我稍后會(huì)詳細(xì)說(shuō)明。

變分自編碼器（VAE：Variational Autoencoder）神經(jīng)網(wǎng)絡(luò)由兩部分組成：（1）編碼器和（2）解碼器。編碼器將圖像壓縮為潛在空間中的低維表示。解碼器從潛在空間恢復(fù)圖像。

Variational autoencoder transforms the image to and from the latent space.

Stable Diffusion模型的潛空間為4x64x64，比圖像像素空間小48倍。我們談到的所有正向和反向擴(kuò)散實(shí)際上是在潛在空間中完成的。

因此，在訓(xùn)練過(guò)程中，它不會(huì)生成噪聲圖像，而是在潛在空間中生成隨機(jī)張量（潛在噪聲）。它不是用噪聲破壞圖像，而是用潛在噪聲破壞圖像在潛在空間中的表示。這樣做的原因是它的速度要快得多，因?yàn)闈撛诳臻g更小。

圖像分辨率(Image resolution)

圖像分辨率反映在潛在圖像張量的大小上。潛在圖像的大小僅為 4x64x64，僅適用于 512×512 圖像。對(duì)于 4×96 的縱向圖像，它是 64x768x512。這就是為什么生成更大的圖像需要更多的VRAM的原因。

由于Stable Diffusion v1 在 512×512 圖像上進(jìn)行了微調(diào)，因此生成大于 512×512 的圖像可能會(huì)導(dǎo)致重復(fù)對(duì)象，例如臭名昭著的兩個(gè)頭部。如果必須，請(qǐng)將至少一側(cè)保持在 512 像素，并使用?AI 升頻器（AI upscaler）以獲得更高的分辨率。

為什么潛在空間是可能的？

您可能想知道為什么VAE可以將圖像壓縮到更小的潛在空間而不會(huì)丟失信息。原因是，自然圖像不是隨機(jī)的。它們具有很高的規(guī)律性：面部遵循眼睛、鼻子、臉頰和嘴巴之間的特定空間關(guān)系。狗有 4 條腿，是一種特殊的形狀。

換句話說(shuō)，圖像的高維性是偽影。自然圖像可以很容易地壓縮到更小的潛在空間中，而不會(huì)丟失任何信息。這在機(jī)器學(xué)習(xí)中被稱為流形假設(shè)(manifold hypothesis)。

潛空間中的反向擴(kuò)散

以下是Stable Diffusion中潛在反向擴(kuò)散的工作原理。

1. 生成隨機(jī)潛在空間矩陣。
2. 噪聲預(yù)測(cè)器估計(jì)潛在矩陣的噪聲。
3. 然后從原始潛空間矩陣中減去估計(jì)的噪聲。
4. 重復(fù)步驟 2 和 3 直至特定采樣步驟。
5. VAE的解碼器將潛空間矩陣轉(zhuǎn)換為最終圖像。

什么是VAE文件？

VAE文件在Stable Diffusion v1中使用，以改善眼睛和面部的繪畫效果。它們是我們剛剛談到的自編碼器的解碼器。通過(guò)進(jìn)一步微調(diào)解碼器，模型可以繪制更精細(xì)的細(xì)節(jié)。

你可能會(huì)意識(shí)到我之前提到的一處內(nèi)容并不完全正確。將圖像壓縮到潛在空間中確實(shí)會(huì)丟失信息，因?yàn)樵糣AE無(wú)法恢復(fù)精細(xì)細(xì)節(jié)。相反，VAE解碼器負(fù)責(zé)在解碼的時(shí)候繪制精細(xì)的細(xì)節(jié)。

條件(Conditioning)

前面的說(shuō)明仍然不完整，缺了最重要的一塊拼圖：文本提示（text prompt）在哪里注入到圖片？沒(méi)有這部分內(nèi)容，Stable Diffusion就不是文本到圖像（text-to-image）模型。你會(huì)隨機(jī)得到一只貓或一只狗的圖像，但你沒(méi)法控制Stable Diffusion為你生成貓或者狗的圖像。
這就是條件(conditioning)的用武之地。條件的目的是引導(dǎo)噪聲預(yù)測(cè)器，以便預(yù)測(cè)的噪聲在從圖像中減去后會(huì)給出我們想要的東西。

文本條件（Text conditioning）

下面概述了如何處理文本提示（Text Prompt）并將其輸入噪聲預(yù)測(cè)器。分詞器（Tokenizer）首先將提示中的每個(gè)單詞轉(zhuǎn)換為稱為標(biāo)記（token）的數(shù)字。然后將每個(gè)標(biāo)記轉(zhuǎn)換為稱為Embedding的 768 值向量。（是的，這與您在Web UI中使用的Embedding相同）然后，Embedding由文本轉(zhuǎn)換器處理，并準(zhǔn)備好供噪聲預(yù)測(cè)器使用。

如何處理文本提示并將其饋送到噪聲預(yù)測(cè)器中以引導(dǎo)圖像生成。

現(xiàn)在讓我們仔細(xì)看看每個(gè)部分的詳細(xì)內(nèi)容。如果上述概述對(duì)您來(lái)說(shuō)已經(jīng)夠了，您可以跳到下一部分。

分詞器（tokenizer）

分詞器。

文本提示首先由?CLIP 標(biāo)記器進(jìn)行標(biāo)記化。CLIP是由Open AI開(kāi)發(fā)的深度學(xué)習(xí)模型，用于生成任何圖像的文本描述。Stable Diffusion v1使用CLIP的分詞器。

令牌化（Tokenization）是計(jì)算機(jī)理解單詞的方式。我們?nèi)祟惪梢蚤喿x單詞，但計(jì)算機(jī)只能讀取數(shù)字。這就是為什么文本提示中的單詞首先轉(zhuǎn)換為數(shù)字的原因。

分詞器只能對(duì)它在訓(xùn)練期間看到的單詞進(jìn)行分詞。例如，CLIP 模型中有“dream”和“beach”，但沒(méi)有“dreambeach”。Tokenizer將“dreambeach”這個(gè)詞分解為兩個(gè)標(biāo)記“dream”和“beach”。所以一個(gè)詞并不總是意味著一個(gè)令牌！

另一個(gè)細(xì)則是空格字符也是令牌（token）的一部分。在上述情況下，短語(yǔ)“dream beach”產(chǎn)生兩個(gè)標(biāo)記“dream ”和“[空格]beach”。這些token與“dreambeach”產(chǎn)生的token不同，“dream beach”是“dream”和“beach”（beach前沒(méi)有空格）。
Stable Diffusion模型僅限于在提示中使用 75 個(gè)令牌。（現(xiàn)在你知道它和75個(gè)字不一樣了！）

嵌入/標(biāo)簽(Embedding)

嵌入。

Stable Diffusion v1 使用 Open AI 的?ViT-L/14?剪輯模型。嵌入是一個(gè) 768 個(gè)值的向量。每個(gè)令牌都有自己唯一的嵌入向量。嵌入由 CLIP 模型固定，該模型是在訓(xùn)練期間學(xué)習(xí)的。

為什么我們需要嵌入（Embedding）？這是因?yàn)橛行┰~彼此密切相關(guān)。我們希望利用這些信息。例如，man、gentleman?和?guy?的嵌入幾乎相同，因?yàn)樗鼈兛梢曰Q使用。莫奈、馬奈和德加都以印象派風(fēng)格作畫，但方式不同。這些名稱具有接近但不相同的嵌入。


這與我們討論的用于觸發(fā)帶有關(guān)鍵字的樣式的嵌入相同。嵌入可以產(chǎn)生魔力?？茖W(xué)家們已經(jīng)證明，找到合適的嵌入可以觸發(fā)任意的對(duì)象和樣式，這是一種稱為文本反轉(zhuǎn)的微調(diào)技術(shù)。

將嵌入（embeddings）饋送到噪聲預(yù)測(cè)器（noise predictor）

從嵌入到噪聲預(yù)測(cè)器。

在饋入噪聲預(yù)測(cè)器之前，文本轉(zhuǎn)換器需要進(jìn)一步處理嵌入。變壓器就像一個(gè)用于調(diào)節(jié)的通用適配器。在這種情況下，它的輸入是文本嵌入向量，但它也可以是其他東西，如類標(biāo)簽、圖像和深度圖。轉(zhuǎn)換器不僅進(jìn)一步處理數(shù)據(jù)，而且還提供了一種包含不同調(diào)節(jié)模式的機(jī)制。

交叉注意力機(jī)制（Cross-attention）

文本轉(zhuǎn)換器的輸出由整個(gè) U-Net 中的噪聲預(yù)測(cè)器多次使用。U-Net通過(guò)交叉注意力機(jī)制消耗它。這就是提示與圖像相遇的地方。

讓我們以提示“藍(lán)眼睛的男人”為例。Stable Diffusion將“藍(lán)色”和“眼睛”這兩個(gè)詞配對(duì)在一起（提示中的自注意力機(jī)制），這樣它就會(huì)生成一個(gè)藍(lán)眼睛的男人，而不是一個(gè)藍(lán)襯衫的男人。然后，它使用這些信息將反向擴(kuò)散引導(dǎo)到包含藍(lán)眼睛的圖像。（提示/prompt和圖像/image之間的交叉注意力機(jī)制）

旁注：

Hypernetwork是一種微調(diào)Stable Diffusion的技術(shù)，它通過(guò)干預(yù)交叉注意力網(wǎng)絡(luò)來(lái)插入樣式。

LoRA 模型修改交叉注意力模塊的權(quán)重以更改樣式。僅修改此模塊就可以微調(diào) Stabe Diffusion模型這一事實(shí)說(shuō)明了該模塊的重要性。

ControlNet 通過(guò)檢測(cè)到的輪廓、人體姿勢(shì)等來(lái)調(diào)節(jié)噪聲預(yù)測(cè)器，并實(shí)現(xiàn)對(duì)圖像生成的出色控制。

Stable Diffusion Step-by-Step

文本到圖像（Text-to-image）

在文本到圖像中，您向Stable Diffusion提供文本提示（prompt），它會(huì)返回一個(gè)圖像。

第 1 步。Stable Diffusion在潛空間中生成隨機(jī)張量。您可以通過(guò)設(shè)置隨機(jī)數(shù)生成器的種子來(lái)控制此張量。如果將種子設(shè)置為某個(gè)值，您將始終獲得相同的隨機(jī)張量。這是你在潛在空間中的圖像。但現(xiàn)在都是噪音。

隨機(jī)張量在潛在空間中生成。

第 2 步。噪聲預(yù)測(cè)器 U-Net 將潛在噪聲圖像和文本提示作為輸入，并預(yù)測(cè)噪聲，也在潛在空間（4x64x64 張量）中。

第 3 步。從潛在圖像中減去潛在噪聲。這將成為您的新潛在圖像。

步驟 2 和 3 重復(fù)一定數(shù)量的采樣步驟，例如 20 次。
第 4 步。最后，VAE的解碼器將潛在圖像轉(zhuǎn)換回像素空間。這是運(yùn)行Stable Diffusion后獲得的圖像。

下面介紹了如何在每個(gè)采樣步驟中對(duì)映像演變進(jìn)行成像。

每個(gè)采樣步驟的圖像。

噪音時(shí)間表（Noise schedule）

圖像從嘈雜變?yōu)楦蓛簟Ｄ欠裣胫涝肼曨A(yù)測(cè)器在初始步驟中是否運(yùn)行良好？實(shí)際上，這只是部分原因。真正的原因是我們?cè)噲D在每個(gè)采樣步驟中獲得預(yù)期的噪聲。這稱為噪聲時(shí)間表。下面是一個(gè)示例。

15 個(gè)采樣步驟的噪聲計(jì)劃。

噪音時(shí)間表是我們定義的。我們可以選擇在每一步減去相同數(shù)量的噪聲?；蛘呶覀兛梢栽陂_(kāi)始時(shí)減去更多，就像上面一樣。采樣器在每個(gè)步驟中減去足夠的噪聲，以達(dá)到下一步中的預(yù)期噪聲。這就是您在step-by-step圖像中看到的內(nèi)容。

圖像到圖像(Image-to-image)

圖像到圖像是SDEdit方法中首次提出的一種方法。SDEdit可以應(yīng)用于任何擴(kuò)散模型。所以我們有Stable Diffusion的圖像到圖像的功能。
輸入圖像和文本提示作為圖像到圖像的輸入提供。生成的圖像將由輸入圖像和文本提示調(diào)節(jié)。例如，使用這幅素人畫和提示“photo of perfect green apple with stem, water droplets, dramatic lighting”作為輸入，圖像到圖像可以將其變成專業(yè)繪圖：

圖像到圖像

現(xiàn)在這是分步介紹：
第 1 步。輸入圖像被編碼為潛在空間。

第 2 步。噪點(diǎn)被添加到潛在圖像中。降噪強(qiáng)度控制添加的噪聲量。如果為 0，則不添加噪聲。如果為 1，則添加最大噪聲量，以便潛在圖像成為完整的隨機(jī)張量。

第 3 步。噪聲預(yù)測(cè)器 U-Net 將潛在噪聲圖像和文本提示作為輸入，并預(yù)測(cè)潛在空間（4x64x64 張量）中的噪聲。

第 4 步。從潛在圖像中減去潛在噪聲。這將成為您的新潛在圖像。

步驟 3 和 4 重復(fù)一定數(shù)量的采樣步驟，例如 20 次。
第5步。最后，VAE的解碼器將潛在圖像轉(zhuǎn)換回像素空間。這是運(yùn)行映像到映像后獲得的圖像。

所以現(xiàn)在你知道什么是圖像到圖像：它所做的只是設(shè)置帶有一點(diǎn)噪聲和一點(diǎn)輸入圖像的初始潛在圖像。將去噪強(qiáng)度設(shè)置為 1 等效于文本到圖像，因?yàn)槌跏紳撛趫D像完全是隨機(jī)噪聲。

修復(fù)（Inpainting）

修復(fù)實(shí)際上只是圖像到圖像的一個(gè)特殊情況。雜色將添加到要上色的圖像部分。噪聲量同樣由降噪強(qiáng)度控制。

Depth-to-image

Depth-to-image是對(duì)圖像到圖像的增強(qiáng);它使用深度圖生成具有附加條件的新圖像。
第 1 步。輸入圖像被編碼為潛在狀態(tài)

第 2 步。MiDaS（AI深度模型）估計(jì)輸入圖像的深度圖。

第 3 步。噪點(diǎn)被添加到潛在圖像中。降噪強(qiáng)度控制添加的噪聲量。如果降噪強(qiáng)度為 0，則不添加噪聲。如果去噪強(qiáng)度為 1，則添加最大噪聲，使?jié)撛趫D像成為隨機(jī)張量。

第 4 步。噪聲預(yù)測(cè)器估計(jì)潛在空間的噪聲，由文本提示和深度圖調(diào)節(jié)。

步?5. 從潛在圖像中減去潛在噪聲。這將成為您的新潛在圖像。

對(duì)采樣步驟數(shù)重復(fù)步驟 4 和 5。
第 6 步。VAE的解碼器對(duì)潛在圖像進(jìn)行解碼?，F(xiàn)在，您可以獲得從深度到圖像的最終圖像。

什么是CFG值？

如果不解釋無(wú)分類器引導(dǎo)（Classifier-Free Guidance，CFG），這篇文章將是不完整的，這是AI藝術(shù)家每天調(diào)來(lái)調(diào)去的值。要了解它是什么，我們需要首先觸及它的前身，分類器引導(dǎo)（Classifier Guidance）。

分類器引導(dǎo)（Classifier Guidance）

分類器引導(dǎo)是一種在擴(kuò)散模型中合并圖像標(biāo)簽的方法。您可以使用標(biāo)簽來(lái)指導(dǎo)擴(kuò)散過(guò)程。例如，標(biāo)簽“貓”引導(dǎo)反向擴(kuò)散過(guò)程生成貓的照片。

分類器指導(dǎo)強(qiáng)度（classifier guidance scale）是用于控制擴(kuò)散過(guò)程應(yīng)與標(biāo)簽保持多近的參數(shù)。

假設(shè)有 3 組帶有標(biāo)簽“貓”、“狗”和“人類”的圖像。如果擴(kuò)散是無(wú)指導(dǎo)的，模型將從每個(gè)組的總數(shù)據(jù)中（譯者：我覺(jué)得這里應(yīng)該有“均勻”的意思）提取樣本，但有時(shí)它可能會(huì)繪制適合兩個(gè)標(biāo)簽的圖像，例如男孩撫摸狗。

分類器指南。左：無(wú)指導(dǎo)。中：小引導(dǎo)尺度。右：大引導(dǎo)比例尺。

在高分類器指導(dǎo)下，擴(kuò)散模型生成的圖像將偏向極端或明確的例子。如果你向模型詢問(wèn)一只貓，它將返回一個(gè)明確的貓的圖像，沒(méi)有別的。
分類器指導(dǎo)強(qiáng)度（classifier guidance scale）控制遵循指導(dǎo)（guidance）的緊密程度。在上圖中，右側(cè)的采樣具有比中間的分類器指導(dǎo)量表更高的分類器指導(dǎo)量表。實(shí)際上，此刻度值只是具有該標(biāo)簽的數(shù)據(jù)的漂移項(xiàng)的乘數(shù)。

無(wú)分類器指導(dǎo)（Classifier-free guidance）

盡管分類器指導(dǎo)實(shí)現(xiàn)了破紀(jì)錄的性能，但它需要一個(gè)額外的模型來(lái)提供該指導(dǎo)。這給培訓(xùn)帶來(lái)了一些困難。
用作者的話來(lái)說(shuō)，無(wú)分類器指導(dǎo)是一種實(shí)現(xiàn)“沒(méi)有分類器的分類器指導(dǎo)”的方法。他們沒(méi)有使用類標(biāo)簽和單獨(dú)的模型作為指導(dǎo)，而是建議使用圖像標(biāo)題并訓(xùn)練一個(gè)條件擴(kuò)散模型，就像我們?cè)谖谋镜綀D像中討論的那樣。
他們將分類器部分作為噪聲預(yù)測(cè)器U-Net的條件，在圖像生成中實(shí)現(xiàn)所謂的“無(wú)分類器”（即沒(méi)有單獨(dú)的圖像分類器）指導(dǎo)。
文本提示以文本到圖像的形式提供此指導(dǎo)。

CFG 值

現(xiàn)在我們通過(guò)條件反射有一個(gè)無(wú)分類器的擴(kuò)散過(guò)程，我們?nèi)绾慰刂茟?yīng)該遵循多少指導(dǎo)？
無(wú)分類器引導(dǎo) （CFG） 刻度是一個(gè)值，用于控制文本提示對(duì)擴(kuò)散過(guò)程的調(diào)節(jié)程度。當(dāng)圖像生成設(shè)置為 0 時(shí)，圖像生成是無(wú)條件的（即忽略提示）。較高的值將擴(kuò)散引導(dǎo)向提示。

Stable Diffusion v1 與 v2

這已經(jīng)是一篇很長(zhǎng)的文章，但如果不比較 v1 和?v2?模型之間的差異，它就不完整。

模型差異（Model difference）

Stable Diffusion v2 使用?OpenClip?進(jìn)行文本嵌入。Stable Diffusion v1使用Open AI的CLIP?ViT-L/14進(jìn)行文本嵌入。此更改的原因是:

• OpenClip 的規(guī)模擴(kuò)大了五倍。較大的文本編碼器模型可提高圖像質(zhì)量。
• 盡管Open AI的CLIP模型是開(kāi)源的，但這些模型是使用專有數(shù)據(jù)訓(xùn)練的。切換到 OpenClip 模型使研究人員在研究和優(yōu)化模型時(shí)更加透明。更有利于長(zhǎng)遠(yuǎn)發(fā)展。

訓(xùn)練數(shù)據(jù)差異（Training data difference）

Stable Diffusion v1.4?訓(xùn)練使用

• 在?laion237B-en?數(shù)據(jù)集上以分辨率 256×256 執(zhí)行 2k 步。
• 高分辨率分辨率?194×512 的 512k 步長(zhǎng)。
• 在“l(fā)aion-aesthetics v225 512+”上以 512×2 處執(zhí)行 5k 步，
  文本條件下降 10%。

Stable Diffusion v2?訓(xùn)練

• 在?LAION-550B?子集的分辨率下以 5k 步長(zhǎng)過(guò)濾露骨的色情材料，使用?LAION-NSFW 分類器和美學(xué)分?jǐn)?shù)?>= 。256x256punsafe=0.14.5
• 在具有分辨率的圖像上，在同一數(shù)據(jù)集上的分辨率下以 850k 步長(zhǎng)。512x512>= 512x512
• 在同一數(shù)據(jù)集上使用?v 目標(biāo)的 150k 步。
• 在圖像上恢復(fù)了另外 140k 步。768x768

Stable Diffusion?v2.1 在 v2.0?上進(jìn)行了微調(diào)

• 同一數(shù)據(jù)集上的額外 55k 步驟（使用punsafe=0.1)
• 另外 155k 額外步驟punsafe=0.98