?　　LDM指latent-diffusion model?？v觀Diffusion model的發(fā)展歷史，使用一個基于Unet的noise predictor進行diffusion reverse process是主線，這個思路在DDPM這篇文章中就已經(jīng)闡述的很清楚了，但是受限于大量的hidden features，訓練速度堪憂，并且分辨率沒辦法提的很高。classifier-guided[Diffusion Models Beat GANs on Image Synthesis]和classifier-free[CLASSIFIER-FREE DIFFUSION GUIDANCE]這兩篇文章給出了設計“條件Diffusion Model”的方法，但是仍然沒有解決訓練速度和顯存占用的問題。直到LDM的提出，通過引入一個預訓練的VAE做圖片降維，然后在latent-space做diffusion，才為Diffusion Model的大規(guī)模訓練打開了大門。與此同時，它提出可以使用一個業(yè)務相關的conditioning模塊，并借助CrossAttension機制一把實現(xiàn)多個任務比如inpainting，SR，depth-guided等等?？傊?，LDM是學術界的產(chǎn)物，由Compvis獨立提出，為后續(xù)的Stablediffusion打下了技術基礎。但同時由于它(LDM)學術產(chǎn)物的本質，得到的關注遠遠不如SD。

　　 2. StableDiffusion v1.1 ~ v1.4

　　發(fā)出了LDM那篇CVPR文章后，Compvis團隊得到了工業(yè)界的關注，得以和Runway和Stability AI合作。有了他們的支持，Compvis開始做一些昂貴的嘗試，即在LAION數(shù)據(jù)集上進行大規(guī)模的訓練。本質上，SDv1.1 ~ 1.4使用的算法框架和LDM完全一致。特別地，SD使用了固定的(frozen)CLIP text encoder作為上一節(jié)提到的conditioning模塊，也就是說不做雜七雜八的conditioning了，依賴于LAION數(shù)據(jù)集的驅動，就一門心思好好把T2I這個任務給做好。下面我摘抄兩段github上的話，很好地總結了這個階段的模型的發(fā)展：Stable Diffusion v1 refers to a specific configuration of the model architecture that uses a downsampling-factor 8 autoencoder with an 860M UNet and CLIP ViT-L/14 text encoder for the diffusion model. The model was pretrained on 256x256 images and then finetuned on 512x512 images.

　　3.?StableDiffusion v1.5

　　上面提到Compvis團隊不僅了Stablility-AI團隊合作，還和Runway團隊有合作。而SD1.5這個火遍大江南北的模型就是由RunwayML團隊發(fā)布在hugging face上的。值得注意的是這次模型的發(fā)布就不再是Compvis了(可能是利益相關的問題吧)，看看它是怎么做的：

The Stable-Diffusion-v1-5 checkpoint was initialized with the weights of the Stable-Diffusion-v1-2 checkpoint and subsequently fine-tuned on 595k steps at resolution 512x512 on "laion-aesthetics v2 5+" and 10% dropping of the text-conditioning to improve classifier-free guidance sampling.

　　似乎沒有什么fancy的... 僅僅就是在一個美學打分較高的LAION子集上猛猛訓...步數(shù)超過了v1-4而已。但是這里有兩個需要注意的地方，先看一下runway在hugging face上發(fā)布的模型：

　　一個是pruned，這個pruned是什么意思？reddit上有一段很好的解釋:?https://www.reddit.com/r/StableDiffusion/comments/xymibu/what_does_it_mean_to_prune_a_model/

A neural network is just a bunch of math operations. The "neurons" are connected by various "weights," which is to say, the output of a neuron is multipled by a weight (just a number) and gets added into another neuron, along with lots of other connections to that other neuron.

When the neural network learns, these weights get modified. Often, many of them become zero (or real close to it). And since anything time zero is zero, we can skip this part of the math when using the network to predict something. Also, when a set of data has a lot of zeros, it can be compressed to be much smaller.

Pruning finds the nearly zero connections, makes them exactly zero, and then let's you save a smaller, compressed network. Moreover, when you use the network to predict/create something, an optimized neural network solution (i.e. the code that does all of the math specified by the network) can do so faster by intelligently skipping the unneeded calculations involving zero.

　　這下就知道了，模型的pruning就是剪掉不需要的部分。pruned知道了，ema又是什么意思呢？這個其實我可以解釋一下：EMA?stands for Exponential Moving Average, and it refers to a technique used to smooth out noise in the?training?data. 即EMA是一種訓練策略，在訓練的時候模型會有一個主模型例如Unet，同時也會保存一個copy即EMA_Unet，這個EMA_Unet可以簡單地看作是Unet的一個權值平均化的版本，可以使得訓練更加穩(wěn)定。一般認為EMA_Unet能夠降噪，因此load ema版本的權重就可以了，但是如果你想接著finetune，那么不妨同時load EMA_Unet和真實的Unet，繼續(xù)用ema的策略訓練下去。hugging face上有一段話：

?　　可知v1-5-pruned.ckpt包含的信息是比v1-5-pruned-emaonly.ckpt的信息“絕對”多的，然后就按自己需求有選擇地下載就好了。

　　4.?StableDiffusion v2 v2.1

　　上面說到之前的模型發(fā)布都是Compvis和Runway完成的，現(xiàn)在老大Stability-AI也坐不住了。我猜它應該是想掙錢的，因此發(fā)布Stalediffusion v2的一個重要舉措是刪除NSFW的東西。這個也可以理解，因為做產(chǎn)品就要考慮風控啊。SD v2同樣有一個一句話定義：Stable Diffusion v2 refers to a specific configuration of the model architecture that uses a downsampling-factor 8 autoencoder with an 865M UNet and OpenCLIP ViT-H/14 text encoder for the diffusion model. The SD 2-v model produces 768x768 px outputs. 有三個變化，一個是text-encoder變了，變這個東西意味著什么？意味著和StableDiffusion v1割席，必須重新從零去訓練了。一個是分辨率加大了，這個東西似乎沒有什么技術壁壘，因為卷積這個操作好像天生就能夠兼容不同分辨率的方圖。

　　然后，StableDiffusion v2引入了一個叫v-prediction的概念，這導致模型出現(xiàn)了v2, v2-base, v2.1, v2.1-base，v2和v2.1是SD主推的產(chǎn)品(我的理解)，而v2-base和v2.1-base則是原始的noise-prediction的模型。邏輯是這樣的，v2-base是從零開始訓的，并且屏蔽了NSFW，v2基于v2-base繼續(xù)finetune。v2.1-base是基于v2-base finetune的，v2.1基于v2.1-base繼續(xù)finetune。下面只展示v2-base的訓練介紹，其他的模型訓練信息可以到hugging face上自己去看：

文章來源地址http://www.zghlxwxcb.cn/news/detail-538634.html