Diffusion Models

圖中：$x_0$為圖像，$z$為采樣自正態(tài)分布的噪音

擴(kuò)散模型**是受非平衡熱力學(xué)的啟發(fā)。它們定義一個(gè)擴(kuò)散步驟的馬爾可夫鏈，逐漸向數(shù)據(jù)添加隨機(jī)噪聲，然后學(xué)習(xí)逆擴(kuò)散過程，從噪聲中構(gòu)建所需的數(shù)據(jù)樣本。與VAE或流動(dòng)模型不同，擴(kuò)散模型是用固定的程序?qū)W習(xí)的，而且隱變量具有高維度。

訓(xùn)練階段，是在圖片中添加噪聲，給網(wǎng)絡(luò)輸入這一張?zhí)砑釉肼暤膱D片，網(wǎng)絡(luò)需要預(yù)測(cè)的則是添加的噪聲。

使用階段，由隨機(jī)生成的噪聲，使用網(wǎng)絡(luò)預(yù)測(cè)添加了什么噪聲，然后逐步去除噪聲，直到還原。

、

1、擴(kuò)散過程

• 擴(kuò)散的過程，是不斷地逐步向圖片中添加噪聲，直到圖像完全變?yōu)榧冊(cè)肼暎?/li>
• 添加的噪聲為高斯噪聲，而后一時(shí)刻都是由前一時(shí)刻的圖像增加噪聲得到的。

添加噪聲的過程：

這里定義了兩個(gè)參數(shù)${\alpha }_t$、${\beta }_t$；（$t$的范圍為0~$T$之間的整數(shù)，${\beta }_t$ 從${\beta }_1$變化到${\beta }_T$,是逐漸變大的，論文中是從0.0001等量的增加$T$次，直到0.002 ）

而 ${\alpha }_t$與${\beta }_t$的關(guān)系為：

${\alpha }_t=1?{\beta }_t$ （1)

$T$表示的是，由圖片通過逐步添加噪聲直至完全變?yōu)榧冊(cè)肼暤倪^程所需要經(jīng)歷的次數(shù)，也就是圖片需要總計(jì)需要添加噪聲的步數(shù)。而$t$則代表的是$T$中具體的某一步。

則給圖像添加噪聲的過程的表達(dá)式可以寫為：

$x_t=\sqrt{{\alpha }_t}{x}_{t?1}+\sqrt{1?{\alpha }_t}{z}_t$ (2)

$x_t$表示的是第$t$擴(kuò)散步時(shí)，添加噪聲后的圖片，而$x_{t?1}$是第$t?1$時(shí)刻所獲得的圖片；$z_t$表示的是$t$時(shí)刻所添加的噪聲，該噪聲采樣自標(biāo)準(zhǔn)正態(tài)分布$N(0,1)$

那么可以依照公式(2)依次從原始圖像$x_0$逐步添加噪聲，擴(kuò)散至$x_T$：

$x_1=\sqrt{{\alpha }_1}{x}_0+\sqrt{1?{\alpha }_1}{z}_1$

$x_2=\sqrt{{\alpha }_2}{x}_1+\sqrt{1?{\alpha }_2}{z}_2$

……

$x_t=\sqrt{{\alpha }_t}{x}_{t?1}+\sqrt{1?{\alpha }_t}{z}_t$

……

$x_T=\sqrt{{\alpha }_T}{x}_{T?1}+\sqrt{1?{\alpha }_T}{z}_T$

由此可以看出${\beta }_t$逐漸增加，相應(yīng)的${\alpha }_t$逐漸減小，$1?{\alpha }_t$則是逐漸增大的，也就是說，添加的噪聲是逐步增加的，而原始圖像的比例是逐漸減小的,并且噪聲添加的程度是逐次擴(kuò)大的。

但對(duì)網(wǎng)絡(luò)的訓(xùn)練，數(shù)據(jù)是需要隨機(jī)采樣的，每次采樣到$t$時(shí)刻的時(shí)候，都從$x_0$開始遞推則太過于繁瑣。

所以需要一次就計(jì)算出來：

將式 ：$x_{t?1}=\sqrt{{\alpha }_{t?1}}{x}_{t?2}+\sqrt{1?{\alpha }_{t?1}}{z}_{t?1}$帶入（2）式中，可得

$x_t=\sqrt{{\alpha }_t}(\sqrt{{\alpha }_{t?1}}{x}_{t?2}+\sqrt{1?{\alpha }_{t?1}}{z}_{t?1})+\sqrt{1?{\alpha }_t}{z}_t$

式子展開為：

$x_t=\sqrt{{\alpha }_t}\sqrt{{\alpha }_{t?1}}{x}_{t?2}+\sqrt{{\alpha }_t}\sqrt{1?{\alpha }_{t?1}}{z}_{t?1}+\sqrt{1?{\alpha }_t}{z}_t$

$=\sqrt{{\alpha }_t}\sqrt{{\alpha }_{t?1}}{x}_{t?2}+(\sqrt{{\alpha }_t(1?{\alpha }_{t?1})}{z}_{t?1}+\sqrt{1?{\alpha }_t}{z}_t)$

其中每次加入的噪聲——$z_1,z_2,...,z_{t?1},z_t,...z_T$——都是服從正態(tài)分布 $N(0,1)$

所以可以將

$z_{t?1}$和$z_t$之間的系數(shù)合并在一起，因?yàn)檎植汲艘砸粋€(gè)系數(shù)，只改變方差，而$N(0,{\sigma }_1^2)+N(0,{\sigma }_2^2)～N(0,{\sigma }_1^2+{\sigma }_2^2)$

所以

$x_t=\sqrt{{\alpha }_t}\sqrt{{\alpha }_{t?1}}{x}_{t?2}+(\sqrt{{\alpha }_t(1?{\alpha }_{t?1})}{z}_{t?1}+\sqrt{1?{\alpha }_t}{z}_t)$

$=\sqrt{{\alpha }_t}\sqrt{{\alpha }_{t?1}}{x}_{t?2}+(\sqrt{a_t(1?a_{t?1})+1?a_t})z$

$=\sqrt{{\alpha }_t{\alpha }_{t?1}}{x}_{t?2}+(\sqrt{1?a_t{a}_{t?1}})z$

再將$x_{t?2}=\sqrt{{\alpha }_{t?2}}{x}_{t?3}+\sqrt{1?{\alpha }_{t?2}}{z}_{t?2}$帶入上式，循環(huán)往復(fù)，將$x_1$帶入，可得

$x_t=\sqrt{{\alpha }_t{\alpha }_{t?1}...{\alpha }_2{\alpha }_1}{x}_{t?1}+(\sqrt{1?{\alpha }_t{\alpha }_{t?1}...{\alpha }_2{\alpha }_1})z$

$=\sqrt{\overline{{\alpha }_t}}{x}_0+(\sqrt{1?\overline{a_t}})z$ （3）

其中$\overline{{\alpha }_t}$表示從${\alpha }_1$到${\alpha }_t$的連乘

、

2、訓(xùn)練過程

因此，擴(kuò)散模型的訓(xùn)練過程如下：

1. 從數(shù)據(jù)集中隨機(jī)抽選一張圖片，
2. 隨機(jī)從1~T中抽取一個(gè)擴(kuò)散步，
3. 按照式（3）計(jì)算得到 $x_t$，
4. 輸入網(wǎng)絡(luò)，得到輸出，輸出同添加的噪聲做損失，更新梯度，
5. 反復(fù)訓(xùn)練，直至滿意。

詳細(xì)訓(xùn)練過程的代碼過程如下：

for i, (x_0) in enumerate(tqdm_data_loader):  # 由數(shù)據(jù)加載器加載數(shù)據(jù)，
	x_0 = x_0.to(device)  # 將數(shù)據(jù)加載至相應(yīng)的運(yùn)行設(shè)備(device)
    t = torch.randint(1, T, size=(x_0.shape[0],), device=device)  # 對(duì)每一張圖片隨機(jī)在1~T的擴(kuò)散步中進(jìn)行采樣
    sqrt_alpha_t_bar = torch.gather(sqrt_alphas_bar, dim=0, index=t).reshape(-1, 1, 1, 1)  # 取得不同t下的 根號(hào)下alpha_t的連乘
    """取得不同t下的 根號(hào)下的一減alpha_t的連乘"""
    sqrt_one_minus_alpha_t_bar = torch.gather(sqrt_one_minus_alphas_bar, dim=0, index=t).reshape(-1, 1, 1, 1)
    noise = torch.randn_like(x_0).to(device)  # 從標(biāo)準(zhǔn)正態(tài)分布中采樣得到z
    x_t = sqrt_alpha_t_bar * x_0 + sqrt_one_minus_alpha_t_bar * noise  # 計(jì)算x_t
    out = net_model(x_t, t)  # 將x_t輸入模型，得到輸出
    loss = loss_function(out, noise) # 將模型的輸出，同添加的噪聲做損失
    optimizer.zero_grad()  # 優(yōu)化器的梯度清零
    loss.backward()  # 由損失反向求導(dǎo)
    optimizer.step()  # 優(yōu)化器更新參數(shù)

、

3、正向使用過程

使用過程是從$x_T$一步一步取出噪聲，推測(cè)出$x_0$

也就是說，需要在已知$x_T$的情況下，先反推$x_{t?1}$，然后推$x_{t?2}$……最終推測(cè)得到$x_0$

根據(jù)貝葉斯公式推導(dǎo)為：
$$x_{t?1}=\frac{1}{\sqrt{{\alpha }_t}}(x_t?\frac{1?{\alpha }_t}{\sqrt{1?\overline{{\alpha }_t}}}M(x_t,t))+\sqrt{{\beta }_t}z$$
則整個(gè)算法為：

1. $x_T$隨機(jī)采樣自標(biāo)準(zhǔn)正態(tài)分布；
2. 從T到1開始循環(huán)，
3. 按照上述公式計(jì)算$x_{t?1}$，依次往復(fù)，其中$M(x_t,t)$為網(wǎng)絡(luò)模型，輸入的是$x_t$步的結(jié)果和第t步，因?yàn)槟Ｐ鸵獙?duì)每一步的位置進(jìn)行編碼，$z$取樣至標(biāo)準(zhǔn)正態(tài)分布，在t為最后一步的時(shí)候，z取零

具體代碼如下：

for t_step in reversed(range(T)):  # 從T開始向零迭代
    t = t_step
    t = torch.tensor(t).to(device)

    z = torch.randn_like(x_t,device=device) if t_step > 0 else 0  # 如果t大于零，則采樣自標(biāo)準(zhǔn)正態(tài)分布，否則為零
    """按照公式計(jì)算x_{t-1}"""
    x_t_minus_one = torch.sqrt(1/alphas[t])*(x_t-(1-alphas[t])*model(x_t, t.reshape(1,))/torch.sqrt(1-alphas_bar[t]))+torch.sqrt(betas[t])*z
    
    x_t = x_t_minus_one

、

4、結(jié)果

因?yàn)樵O(shè)備有限，訓(xùn)練網(wǎng)紅人臉數(shù)據(jù)，測(cè)試時(shí)網(wǎng)絡(luò)生成的結(jié)果如下：這是在一張3080ti上訓(xùn)練得到的結(jié)果

、

5、網(wǎng)絡(luò)模型

模型使用UNet，并具有第t擴(kuò)散步的位置編碼信息。

、

6、其他

github：https://github.com/HibikiJie/Diffusion-Models

權(quán)重
鏈接：https://pan.baidu.com/s/19PuZr6duixJaSU1kvmn8Vg
碼：yhR9文章來源地址http://www.zghlxwxcb.cn/news/detail-401105.html

到了這里，關(guān)于Diffusion Models擴(kuò)散模型簡單講解與簡單實(shí)現(xiàn)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！