前言

基于Diffusion Model來做的超分辨，與以往基于GAN和CNN網(wǎng)絡(luò)的不一樣，Diffusion Model是從低分辨率圖像中學(xué)習(xí)噪聲然后通過UNet來估計噪聲，再進(jìn)行噪聲去除來還原圖像。主要是基于DDPM這篇論文的理論上進(jìn)行改進(jìn)的，相比其他方法來說可以很好的還原圖像的高頻信息，雖然在PSNR和SSIM指標(biāo)上一般，但是實際出來的效果來說還是不錯的，并且也證明了Diffusion Model這種生成模型在超分辨上方法也是可行的。

網(wǎng)絡(luò)框架

這篇的網(wǎng)絡(luò)框架基本是基于DDPM上面進(jìn)行了略微的改進(jìn)，區(qū)別是出來的圖像不是隨機(jī)生成的，是對低分辨率圖像作為條件進(jìn)行生成的。

主要分為兩個階段，一個是高斯噪聲擴(kuò)散過程，主要是在對模型進(jìn)行訓(xùn)練的時候，給圖像不斷地添加隨機(jī)的高斯噪聲，然后通過UNet網(wǎng)絡(luò)對噪聲進(jìn)行估計，通過估計之后的噪聲與原添加的噪聲進(jìn)行對比，損失函數(shù)就是使得這兩個噪聲最可能接近，以此來訓(xùn)練出一個很好的噪聲推理網(wǎng)絡(luò)；第二個階段是推理階段，就是當(dāng)訓(xùn)練好網(wǎng)絡(luò)后，輸入一張低分辨率的圖片估計當(dāng)前噪聲然后進(jìn)行推理直至還原到高分辨率。

Gaussian Diffusion Process

如上圖所示就是訓(xùn)練階段，原圖x0對應(yīng)的就是GT圖像，首先均勻采樣一個t和噪聲z，然后通過上面那條式子估計出第t步的噪聲圖像xt，是固定的參數(shù)，它的選取依賴于t，于是就得到了xt對應(yīng)的圖像，這個過程是一步到位的，不是一步步加噪聲推理出來的xt，上面的圖片只是為了方便理解。然后通過xt對應(yīng)的圖像和低分辨率圖像進(jìn)行三次線性插值后的圖像進(jìn)行拼接得到的就是6通道的圖像，作為條件輸入到Unet網(wǎng)絡(luò)進(jìn)行估計當(dāng)前噪聲，然后對于下圖來說就是損失函數(shù)（=，對應(yīng)的就是Unet的網(wǎng)絡(luò)模型），就是估計原來采樣的噪聲和估計的噪聲的差距，并且使得盡可能接近。

Inference via Iterative Refinement

推理階段如上圖，首先經(jīng)過隨機(jī)采樣得到一個xt，然后和低分辨率圖像經(jīng)過三次線性插值后進(jìn)行拼接作為條件，輸入到Unet網(wǎng)絡(luò)對當(dāng)前噪聲進(jìn)行估計，然后通過上面的式子對噪聲進(jìn)行去除，得到xt- 1的噪聲圖，然后繼續(xù)循環(huán)這個過程，得到xt-2的噪聲圖，以此類推直到得到x0的高分辨率圖像。

改進(jìn)

與DDPM模型不一樣的地方在于：

①作為有條件生成模型，是將低分辨率圖像進(jìn)行三次線性插值后與噪聲圖進(jìn)行拼接作為輸入估計噪聲。

②在DDPM中的是基于采樣得到的t進(jìn)行選取的參數(shù)，但是在SR3中的不再直接取，而是在采樣得到t之后，經(jīng)過和之間均勻分布進(jìn)行選取，使得過程更加連續(xù)。

③不再輸入t給Unet，而是直接輸入noise level，即②中得到的? 作為Unet的輸入。

實驗

對比了GAN和PULSE模型和自回歸模型，在PSNR和SSIM上的效果相對比較一般，另外還弄了個一致性的指標(biāo)，因為相對其傳統(tǒng)的超分辨模型都是基于PSNR進(jìn)行訓(xùn)練的，而SR3不是，所以指標(biāo)相對較低也正常。

?對比和自回歸模型上的差異，自回歸模型是基于PSNR進(jìn)行訓(xùn)練的，SR3 是利用FID去尋找噪聲的Z的，因而各自有優(yōu)勢。

這個表展示了在imganet上進(jìn)行訓(xùn)練后的超分辨圖的分類準(zhǔn)確率的情況，可以看到SR3確實有一定的優(yōu)勢，這類實驗展示的是超分辨后的圖像對目標(biāo)檢測等任務(wù)的提升程度。

?最后還用了一個Foolrate，用人眼來分辨超分辨圖片哪個更接近低分辨率的圖片，可以看到SR3在欺騙人眼的能力上有非常顯著的效果。

總結(jié)

?SR3的模型使用了一種全新的超分辨思路，與以往的基于GAN和CNN網(wǎng)絡(luò)的完全不一樣，主要是通過圖像的概率分布來對圖像進(jìn)行不斷降噪來獲取超分辨的圖像。實驗結(jié)果來說因為沒有使用PSNR等指標(biāo)作為損失函數(shù)，雖然在這些指標(biāo)的領(lǐng)域比較一般，但是在其他實驗上還是有非常不錯的效果。尤其個人認(rèn)為在imagenet上分辨從錯誤率上得到了提升，當(dāng)然其實并沒有對比SOTA的模型，所以缺乏一定的說服力，但是總的來說這個思路是有效果的，而且有很大的提升空間。

?文章來源地址http://www.zghlxwxcb.cn/news/detail-481299.html

到了這里，關(guān)于Image Super-Resolution via Iterative Refinement 論文筆記的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！