? ? ? ? 這一節(jié)主要介紹一下基于單張圖的圖像超分算法。圖像超分，就是要從低分辨率的圖像恢復(fù)為高分辨率的圖像，它在日常的圖像和視頻存儲(chǔ)與瀏覽中都有廣泛的應(yīng)用。
基于深度學(xué)習(xí)的圖像超分算法
不同的采樣結(jié)構(gòu)
????????圖像超分需要將低分辨率圖片恢復(fù)為高分辨率圖像，因此上采樣結(jié)構(gòu)在網(wǎng)絡(luò)中是必不可少的，因此下面按照上采樣結(jié)構(gòu)在不同CNN模型中的位置來(lái)區(qū)分不同的算法，說(shuō)明一下其原理和優(yōu)缺點(diǎn)。
前上采樣
????????前上采樣即在網(wǎng)絡(luò)的開(kāi)始完成上采樣過(guò)程，經(jīng)典模型為SRCNN模型，其結(jié)構(gòu)如下：
SRCNN模型步驟：
- 首先使用雙線性插值等上采樣方法進(jìn)行初始化，得到目標(biāo)分辨率大小的圖像。
- 使用卷積層對(duì)輸入的局部圖像塊進(jìn)行特征提取，得到一系列特征圖，即f1
- 接著使用1x1卷積進(jìn)行維度變換，即擴(kuò)增特征通道數(shù)
- 最后將高分辨率的圖像塊重新拼接為完成的圖像，即f3
該模型學(xué)習(xí)過(guò)程比較簡(jiǎn)單，但是由于整個(gè)網(wǎng)絡(luò)在高分辨率空間進(jìn)行計(jì)算，因此計(jì)算量大，而且噪聲容易被放大。
后上采樣
后上采樣即在網(wǎng)絡(luò)的后部分才進(jìn)行上采樣。比較經(jīng)典的模型結(jié)構(gòu)為FSRCNN和ESPCN。
FSRCNN網(wǎng)絡(luò)結(jié)構(gòu)如下：
想比SRCNN，主要改進(jìn)在三個(gè)地方：
- FSRCNN采用原始低分辨率圖像作為輸入，無(wú)需進(jìn)行雙三次插值，在網(wǎng)絡(luò)末端引入反卷積層來(lái)完成上采樣，極大的減小了網(wǎng)絡(luò)參數(shù)。
- 網(wǎng)將SRCNN中的非線性映射層替換為FSRCNN中的三個(gè)層，即收縮、映射和擴(kuò)展，減少特征參數(shù)維度。
- 將“寬”的非線性映射層用“**窄”的“深”**的網(wǎng)絡(luò)來(lái)替代。
ESPCN網(wǎng)絡(luò)結(jié)構(gòu)如下：
????????該網(wǎng)絡(luò)的關(guān)鍵亮點(diǎn)在于亞像素卷積層，首先介紹一下亞像素的概念：
????????面陣攝像機(jī)的成像面以像素為最小單位。在相機(jī)成像的過(guò)程中，獲得的圖像數(shù)據(jù)是將圖像進(jìn)行了離散化處理。例如兩個(gè)感官元件上的像素之間有4.5um的間距，宏觀上它們是連在一起的，微觀上它們之間還有無(wú)數(shù)更小的東西存在，這個(gè)更小的東西就稱(chēng)之為“亞像素”。實(shí)際上，亞像素應(yīng)該是存在的，只是缺少更細(xì)微的傳感器把它檢測(cè)出來(lái)，只能通過(guò)軟件將起近似計(jì)算出來(lái)。
????????如下圖所示，每四個(gè)紅色點(diǎn)圍成的矩形區(qū)域?yàn)閷?shí)際原件上的像素點(diǎn)，黑色點(diǎn)為亞像素點(diǎn)：
????????根據(jù)相鄰兩像素之間插值情況的不同，可以調(diào)整亞像素的精度，例如四分之一，就是將每個(gè)像素從橫向和縱向上當(dāng)做四個(gè)像素點(diǎn)。也就是上面圖里的紅色點(diǎn)之間有三個(gè)黑色點(diǎn)。這樣通過(guò)亞像素插值的方法可以實(shí)現(xiàn)從小矩形到大矩形的映射，從而提高分辨率。
????????在原文中，作者將網(wǎng)絡(luò)模型定義為3層，前兩層為普通卷積，最后的亞像素卷積層則包括兩個(gè)部分，卷積+像素排列。即通過(guò)三個(gè)卷積層，得到與輸入圖像尺寸一致、通道數(shù)為r2的特征圖像，再將特征圖像的每個(gè)像素的r2個(gè)通道重新排列成一個(gè)r * r的區(qū)域，對(duì)應(yīng)高分辨圖像中一個(gè)r * r的區(qū)域，從而大小為H*W*r2的特征圖像重新排列為rH*rW*1的高分辨率圖像。
?逐步式上采樣
為了解決后采樣模型無(wú)法對(duì)高倍率因子進(jìn)行很好的超分的問(wèn)題，逐步式上采樣被提出，比較典型的為L(zhǎng)apSRN，其網(wǎng)絡(luò)結(jié)構(gòu)為：
????????其主要包含兩個(gè)分支：特征提取分支（即上圖中上半部分）和圖像重建分支（即圖像中下半部分），其中特征提取分支包含多個(gè)不同分辨率層級(jí)，每一個(gè)層級(jí)使用多個(gè)卷積層來(lái)獲取非線性特征映射，最后加上反卷積層來(lái)提升圖像的分辨率；圖像重建分支則將輸入圖進(jìn)行上采樣后和相同分辨率大小的特征提取分支相加來(lái)得到下一級(jí)分辨率的輸出圖，直到得到最終的高分辨率結(jié)果圖。?
優(yōu)化目標(biāo)
????????早期的基于CNN模型的超分框架如SRCNN，ESPCN都使用圖像像素空間的歐式距離(即L2 loss，或者M(jìn)SE損失)作為優(yōu)化目標(biāo)，結(jié)果能取得較高的PSNR和SSIM指標(biāo)，但是存在結(jié)果過(guò)于平滑的問(wèn)題。
????????人眼對(duì)重建結(jié)果質(zhì)量的感知并不完全與這些指標(biāo)相符，比如MSE指標(biāo)較小并不能保證局部細(xì)節(jié)的清晰度，而較大的MSE指標(biāo)也并不等價(jià)于較差的結(jié)果，比如原圖偏移一個(gè)像素后與原圖的MSE值可能較大，但是視覺(jué)感知效果很接近。
????????CNN網(wǎng)絡(luò)的高層特征空間相比于原始的像素空間，具有較高的抽象層級(jí)，它使得原始圖像的特征與目標(biāo)圖像的特征差異可以反應(yīng)在語(yǔ)義級(jí)別，這非常符合人眼的主觀評(píng)估感受，研究者基于此提出了感知損失?；谔卣骺臻g計(jì)算的歐式距離被稱(chēng)為感知損失(perceptual loss)，令φ來(lái)表示網(wǎng)絡(luò)，j表示網(wǎng)絡(luò)的第j層，表示第j層的特征圖的大小，感知損失的定義如下；
參考資料：
?【計(jì)算攝影】圖像超分辨，深度學(xué)習(xí)核心技術(shù)與展望 - 知乎
圖像超分算法小合集二：FSRCNN、DRCN、RDN、EDSR_暖風(fēng)?的博客-CSDN博客_圖像超分算法文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-640119.html
ESPCN神經(jīng)網(wǎng)絡(luò)_uodgnez的博客-CSDN博客_espcn文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-640119.html
到了這里，關(guān)于計(jì)算攝影——圖像超分的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
