【論文介紹】
EnlightenGan是第一個成功地將非配對訓(xùn)練引入微光圖像增強(qiáng)的工作。?
【題目】：EnlightenGAN: Deep Light Enhancement Without Paired Supervision
【DOI】：10.1109/TIP.2021.3051462
【時間】：2019-06-17上傳于arxiv
【會議】：2019 IEEE Transactions on Image Processing（TIP）
【機(jī)構(gòu)】：美國-得克薩斯大學(xué)（University of Texas System）
【論文鏈接】：https://arxiv.org/abs/1906.06972
【代碼鏈接】：https://github.com/VITA-Group/EnlightenGAN【提出問題】
基于深度學(xué)習(xí)的方法在圖像恢復(fù)和增強(qiáng)方面取得了顯著的成功，但是在缺乏配對訓(xùn)練數(shù)據(jù)的情況下它們?nèi)匀痪哂懈偁幜幔?
【解決方案】
使用從輸入本身提取的信息來規(guī)范非配對訓(xùn)練，而不是使用ground truth數(shù)據(jù)監(jiān)督學(xué)習(xí)，提出了一個高效的無監(jiān)督生成對抗網(wǎng)絡(luò)，稱為 EnlightenGAN，可以在沒有低光/正常光圖像對的情況下進(jìn)行訓(xùn)練，可用于增強(qiáng)來自不同領(lǐng)域的真實世界低光圖像。
【創(chuàng)新點】
- 無監(jiān)督：EnlightenGan是第一個成功地將非配對訓(xùn)練引入微光圖像增強(qiáng)的工作。
- 全局-局部鑒別器：除了全局改善光照之外，自適應(yīng)地增強(qiáng)局部區(qū)域。
- 自正則化的思想：由自特征保持損失和自正則化注意力機(jī)制共同實現(xiàn)。
【EnlightenGAN網(wǎng)絡(luò)構(gòu)架】
- 采用自調(diào)整注意力引導(dǎo)的 U-Net 作為生成器。
- 使用雙判別器來引導(dǎo)全局和局部信息。
- 使用自特征保留損失來指導(dǎo)訓(xùn)練過程并保持紋理和結(jié)構(gòu)。
- 利用低光輸入的照度信息作為深度特征每一層的自規(guī)則化注意圖來規(guī)范無監(jiān)督學(xué)習(xí)。
1、自調(diào)整注意力引導(dǎo)的U-Net生成器?
- 取輸入RGB圖像的照明通道 I，將其歸一化為[0,1]，然后使用1-I（元素差異）作為自正則化 attention map。
- 然后，resize attention map 的大小以適應(yīng)每個 feature map，并將其與所有中間 feature map 以及輸出圖像相乘。
- 每個卷積塊有兩個3×3卷積層，然后是 BN 和 Leakyrelu。
- 在上采樣階段，用一個雙線性上采樣層和一個卷積層代替標(biāo)準(zhǔn)的反卷積層，以減輕偽影。
U-Net通過提取不同深度層的多層次特征，保留了豐富的紋理信息，并利用多尺度上下文信息合成高質(zhì)量的圖像。
【論文筆記】—圖像分割—U-Net—2015-MICCAI_chaikeya的博客-CSDN博客
2、全局-局部判別器
動機(jī)：采用對抗性損失來最小化真實和輸出正常光分布之間的距離。
問題：圖像級普通鑒別器在空間變化的光圖像上經(jīng)常失敗。如果輸入圖像有一些局部區(qū)域需要與其他部分不同地增強(qiáng)，例如，整體黑暗背景中的小亮區(qū)域，單獨的全局圖像鑒別器通常無法提供所需的自適應(yīng)性。
解決方案：受先前工作 [37] 的啟發(fā)，除了全局改善光照之外，為了自適應(yīng)地增強(qiáng)局部區(qū)域，提出了一種新穎的全局-局部鑒別器結(jié)構(gòu)，兩者都使用 PatchGAN 進(jìn)行真假鑒別。
局部判別器：從輸出和真實正常光圖像中隨機(jī)裁剪局部塊，并學(xué)習(xí)區(qū)分它們是真實的（來自真實圖像）還是假的（來自增強(qiáng)的輸出）
全局鑒別器：利用最近提出的相對論鑒別器結(jié)構(gòu)[38]，它估計真實數(shù)據(jù)比假數(shù)據(jù)更真實的概率，并指導(dǎo)生成器合成比真實圖像更真實的假圖像。 相對論判別器的標(biāo)準(zhǔn)函數(shù)是：
【損失函數(shù)】?
1、對抗損失?
采用對抗性損失來最小化真實和輸出正常光分布之間的距離。?
其中D表示鑒別器的網(wǎng)絡(luò)，xr和xf分別從真假分布中采樣，σ 表示sigmoid函數(shù)。我們稍微修改相對論鑒別器，用最小二乘GAN (LSGAN) [39] 損失代替sigmoid函數(shù)。最后，全局鑒別器D和生成器G的損失函數(shù)為:
?對于局部鑒別器，每次從輸出和真實圖像中隨機(jī)裁剪 5 個patch。 這里采用原始的 LSGAN 作為對抗性損失，如下：
2、自特征保留損失
自規(guī)范化對我們的模型成功至關(guān)重要，因為沒有強(qiáng)大的外部監(jiān)督形式可用的非配對設(shè)置。
感知損失：
為了限制感知相似性，Johnson等人[40]通過采用預(yù)先訓(xùn)練的VGG來建模圖像之間的特征空間距離，提出了感知損失，這被廣泛應(yīng)用于許多低級視覺任務(wù)[28]，[41]。通常的做法是限制輸出圖像與其真實圖像之間的提取特征距離。?
在未配對設(shè)置中限制輸入低光與其增強(qiáng)的正常光輸出之間的 VGG 特征距離。并稱其為自特征保留損失，以強(qiáng)調(diào)其自正則化效用，在增強(qiáng)前后將圖像內(nèi)容特征保留給自身，自特征保持損失 LSFP 定義為：
其中 I^L 表示輸入低光圖像，G(I^L) 表示生成器的增強(qiáng)輸出。φi,j 表示從在 ImageNet 上預(yù)訓(xùn)練的 VGG-16 模型中提取的特征圖。i 代表它的第 i 個最大池化，j 代表它在第 i 個最大池化層之后的第 j 個卷積層。Wi,j 和 Hi,j 是提取的特征圖的維度。 默認(rèn)情況下，i = 5，j = 1。?
3、總損失?
對于局部鑒別器，來自輸入和輸出圖像的裁剪的局部塊也通過類似定義的自特征保持損失Llocal SFP來正則化。此外，在輸入LSFP和LLocal SFP之前，在VGG特征圖之后添加了一個實例歸一化層[43]，以穩(wěn)定訓(xùn)練。因此，訓(xùn)練啟發(fā)的總損失函數(shù)寫為：?
【數(shù)據(jù)集】
訓(xùn)練集：從 [47], [5] and also HDR sources [15], [25], 中發(fā)布的幾個數(shù)據(jù)集中組裝了 914 個低光和 1016 個正常光圖像的混合圖像，無需保留任何一對。手動檢查和選擇執(zhí)行以去除中等亮度的圖像。所有這些照片都轉(zhuǎn)換為 PNG 格式并調(diào)整為 600×400 像素。
[47] Raise數(shù)據(jù)集 paper?，[5] LOL數(shù)據(jù)集 paper，[15]?HDR sources?paper，[25] SICE數(shù)據(jù)集 paper
低照度圖像數(shù)據(jù)集_chaikeya的博客-CSDN博客
測試集：選擇以前工作中使用的那些標(biāo)準(zhǔn)圖像（NPE [19], LIME [21], MEF [48], DICM [49], VV, 2 etc.）。
【實驗結(jié)果】
1、定量分析
表1：在整個測試集（All）和每個子集（MEF、LIME、NPE、VV、DICM）上的 NIQE 得分。 較小的 NIQE 表示較高的整體自然度。?
2、定性分析?
圖1：EnlightenGAN增強(qiáng)效果：從左到右：列1、3和5是低光輸入圖像；而第2、4、6列及其相應(yīng)的增強(qiáng)圖像。?
圖3：消融實驗?
圖4：與其他先進(jìn)方法比較文章來源：http://www.zghlxwxcb.cn/news/detail-468358.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-468358.html
到了這里，關(guān)于【論文筆記】—低照度圖像增強(qiáng)—Unsupervised—EnlightenGAN—2019-TIP的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
