文章來源地址http://www.zghlxwxcb.cn/news/detail-787953.html
- 中科大、西安交大、南開大學(xué)發(fā)表在ICCV2023的論文，作者里有李重儀老師和中科大的Jie Huang（ECCV2022的FEC CVPR2022的ENC和CVPR2023的ERL的一作）喔，看來可能是和Jie Huang同一個(gè)課題組的，而且同樣代碼是開源的，我很喜歡。
- 文章利用了MAE的encoder來做一些事情，提出了一個(gè)叫customized unfolding enhancer （CUE）的方法。從MAE中學(xué)了illumination prior 和noise prior兩個(gè)先驗(yàn)，用到了retinex模型中。流程如下圖所示：
- 文章用的是如下的常規(guī)retinex公式：
- 目標(biāo)是最小化如下表達(dá)式：
- 把限制項(xiàng)（2b）放到優(yōu)化式中（拉格朗日），得到如下表達(dá)式：
- 用循環(huán)的方式來優(yōu)化這個(gè)目標(biāo)函數(shù)，其中L的優(yōu)化目標(biāo)如下：
- 用近端梯度下降法從
L
k
L_k
Lk?推導(dǎo)出
L
k
+
1
L_{k+1}
Lk+1?：
- 其中
p
r
o
x
β
ρ
2
prox_{\beta\rho_2}
proxβρ2??是對(duì)先驗(yàn)約束
β
ρ
2
\beta\rho_2
βρ2?的近端梯度下降算子，一般用一個(gè)網(wǎng)絡(luò)來擬合。本文用的是如下網(wǎng)絡(luò)。所以說利用MAE，其實(shí)就是利用MAE的方法來訓(xùn)練一個(gè)encoder來提取特征。文章用cnn做一個(gè)encoder decoder的網(wǎng)絡(luò)，然后將輸入圖像用隨機(jī)gamma校正進(jìn)行數(shù)據(jù)增強(qiáng)后用三通道的max提取illumination maps后切分為不重疊的patch，隨機(jī)mask掉一些patch，訓(xùn)練一個(gè)對(duì)illumination的inpainting模型，丟掉decoder，剩下的encoder用來放到下圖的網(wǎng)絡(luò)結(jié)構(gòu)中。其實(shí)這樣搞已經(jīng)和MAE沒多大關(guān)系了，沒有注意力的MAE就是個(gè)普通的inpainting模型，所以這里其實(shí)只是用illumination inpainting任務(wù)預(yù)訓(xùn)練了一個(gè)encoder而已：
- R模塊用的是類似的公式，只是網(wǎng)絡(luò)就簡(jiǎn)單的得多，兩層卷積加一層relu：
- N模塊也是兩層卷積加一層relu：
- 后面就是對(duì)估計(jì)出來的L進(jìn)行增強(qiáng)，和KinD一樣，訓(xùn)練的時(shí)候先用GT的L的均值除以暗圖的L的均值得出一個(gè) ε \varepsilon εconcatenate到L中（測(cè)試則直接指定一個(gè)預(yù)設(shè)值），進(jìn)一個(gè)unet預(yù)測(cè)增亮后的L，同時(shí)也要把L R N都送進(jìn)另一個(gè)unet預(yù)測(cè)修復(fù)后的R。修復(fù)后的R和增強(qiáng)后的L相乘得到增強(qiáng)結(jié)果I。
- 損失函數(shù)分為三部分，一部分是前面的retinex 分解的損失，一部分是增強(qiáng)修復(fù)網(wǎng)絡(luò)的損失，還有一部分就是文章第二處用到MAE的noise prior損失。
- retinex分解損失有三個(gè)都是常見的，如暗圖和亮圖的R的距離，以及L的平滑損失，還有R和L相乘等于原圖的重建損失。但有一個(gè)mutual consistency 損失好像不怎么見到，說是可以在亮度層中保留比較強(qiáng)的邊緣而消除比較弱的邊緣
- 增強(qiáng)損失如下，也是比較常見：
- 第三部分的損失有點(diǎn)像perceptual loss，就是用一個(gè)MAE的encoder去求增強(qiáng)結(jié)果和GT的特征算距離，其中MAE的訓(xùn)練也是自己設(shè)計(jì)的，如下：
- 實(shí)驗(yàn)結(jié)果如下，也就一般，而且你一個(gè)有監(jiān)督方法和一堆無監(jiān)督方法比PSNR就不太正常了吧 ：
- 評(píng)價(jià)：看起來給人的感覺就是一篇?jiǎng)訖C(jī)僅僅是為了和MAE結(jié)合做一個(gè)暗圖增強(qiáng)的工作發(fā)一篇論文。個(gè)人觀點(diǎn)是，做研究應(yīng)該是發(fā)現(xiàn)問題解決問題，這篇文章看起來就像是蹭熱度發(fā)論文。感覺就是大老板一拍腦袋說，最近MAE挺火，xxx你去結(jié)合MAE做一個(gè)暗圖增強(qiáng)模型來。然后xxx kuakua一頓搞勉強(qiáng)拼出來一個(gè)模型，實(shí)驗(yàn)結(jié)果也不是很好，就找一堆無監(jiān)督方法比一比，發(fā)了篇論文出來。感覺MAE的部分用得就很不自然，和一堆無監(jiān)督方法比PSNR更是奇怪。唉，怎么ICCV這么多這樣的論文。
文章來源：http://www.zghlxwxcb.cn/news/detail-787953.html
到了這里，關(guān)于Empowering Low-Light Image Enhancer through Customized Learnable Priors 論文閱讀筆記的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
