All_in_One_Bad_Weather_Removal_Using_Architectural_Search
這篇論文發(fā)表于CVPR2020，提出一種可以應(yīng)對(duì)多種惡劣天氣的去噪模型，可以同時(shí)進(jìn)行去雨、去雪、去霧操作。但該部分代碼似乎沒(méi)有開(kāi)源。
提出的問(wèn)題：
當(dāng)下的模型只能針對(duì)一種惡劣天氣進(jìn)行處理，無(wú)法適用于多種復(fù)雜惡劣天氣
目前的去噪數(shù)據(jù)集都是人為制作的，與真實(shí)數(shù)據(jù)具有差異。
創(chuàng)新點(diǎn)1：多合一去噪模型
該方法整體結(jié)構(gòu)如下圖所示，其基于對(duì)抗神經(jīng)網(wǎng)絡(luò)模型進(jìn)行設(shè)計(jì)，包含一個(gè)生成器(Generator)與一個(gè)判別器(Discriminator)。于以往只能處理一種惡劣天氣噪聲不同，本文提出一種多合一去噪模型，可以同時(shí)完成去雨、去雪、去霧操作。
在生成器中，主要包含三個(gè)特征提取模塊（雨雪霧 FE，F(xiàn)eature Exactor)，一個(gè)特征選擇模塊(Feature Search)以及一個(gè)解碼器模塊（Decoder)，判別器則進(jìn)行判斷生成的圖像是否為真，并將結(jié)果返回到生成器，計(jì)算損失，并通過(guò)反向傳播更新生成器中的參數(shù)。
生成器含有多個(gè)任務(wù)的編碼器，每個(gè)編碼器與特定的惡劣天氣類型相關(guān)，通過(guò)神經(jīng)架構(gòu)搜索來(lái)優(yōu)化從各個(gè)編碼器中提取的圖像特征，并將這些特征轉(zhuǎn)換為干凈的圖像。即思路為：將含有雨雪霧的圖像輸入生成器，通過(guò)生成器中的編碼器（FE)進(jìn)行特征提取，將提取的特征通過(guò)神經(jīng)架構(gòu)搜索進(jìn)行優(yōu)化，選取好的特征信息，將提取的特征信息送入解碼器生成干凈圖像，即完成去噪過(guò)程。
生成器模塊
多個(gè)編碼器，用于提取不同惡劣天氣圖像的干凈特征，從而進(jìn)行恢復(fù)，生成干凈圖像。
創(chuàng)新點(diǎn)2：Feature Search模塊
神經(jīng)架構(gòu)查詢實(shí)際是找到干凈的特征，將干凈的特征轉(zhuǎn)換為干凈的圖像。
可以看到，F(xiàn)eatureSearch模塊中除了常規(guī)的卷積操作外，還有殘差連接，自注意力機(jī)制等。
常規(guī)的去霧、去霾模型定義如下：
也可以表示如下：通過(guò)1x1卷積來(lái)提取學(xué)習(xí)M，從而估計(jì)M，實(shí)現(xiàn)的操作如4.1所示。
創(chuàng)新點(diǎn)3：多類輔助判別器
基于生成對(duì)抗網(wǎng)絡(luò)（GNN)的判別器通過(guò)訓(xùn)練來(lái)判斷恢復(fù)圖像效果（即判斷生成的圖像真實(shí)性），但其不提供錯(cuò)誤信號(hào)，對(duì)于多合一模型而言，只知道真假是遠(yuǎn)遠(yuǎn)不夠的，需要直到生成的圖像類型，從而使編碼器根據(jù)不同類型更新參數(shù)，因此提出多類輔助判別器，用于對(duì)圖像進(jìn)行分類，從而在反向傳播判別損失時(shí)，只更新對(duì)應(yīng)判別器的參數(shù)。
具體思路
霧霾圖像建模
其中，I(x)為有霧圖像，更具體的，I(x)是在位置x的雨圖像，J(x)為觀察目標(biāo)反射光，即去霧后的圖像，A為大氣光系數(shù)，t(x)為大氣透射率，t(x)= e^-βd(x)，其中，d(x) 為場(chǎng)景深度圖，β 為大氣光散射系數(shù)。由公式（1）式可以清晰知道，只要求得 t(x) 和 A ，便可以從有霧圖像 I(x) 恢復(fù)無(wú)霧圖像 J(x) 。
而含雨圖像與含霧圖像的物理模型極為相似，故可以定義為：
其中，Ri代表第 i 層的雨線。
雨水圖像建模
其中I(x)是彩色雨滴圖像，M(x)是二值圖像掩膜。J(x)是背景圖像，即干凈圖像，K是圖像所帶來(lái)的附著的雨滴，代表著模糊的影像形成光線反射的環(huán)境。
雪花圖像建模
其中S表示雪花，z是二元掩模，表示雪的位置。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-650940.html
根據(jù)上面的物理模型公式可知，不同惡劣天氣噪聲圖像定義是不同的，這也是為何原本的模型都是一個(gè)模型處理一種惡劣天氣噪聲的原因，但根據(jù)公式我們也可以看到其內(nèi)在聯(lián)系，可以將惡劣天氣噪聲圖像模型定義如下：
文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-650940.html
到了這里，關(guān)于圖像去雨、去雪、去霧論文學(xué)習(xí)記錄的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
![[Python從零到壹] 七十三.圖像識(shí)別及經(jīng)典案例篇之圖像去霧ACE算法和暗通道先驗(yàn)去霧算法實(shí)現(xiàn)](https://imgs.yssmx.com/Uploads/2024/01/799289-1.png)
