現(xiàn)有的主流圖像去噪研究成果學(xué)習(xí)筆記

簡(jiǎn)述

造成圖像退化的關(guān)鍵原因：大氣干擾、光線干擾、噪聲干擾、相機(jī)抖動(dòng)、時(shí)延拍攝。一副圖像由不同的圖像成分組成：平滑區(qū)域、邊緣和細(xì)節(jié)。為了獲得高質(zhì)量去噪結(jié)果的圖像，對(duì)同一特征圖的不同性質(zhì)像素點(diǎn)應(yīng)該進(jìn)行區(qū)別化的處理：對(duì)光滑的區(qū)域進(jìn)行更強(qiáng)的約束，對(duì)邊緣和細(xì)節(jié)區(qū)域盡可能保留有效地信息。所以在去除噪聲的同時(shí)更加傾向于保留細(xì)節(jié)和邊緣信息。優(yōu)秀的去噪網(wǎng)絡(luò)應(yīng)該針對(duì)不同的圖像區(qū)域應(yīng)用判別式的學(xué)習(xí)能力并進(jìn)行區(qū)別化去噪。

常見的噪聲類型：高斯白噪聲、椒鹽噪聲、泊松噪聲

現(xiàn)有的主要去噪方法：NLM（非局部模塊）、ResB（殘差塊）

NLM捕捉圖像全局信息，提升網(wǎng)絡(luò)的表達(dá)能力；

ResB保證網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性；

研究現(xiàn)狀：包含兩類傳統(tǒng)-基于建模最優(yōu)化的圖像去噪，深度學(xué)習(xí)去噪

各種常見去噪算法列舉

傳統(tǒng)-基于建模最優(yōu)化的圖像去噪

均值濾波、非均值濾波（NLMF）、小波收縮估計(jì)濾波器的去噪算法、經(jīng)驗(yàn)維納濾波方法、塊匹配 3D 濾波(BM3D)算法、

• 空間域?yàn)V波：在噪聲圖像基礎(chǔ)上直接運(yùn)算像素值，低通濾波、鄰域平均、中值濾波

• 變換域?yàn)V波：空間域-變換域去噪空間域，圖像在變換域噪聲數(shù)據(jù)會(huì)呈現(xiàn)一定特征，常見：傅里葉變換、沃爾什一哈達(dá)瑪變換、余弦變換、K-L變換、小波變換

深度學(xué)習(xí)去噪

CNN的方法突破了最優(yōu)化化方法的瓶頸，區(qū)域感知去噪（RAID）、高斯去噪器（DnCNN）、Noise2Noise、Noise2Void、Noise2Self、卷積盲去噪網(wǎng)絡(luò)（CBDNet）

變分法：全變分（TV），通過優(yōu)化能量函數(shù)進(jìn)行圖像的去噪。后續(xù)的TV公式優(yōu)化涉及到擴(kuò)散參數(shù)的選擇，擴(kuò)散參數(shù)是決定圖像去噪質(zhì)量的關(guān)鍵。p9

空間域?yàn)V波算法

• 中值濾波：脈沖噪聲的去噪效果好
• 加權(quán)中值濾波：對(duì)相似像素賦較大權(quán)重，差異大的像素賦小權(quán)重，最后加權(quán)平均
• 非均值濾波（NLMF）：遍歷整幅圖像的圖像塊，利用歐氏距離判定圖像塊與目標(biāo)圖像塊的相似度，根據(jù)相似度篩選出相似圖像塊進(jìn)行協(xié)助去噪

變換域?yàn)V波算法

• 小波變換：頻域去噪，對(duì)信號(hào)進(jìn)行分解剝離出噪聲，再進(jìn)行還原，對(duì)圖像中的低頻部分有較好的效果
• 維納濾波去噪
• BM3D：結(jié)合了空間域?yàn)V波和變換域?yàn)V波的優(yōu)點(diǎn)，它先汲取了 NLMF 中的計(jì)算相似塊的思想，然后又利用小波變換去噪法和維納濾波去噪方法，屬于多步驟去噪處理

深度學(xué)習(xí)去噪算法

• DnCNN

• CBDNet：提出全變差損失，在利用先驗(yàn)知識(shí)的同時(shí)，對(duì)損失項(xiàng)加入權(quán)重系數(shù)，這樣有利于對(duì)圖像進(jìn)行平滑性約束。

• Noise2Self：利用覆蓋(Mask)卷積核，遮蓋目標(biāo)像素值，通過網(wǎng)絡(luò)學(xué)習(xí)的方式利用周圍像素點(diǎn)對(duì)應(yīng)權(quán)重，加權(quán)表征目標(biāo)像素值

• RIDNet：對(duì)于真實(shí)噪聲去除一般去噪采用兩階段（噪聲估計(jì)-噪聲去除），RIDNet 采用一個(gè)模型僅一個(gè)階段的噪聲去除；RIDNet 是第一篇將通道注意力機(jī)制應(yīng)用于圖像去噪的文章

圖像去噪的評(píng)價(jià)指標(biāo)

• 主觀評(píng)價(jià)：肉眼觀察圖像清晰度、色彩飽和度、對(duì)比真實(shí)去噪圖像效果、去噪結(jié)果的平滑程度，實(shí)驗(yàn)人員分兩組：具有專業(yè)圖像處理知識(shí)的、不具備專業(yè)圖像處理知識(shí)的。

• 客觀評(píng)價(jià)：為了評(píng)估準(zhǔn)確性使用有參照?qǐng)D的方法進(jìn)行圖像質(zhì)量估計(jì)。評(píng)價(jià)指標(biāo)：均方誤差、信噪比、峰值信噪比、結(jié)構(gòu)相似性
  均方誤差(MSE)：計(jì)算噪聲圖像和純凈圖像之間每個(gè)像素點(diǎn)之間的均方差
  

  信噪比（SNR）：檢測(cè)計(jì)算圖像的常用參數(shù)，數(shù)值越大圖像質(zhì)量越高
  

  峰值信噪比（PSNR）：與圖像質(zhì)量呈正相關(guān)
  

  Y(i,j)修復(fù)圖像的像素
  IGT（i,j）真值圖像的像素
   H是長(zhǎng)度、W是寬度，SNR和PSNR均可反應(yīng)圖像清晰度，數(shù)值越高圖像質(zhì)量越高；
  

  結(jié)構(gòu)相似性（SSIM）：基于樣本Y和IGT的亮度、對(duì)比度和結(jié)構(gòu)進(jìn)行計(jì)算
  

數(shù)據(jù)集和實(shí)驗(yàn)結(jié)果分析

合成彩色數(shù)據(jù)集：CBSD68、Kodak24、Urban100、Set14

灰色數(shù)據(jù)集：Set12、BSD68 （CBSD68 的灰度版本）

真實(shí)噪聲圖像數(shù)據(jù)集：RNI15

利用CBSD68、Kodak24、Urban100 三個(gè)測(cè)試數(shù)據(jù)集，并采用了伯克利分割數(shù)據(jù)集(BSD500)作為訓(xùn)練集。在三種標(biāo)準(zhǔn)差噪聲水平：30、50、70 進(jìn)行測(cè)試。

名詞解釋

image denoising 圖像去噪

convolutional neural network 卷積神經(jīng)網(wǎng)絡(luò)

spatial attention mechanism 空間注意機(jī)制

• 通道注意力：注意力機(jī)制源于對(duì)人類視覺的研究。在認(rèn)知科學(xué)中，由于信息處理的瓶頸，人類會(huì)選擇性地關(guān)注所有信息中的一部分，同時(shí)忽略其他可見信息。為了合理利用有限的視覺信息處理資源，人類需要選擇視覺區(qū)域中的特定部分，然后重點(diǎn)關(guān)注它。
  注意力機(jī)制沒有嚴(yán)格的數(shù)學(xué)定義，例如傳統(tǒng)的局部圖像特征提取、滑動(dòng)窗口方法等都可以看作是一種注意力機(jī)制。在神經(jīng)網(wǎng)絡(luò)中，注意力機(jī)制通常是一個(gè)額外的神經(jīng)網(wǎng)絡(luò)，能夠硬性選擇輸入的某些部分，或者給輸入的不同部分分配不同的權(quán)重。注意力機(jī)制能夠從大量的信息中篩選出重要的信息。
  在神經(jīng)網(wǎng)絡(luò)中引入注意力機(jī)制有很多種方法，以卷積神經(jīng)網(wǎng)絡(luò)為例，可以在空間維度增加引入注意力機(jī)制，也可以在通道維度增加注意力機(jī)制（SE），當(dāng)然也有混合維度（CBAM）即空間維度和通道維度增加注意力機(jī)制。
  通道注意力機(jī)制最早來自 SENet它不僅可適用于圖像分割、圖像識(shí)別、圖像分類領(lǐng)域，還可以適用于圖像復(fù)原（圖像去模糊、圖像超分辨率重建、圖像去噪）等領(lǐng)域。通過一系列的池化和全連接運(yùn)算融合通道間的相關(guān)性，這樣對(duì)于圖像處理領(lǐng)域能夠較好地實(shí)現(xiàn)目標(biāo)并且保證圖像的特征不被破壞。在通道注意力機(jī)制出現(xiàn)后，基于空間的注意力機(jī)制也相繼出現(xiàn)，能夠更好的促進(jìn)網(wǎng)絡(luò)理解圖像通道、空間之間的相關(guān)性

特征圖：https://blog.csdn.net/MengYa_Dream/article/details/123705503

殘差塊：https://zhuanlan.zhihu.com/p/42706477

小波去噪算法：頻域去噪，對(duì)信號(hào)進(jìn)行分解剝離出噪聲，再進(jìn)行還原，對(duì)圖像中的低頻部分有較好的效果

維納濾波器：維納濾波是在頻域中處理圖像的一種算法，是一種非常經(jīng)典的圖像增強(qiáng)算法，不僅可以進(jìn)行圖像去噪聲，還可以應(yīng)用于圖像去模糊領(lǐng)域

梯度消失：網(wǎng)絡(luò)在加深的過程中，分布發(fā)生了偏移或者變化。DnCNN中使用批量標(biāo)準(zhǔn)化BN解決這一問題。

消融實(shí)驗(yàn)：設(shè)置對(duì)照組，通過在設(shè)計(jì)的系統(tǒng)中消除某一個(gè)模塊來證明該模塊的必要性，如果在該模塊被消除后整個(gè)系統(tǒng)的性能大幅下降或得到的結(jié)果較差就說明該模塊在系統(tǒng)中起到了作用。

消融研究對(duì)于深度學(xué)習(xí)研究至關(guān)重要。理解系統(tǒng)中的因果關(guān)系是產(chǎn)生可靠知識(shí)的最直接方式（任何研究的目標(biāo)）。
消融是一種非常省力的方式來研究因果關(guān)系。 如果您采用任何復(fù)雜的深度學(xué)習(xí)實(shí)驗(yàn)設(shè)置，您可能會(huì)刪除一些模塊（或用隨機(jī)的模塊替換一些訓(xùn)練有素的功能）而不會(huì)降低性能。
消除研究過程中的噪音：進(jìn)行消融研究。 如果您無法完全理解您的系統(tǒng)？很多活動(dòng)部件，想確定它的工作原因是否與您的假設(shè)密切相關(guān)？嘗試刪除東西。花費(fèi)至少約10％的實(shí)驗(yàn)時(shí)間來誠實(shí)地反駁你的論文。文章來源地址http://www.zghlxwxcb.cn/news/detail-475552.html

到了這里，關(guān)于【圖像去噪研究】現(xiàn)有的主流圖像去噪研究成果學(xué)習(xí)筆記的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！