Title: Efficient and Explicit Modelling of Image Hierarchies for Image Restoration

PDF: https://arxiv.org/pdf/2303.00748

Code: https://github.com/ofsoundof/GRL-Image-Restoration.git

導(dǎo)讀

全局，區(qū)域和局部范圍的特征可以很好地被神經(jīng)網(wǎng)絡(luò)用于圖像恢復(fù)任務(wù)，本文提出了一種基于錨點Anchored的條紋自注意力機制用于實現(xiàn)全局范圍依賴性建模，它在自注意力的空間和時間復(fù)雜度以及超越區(qū)域范圍的建模能力之間取得了良好的平衡；其次提出了一種新的Transformer網(wǎng)絡(luò)GRL，通過基于錨點的條紋自注意力機制，窗口自注意力和通道注意力，明確地模擬了全局、區(qū)域和局部范圍內(nèi)的圖像層次結(jié)構(gòu)特征。最后將提出的網(wǎng)絡(luò)應(yīng)用于七種圖像恢復(fù)任務(wù)中，都達到了最先進的結(jié)果！

引言

::: block-1

圖1. 局部特征（邊緣、顏色）和區(qū)域特征（粉色框處）可以很好地由卷積神經(jīng)網(wǎng)絡(luò)（CNN）和窗口自注意力進行建模。但相比之下，全局特征（青色矩形處）難以有效且明確地進行特征建模。
:::

圖像恢復(fù)旨在從低質(zhì)量圖像恢復(fù)出高質(zhì)量圖像，這些低質(zhì)量圖像通常是由于圖像退化過程（如模糊、降采樣、噪聲引入和JPEG壓縮）導(dǎo)致的。因為在圖像退化過程中，其重要內(nèi)容信息缺失，所以圖像恢復(fù)是一個具有挑戰(zhàn)性的逆過程。因此為了恢復(fù)高質(zhì)量圖像，應(yīng)該充分利用退化圖像中展現(xiàn)出的豐富信息。

自然圖像包含全局、區(qū)域和局部范圍內(nèi)的一系列特征，這些特征可以被深度神經(jīng)網(wǎng)絡(luò)用于圖像恢復(fù)。 局部特征通常是一些邊緣和顏色特征，由于其只跨度幾個像素，所以可以使用小卷積核（例如3 x 3）進行建模捕獲；對于區(qū)域特征，其通?？缍葦?shù)十個像素，這一窗口區(qū)域特征通?？梢愿采w一些小物體和大物體的某個部分（如上圖1的粉色框），由于區(qū)域特征范圍更大，因此可選擇使用大卷積核進行建模，但其參數(shù)量和計算量未免過大且低效，因此帶有窗口注意力機制的Transformer會是更好的選擇；除了局部和區(qū)域特征之外，某些特征具有全局跨度性（圖1中的青色矩形）：主要體現(xiàn)在對稱性和多尺度模式重復(fù)性（圖1a），同一尺度的紋理相似性（圖1b），以及大物體內(nèi)容結(jié)構(gòu)相似性和一致性（圖1c），為了建模處理這個范圍的特征，需要網(wǎng)絡(luò)具備全局圖像理解的能力。

上面提到的局部和區(qū)域范圍特征可以很好的建模捕獲，但全局特征的建模存在兩個主要的挑戰(zhàn)：

• 首先，現(xiàn)有的基于卷積和窗口注意力的圖像恢復(fù)網(wǎng)絡(luò)不能通過使用單個計算模塊來明確捕獲長距離依賴關(guān)系，因此全局圖像理解主要通過將特征通過重復(fù)的計算模塊進行逐步傳播來實現(xiàn)。
• 其次，當(dāng)圖像的分辨率不斷提高，長距離依賴建模面臨計算負(fù)擔(dān)的挑戰(zhàn)。

上述討論引出了一系列研究問題：

• 如何高效地在高維圖像中對全局范圍特征進行建模以進行圖像恢復(fù)？
• 如何通過單個計算模塊明確地建模圖像層次結(jié)構(gòu)信息（局部、區(qū)域、全局），以進行高維圖像恢復(fù)？
• 這種聯(lián)合建模如何能夠在不同的圖像恢復(fù)任務(wù)中帶來統(tǒng)一的性能改進？

為此，本文圍繞以上三個研究問題，逐一提出解決方案：

首先，本文提出了一種基于錨點的條紋自注意力機制用于實現(xiàn)全局范圍依賴性建模；其次，提出了一種新的Transformer網(wǎng)絡(luò)GRL用于在單個計算模塊中明確地模擬全局，區(qū)域和局部范圍的依賴關(guān)系；最后，所提出的GRL網(wǎng)絡(luò)在七類圖像恢復(fù)任務(wù)中（圖像超分，去噪，JPEG壓縮偽影去除，去馬賽克，真實圖像超分，單圖運動去模糊，散焦去模糊）全部表現(xiàn)SOTA！如下圖2所示：

::: block-1

圖2. 所提出的GRL網(wǎng)絡(luò)在各種圖像恢復(fù)任務(wù)中都實現(xiàn)了最先進的結(jié)果
:::

方法

::: block-1

圖3. 上圖（a）展示了所提出的GRL網(wǎng)絡(luò)架構(gòu)圖，它由多個Transformer Layer組成。上圖（b）展示了Transformer Layer計算模塊，它由三個子模塊組成并用于建模全局，區(qū)域和局部圖像結(jié)構(gòu)特征，其中基于錨點的條紋自注意力機制Anchored Stripe Attention用于建模全局圖像結(jié)構(gòu)特征，基于窗口的自注意力機制Window Attention V2用于建模區(qū)域特征，而兩個串聯(lián)的3 x 3卷積再接一個通道注意力Channel Attention可用于建模出高效的局部特征。 上圖（c） 展示了基于錨點的條紋自注意力機制結(jié)構(gòu)圖，該注意力機制可以幫助網(wǎng)絡(luò)捕獲超越區(qū)域范圍（全局）的圖像結(jié)構(gòu)特征。
:::

Transformer自注意力機制架構(gòu)雖然可以很好的建模出長遠(yuǎn)距離依賴關(guān)系并以此捕獲全局特征信息，但圖像tokens數(shù)量眾多導(dǎo)致計算量巨大。為了降低計算復(fù)雜度，所以可以在窗口區(qū)域進行自注意力，但該類基于窗口的自注意力機制受限于窗口大小，僅能捕獲基于窗口區(qū)域的上下文特征信息。那么這就引出一個問題：如何在低計算量情況下，建模出超出窗口區(qū)域范圍的特征呢？

::: block-1

圖4. 上圖（a）和（b）是來自兩個不同分辨率的相同圖片，（a）中藍色的像素點和（b）中紅色的像素點都取自相同的一個位置。圖（c）表示了藍色像素點和其它像素點的注意力圖；圖（d）表示了紅色像素點和其它像素點的注意力圖。我們可以發(fā)現(xiàn)：圖（c）和圖（d）注意力圖是非常相近的，這就是本文所說的跨尺度相似性。
:::

作者通過如上圖4發(fā)現(xiàn)了跨尺度相似性原理，于是作者想到了一個辦法：通過對具有小分辨率的圖像進行自注意力（小分辨率圖像具有更少的tokens）來達到大分辨率圖像進行自注意力的效果（基于跨尺度相似性原理），這就大大降低了計算量，而又可以有效建模出超越窗口區(qū)域范圍的特征（全局特征）。

為了進一步降低計算量，作者發(fā)現(xiàn)了自然圖像另一個重要的特性：自然圖像的特征通常以非各向同性的方式出現(xiàn)，如上圖5所示，圖5?和(d)中的單個物體、圖5(h)中的多尺度相似性、圖5(e)和(g)中的對稱性等。因此，全局范圍的各向同性注意力對于捕捉非各向同性圖像特征是多余的。基于此，文章提出了在非各向同性條紋內(nèi)進行注意力處理的方法，該注意力機制包括四種模式：水平條紋、垂直條紋、平移水平條紋和平移垂直條紋。水平和垂直條紋的注意力機制可以在Transformer網(wǎng)絡(luò)中交替使用。通過這種注意力方式，可以在保持全局范圍建模能力的同時，降低全局自注意力計算的復(fù)雜度。

因此，再結(jié)合錨點的概念，提出了錨定條紋自注意力。對于這種注意力機制，利用引入的錨點在垂直和水平條紋內(nèi)進行高效自注意力計算。

實驗結(jié)果

結(jié)論

本文受到兩個圖像屬性的啟發(fā)：跨尺度相似性和各向異性圖像特征，從而提出了一種高效的錨定條紋自注意力模塊，用于建模圖像的長遠(yuǎn)距離依賴關(guān)系。以此進一步提出了一種多功能網(wǎng)絡(luò)架構(gòu)GRL用于圖像恢復(fù)任務(wù)，該網(wǎng)絡(luò)可以有效的建模出全局，區(qū)域和局部范圍的距離依賴關(guān)系，具備低計算量的同時，還在各大圖像恢復(fù)任務(wù)中取得了最先進的結(jié)果。

寫在最后

如果您也對人工智能和計算機視覺全棧領(lǐng)域感興趣，強烈推薦您關(guān)注有料、有趣、有愛的公眾號『CVHub』，每日為大家?guī)砭吩瓌?chuàng)、多領(lǐng)域、有深度的前沿科技論文解讀及工業(yè)成熟解決方案！

同時歡迎添加小編微信: cv_huber，備注CSDN，加入官方學(xué)術(shù)|技術(shù)|招聘交流群，一起探討更多有趣的話題！文章來源地址http://www.zghlxwxcb.cn/news/detail-443713.html

到了這里，關(guān)于CVPR2023 即插即用系列 | 一種高效輕量的自注意力機制助力圖像恢復(fù)網(wǎng)絡(luò)問鼎SOTA！的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！