DIVFusion: Darkness-free infrared and visible image fusion

（DIVFusion：無暗區(qū)紅外與可見光圖像融合）

紅外與可見光圖像融合是一種重要的圖像增強技術，其目的是在極端環(huán)境下生成目標顯著、紋理豐富的高質(zhì)量融合圖像。然而，現(xiàn)有的圖像融合方法都是針對正常光照條件下的紅外和可見光圖像而設計的。在夜景場景中，由于可見光圖像嚴重退化，現(xiàn)有方法存在紋理細節(jié)弱、視覺感知差等問題，影響后續(xù)的視覺應用。為此，提出了一種無暗度的紅外與可見光圖像融合方法（DIVFusion），該方法合理地照亮了暗度，有利于互補信息的融合。為了提高夜間可見光圖像的融合質(zhì)量，首先設計了一種場景亮度解糾纏網(wǎng)絡（scene-illumination disentangled network (SIDNet)），在保留源圖像信息特征的同時，去除夜間可見光圖像的光照退化。然后，設計了一種紋理-對比度增強融合網(wǎng)絡**（texture–contrast enhancement fusion network(TCEFNet)）**，用于融合互補信息，增強融合特征的對比度和紋理細節(jié)。此外，色彩一致性損失被設計來減輕來自增強和融合的色彩失真。最后，充分考慮了弱光圖像增強與圖像融合之間的內(nèi)在聯(lián)系，實現(xiàn)了兩者的有效耦合和互補。該方法能夠以端到端的方式生成具有真實的色彩和顯著對比度的融合圖像。

介紹

由于技術限制和拍攝環(huán)境的影響，由同一設備捕獲的單個圖像往往不能提供整個場景的全面描述。因此，圖像融合技術應運而生，它可以從不同的源圖像中提取最有意義的信息，并將其融合成融合圖像。融合圖像通常包含更豐富的信息并促進后續(xù)應用。在圖像融合領域，紅外與可見光圖像融合是應用最廣泛的圖像融合技術。可見光圖像包含豐富的紋理信息，更適應視覺感知。通過獲取豐富的熱輻射信息，紅外圖像可以突出車輛、行人等重要目標，即使在弱光或其它極端惡劣的環(huán)境中。因此，紅外與可見光圖像融合不僅可以減少數(shù)據(jù)冗余，而且可以生成對比度顯著、紋理細節(jié)豐富的高質(zhì)量圖像。由于這些優(yōu)點，紅外與可見光圖像融合技術在軍事監(jiān)視、目標檢測、車輛導航等方面具有良好的應用前景。

到目前為止，已經(jīng)提出了相當多的紅外和可見光圖像融合方法，這些方法可以分為兩大類：傳統(tǒng)方法和基于深度學習的方法。傳統(tǒng)的方法通常包括以下三個步驟。首先，利用特定的變換從源圖像中提取特征，這是特征提取階段。然后在特征融合階段采用一定的融合策略對這些特征進行融合。最后，在特征重構(gòu)階段，根據(jù)相應的逆變換，由合并后的特征重構(gòu)融合圖像。根據(jù)所應用的數(shù)學變換，傳統(tǒng)的紅外和可見光圖像融合方法可以進一步分為五類，包括基于多尺度變換、基于稀疏表示、基于顯著性、基于子空間和基于混合的方法。

深度學習的興起為紅外和可見光圖像融合提供了更多的可能性，基于深度學習的方法通常可以獲得比傳統(tǒng)方法更理想的性能?；谏疃葘W習的方法根據(jù)網(wǎng)絡架構(gòu)可以進一步分為三類：基于CNN的方法、基于AE的方法和基于GAN的方法?；谏窠?jīng)網(wǎng)絡的方法可以通過精心設計的網(wǎng)絡結(jié)構(gòu)和損失函數(shù)實現(xiàn)特征提取、特征融合和特征重構(gòu)，并獲得獨特的融合結(jié)果。與基于神經(jīng)網(wǎng)絡的方法不同，基于AE的方法利用自動編碼器完成特征提取和特征重構(gòu)，而特征融合則通過特定的融合策略完成?；谏窠?jīng)網(wǎng)絡的方法將生成對抗機制引入到紅外與可見光圖像融合領域?；贕AN的融合方法包括生成器和鑒別器。具體地說，鑒別器用于約束由生成器生成的融合結(jié)果的分布，使其盡可能接近源圖像，而無需監(jiān)督。

現(xiàn)有的基于深度學習的方法雖然能夠有效地融合可見光和紅外圖像中的重要和互補信息，但仍存在一些需要解決的問題。
首先，現(xiàn)有的方法都是針對正常光照條件設計的，從而忽略了夜間可見光圖像中光照退化的困難。在低光照條件下，現(xiàn)有的融合方法僅利用紅外信息來彌補可見光圖像光照退化造成的場景缺陷。因此，夜間可見光圖像中豐富的場景信息無法在融合圖像中表達，偏離了紅外與可見光圖像融合任務的初衷。
其次，直觀的解決方案是使用先進的弱光增強算法對可見光圖像進行預增強，然后通過融合方法對源圖像進行合并。然而，將圖像增強和圖像融合作為單獨的任務來處理常常會導致不兼容的問題，從而導致如圖1（c）所示的較差的融合結(jié)果。具體地，由于夜景的弱光，夜間可見光圖像具有輕微的顏色失真。弱光增強算法改變了光源的顏色分布，并在一定程度上進一步放大了整個圖像中的顏色失真。此外，在融合過程中，由于Y通道應用的融合策略改變了源圖像的飽和度分布，融合圖像也會出現(xiàn)顏色失真，如圖1（b）和（c）所示。

為了解決紅外和可見光圖像融合中的上述挑戰(zhàn)，我們通過在網(wǎng)絡中耦合視覺增強和圖像融合技術來實現(xiàn)增強任務對融合任務的促進。為了獲得具有良好視覺感知的信息融合圖像，該方法的關鍵是在很大程度上消除兩個任務之間的不相容性。為此，本文首先將通道注意機制與Retinex理論相結(jié)合，設計了一個場景亮度解糾纏網(wǎng)絡（SIDNet）。具體地說，考慮到增強和融合任務的耦合，在特征級應用Retinex理論從混合特征中去除退化光照，同時生成增強的可見光圖像和紅外圖像的特征。其次，設計了一個紋理-對比度增強融合網(wǎng)絡（TCEFNet），該網(wǎng)絡包含梯度保持模塊（GRM）和對比度增強模塊（CEM），實現(xiàn)了特征融合和特征增強。GRM通過一階和二階梯度殘差流最大化特征梯度提取。CEM考慮多尺度深度特征，并結(jié)合注意機制實現(xiàn)特征級對比度增強。此外，我們提出了一種顏色一致性損失的方法，以保留更多的可見信息，同時減輕顏色失真。具體地說，我們基于可見光圖像的RGB顏色空間構(gòu)造了一個角度損失，可以有效地減少夜間弱光對顏色信息的破壞。

貢獻

1）提出了一種新的視覺增強的紅外和可見光圖像融合框架，以增強視覺感知并融合互補信息，特別是在極低光照條件下。
2）設計了一種場景亮度解糾纏網(wǎng)絡（SIDNet），用于剝離退化的光照特征，增強兩種模態(tài)的獨特特征，實現(xiàn)視覺增強。構(gòu)造了紋理-對比度增強融合網(wǎng)絡，在增強對比度的同時增強紋理，實現(xiàn)了互補信息的有效融合。
3）為了保證融合圖像的視覺質(zhì)量，我們設計了一種顏色一致性損失函數(shù)，它可以減少融合圖像中的顏色失真，并將更多的可見域信息注入到融合圖像中。
4）我們的融合結(jié)果具有更明亮的場景和更高的對比度，沒有顏色失真，同時從源圖像中獲得互補信息，如圖1（d）所示。行人檢測實驗證明了我們的結(jié)果在高級視覺任務中的促進作用。

相關工作

Deep learning-based fusion methods

Fusion methods based on CNN

基于卷積神經(jīng)網(wǎng)絡（CNN）的紅外與可見光圖像融合算法利用復雜的損失函數(shù)和網(wǎng)絡結(jié)構(gòu)實現(xiàn)特征提取、聚合和圖像重構(gòu)。PMGI是基于CNN的代表性工作，其設計了損失中的梯度和強度比，以引導網(wǎng)絡直接生成最終的融合圖像。但是，通過手動調(diào)整改變了梯度信息的保留，這造成了紋理結(jié)構(gòu)的一些損失。上述問題在以后的版本中得到了改進，即，SDNet。為了在很大程度上將紅外圖像的對比度信息注入到融合圖像中，在STDFusionNet中利用顯著目標掩模來輔助融合任務?？紤]到多尺度特征在融合過程中的優(yōu)勢，RXDNFuse結(jié)合了ResNet和DenseNet的結(jié)構(gòu)優(yōu)勢，更全面地提取不同層次的特征，實現(xiàn)有效的融合。為了完成不同分辨率下的融合任務，Li等人利用元學習的優(yōu)勢，僅部署一個CNN模型就完成了紅外和可見光圖像的融合，大大擴展了融合模型的應用范圍。為了更好地將融合任務與高級視覺任務相結(jié)合，Tang等人應用了一種新的語義損失，以使融合圖像對高級視覺任務友好。此外，最近引入了類似于CNN的Transformer結(jié)構(gòu)，它在各種視覺任務中實現(xiàn)了令人印象深刻的性能。因此，Ma等人設計了一種基于Transformer架構(gòu)的通用融合方法，其中注意力引導的跨域模塊可以整合全局互補信息。盡管如此，光照條件也是融合任務中不應忽略的問題，PIAFusion 考慮了光照，但模型過于簡單，無法在復雜環(huán)境中調(diào)整光照。

Fusion methods based on auto-encoder

隨著研究的深入,研究者提出了基于auto-encoder巨大的融合方法。他們中的大多數(shù)使用auto-encoder從源圖像中提取特征,實現(xiàn)圖像重建。特征融合過程主要適用于手工設計的融合規(guī)則。一個典型的AE-based融合方法,即DenseFuse,包括卷積層,融合層,和dense塊。考慮到自動編碼器結(jié)構(gòu)的有限特征提取能力，Li等人進一步提出了NestFuse和RFN-Nest。前者引入了網(wǎng)絡中的嵌套連接，可以從源圖像中提取多尺度特征；后者設計了一種新穎的細節(jié)保留損失函數(shù)和特征增強損失函數(shù)，迫使網(wǎng)絡獲得更高集成度的細節(jié)特征。由于多尺度特征不能消除源圖像中的冗余信息，Jian等人采用注意機制來集中注意源圖像的顯著目標和紋理細節(jié)。為了提供融合領域中可解釋性的初步探索，DRF將源圖像分解為場景分量和屬性分量，并分別進行融合。雖然DRF考慮了特征提取的可解釋性，但它忽略了融合規(guī)則的可解釋性，即，手工制作的融合規(guī)則不一定適合于合并深度特征。因此，Xu等人進一步提出了一種可學習的融合規(guī)則，該規(guī)則評估特征中每個像素對分類結(jié)果的重要性，進而進一步提高網(wǎng)絡的可解釋性。

Fusion methods based on GAN

生成式對抗網(wǎng)絡（generative adversarial network，GAN）具有無監(jiān)督估計概率分布的強大能力，非常適合圖像融合等無監(jiān)督任務。FusionGAN是將GAN應用于圖像融合領域的先驅(qū)，它在融合圖像和可見光圖像之間建立了一個生成式的對抗框架，使融合圖像能夠更大程度地獲得紋理結(jié)構(gòu)。然而，單一的對抗性博弈很容易導致不平衡的融合。為了改善這一問題，Ma等人提出了雙鑒別器條件生成對抗網(wǎng)絡（即DDcGAN ），以實現(xiàn)平衡圖像融合，其中紅外和可見光圖像都參與對抗過程。
AttentionFGAN在DDcGAN的基礎上增加了多尺度注意機制，保留了紅外圖像的前景目標信息和可見光圖像豐富的背景細節(jié)特征。然而，具有雙重鑒別器的生成式對抗網(wǎng)絡不容易訓練。在此基礎上，Ma等進一步提出了具有多分類約束的生成式對抗網(wǎng)絡，可用于平衡紅外和可見光圖像之間的信息。然而，這些方法追求更好的視覺質(zhì)量，但忽略了對后續(xù)高級視覺任務的融合結(jié)果的促進。Liu等人針對融合和檢測的聯(lián)合問題提出了雙層優(yōu)化公式。

然而，現(xiàn)有的基于深度學習的融合方法和傳統(tǒng)的融合方法都強調(diào)紅外和可見光圖像互補信息的注入和平衡，而忽略了極端環(huán)境，如最常見的光照退化。在夜間環(huán)境中，嚴重的黑暗場景急劇地劣化可見圖像，導致融合圖像不再提供良好的視覺感知。因此，相應的高級視覺任務可能會受到嚴重影響。夜間融合是紅外與可見光圖像融合的一個重要應用場景，但現(xiàn)有的融合方法無法實現(xiàn)。為此，迫切需要設計一種適用于夜間等極端條件下的無暗度紅外與可見光圖像融合方法。

Retinex-based image enhancement methods

Retinex-based
Retinex理論是一種顏色恒常性的計算理論。作為人類視覺感知的模型，它假設觀察到的圖像可以分解為反射率和照度，表示為：

其中??和??分別表示原始圖像的反射率和照度。反射率??描述了在任何亮度條件下都可以認為是一致的對象的固有屬性。照明??取決于對象上的環(huán)境光。

隨后，Retinex模型被引入到弱光增強問題中。Jobson等人首先使用單尺度Retinex（SSR）從暗圖像中剝離照明，并將反射率視為增強圖像。然而，簡單的分解導致嚴重的顏色失真。MSRCR被提出來改善先前方法的顏色失真問題。然而，上述方法的最終增強結(jié)果往往看起來不自然，并在某些地方過度增強。Wang等人提出聯(lián)合增強對比度和保持照明的自然性。為了解決圖像分解效率低和收斂慢的問題，Hao等人提出了半解耦分解模型，該模型????以更合理的方式估計和。

隨著深度學習的出現(xiàn),光線增強社區(qū)也試圖利用網(wǎng)絡來估計反射率和照明的地圖。RetinexNet結(jié)合Retinex理論設計深度網(wǎng)絡,其中包含一個分解模塊和一個照明調(diào)整模塊?；赗etinexNet，Zhang等人開發(fā)了KinD ，其另外設計了一種新型網(wǎng)絡以實現(xiàn)反射恢復。為了提高KinD在調(diào)節(jié)光照水平方面的靈活性，他們對KinD進行了修訂，并提出了一個多尺度照度注意模塊。此外，Zhang等人在以無監(jiān)督方式完成有效分解之前提供了有效的直方圖均衡化。特別地，它們規(guī)則化直方圖均衡化增強的圖像和恢復的圖像之間的相似性。在此基礎上，利用Retinex理論在特征層次上去除退化光照，實現(xiàn)圖像增強。

方法

Problem formulation

當夜間可見光圖像出現(xiàn)光照退化時，夜間紅外與可見光圖像融合問題可分為兩個子問題：可見光圖像增強和紅外與可見光圖像融合。然而，現(xiàn)有的弱光增強算法與融合算法的簡單結(jié)合存在嚴重的不兼容問題。因此，如何對增強和融合任務進行聯(lián)合建模，并在兩者之間架起差距，成為夜間紅外與可見光圖像融合的關鍵。針對上述問題，我們設計了SIDNet和TCEFNet聯(lián)合算法，以最大限度地縮小弱光增強和圖像融合之間差距。前者用于在特征級剝離退化的可見光圖像的照度分量。具體而言，SIDNet采用自動編碼器和信道注意機制對兩幅源圖像進行重構(gòu)，保留了源圖像的有用信息，促進了后續(xù)的融合任務。后者從紋理和對比度方面實現(xiàn)了特征融合，增強了整體視覺感知。圖2示意性地示出了總體框架。
更具體地，給定一對嚴格配準的紅外圖像??_????和可見光圖像??_????。它們在信道維度上被級聯(lián)，并被饋送到??(·)的SIDNet的編碼器中,如圖3所示，

以便獲得??具有兩個域信息的混合特征。上述過程可表述如下：

其中$I^Y$_????表示可見圖像的Y通道。其次，將兩個域信息的混合特征輸入到三個壓縮和激勵模塊（SEblock）中。SEblocks旨在從混合特征中選擇紅外和可見光圖像的特定領域特征表示。此外，SIDNet的另一個作用是分離可見光圖像的亮度分量。因此，我們在特征層面上利用Retinex理論將可見光圖像分解為退化的光照特征和增強的可見光特征。然后，將三個SEblock與Retinex理論相結(jié)合，最終得到紅外特征、退化照度特征和增強的可見光特征。整個過程可以表示為：

其中????_??(·)、$S{E}^{en}$_????(·)、????_i??（·）分別表示能夠獲得劣化照度特征??_??、增強可見光特征Font metrics not found for font: ._????、紅外線特征的SE塊??_????。在訓練階段，分離的特征被饋送到三個解碼器以重建相應的圖像。不同圖像的重建可以表示如下：

其中，??_??（·）、??_????（·）、??_????（·）分別表示照度重建解碼器、增強可見光解碼器和紅外解碼器。??_??、$I^{en}$_????、??_????分別表示可見光圖像、Y通道上增強的可見光圖像和重建的紅外圖像的退化照度分量。值得一提的是，只有增強的可見光特征Font metrics not found for font: ._????和紅外特征??_????在信道維度中被級聯(lián)作為SIDNet的輸出，其被定義為：

其中????????????（·）表示通道維度中的連接。

在此基礎上，設計了TCEFNet，它包含兩個模塊，GRM和CEM。GRM的具體設計如圖4（a）所示。SIDNet的輸出特征直接輸入到GRM中，以增強特征的細粒度表示。我們使用Sobel算子和Laplacian算子聯(lián)合增強混合特征。特征級的紋理增強過程表示為：
CEM應用不同的卷積核,即。1×3×3、5×5,7×7,擴大認知領域的網(wǎng)絡。之后,功能包含多尺度信息塊的對比中得到強化。對比塊的架構(gòu)如圖4所示(b)。

基于通道注意機制，對比度塊計算特征的對比度，并為較高對比度的特征分配較高的權重，以實現(xiàn)對比度增強。具體配方如下：
最后，解碼器對融合后的圖像$I^Y$_??進行重構(gòu)??。需要強調(diào)的是，這$I^Y$_??只是Y通道增強的可見光圖像與紅外圖像的融合結(jié)果，紅外圖像具有明亮的場景，但缺少顏色信息。融合圖像的重建可以表示為：

所獲得的$I^Y$_??是第一個連接????，????通道的原始可見圖像在通道維度以得到初始彩色融合圖像。由于Y通道融合圖像$I^Y$_??只注重亮度增強和圖像融合，而忽略了色度的適宜性，使得初始融合圖像存在嚴重的顏色失真。然后，將融合后的圖像轉(zhuǎn)換到RGB空間，利用顏色一致性損失對顏色分布進行校正。具體來說，$I^Y$_??在RGB空間中進行調(diào)整和優(yōu)化，直到它與????、????原始可見圖像的和通道相匹配為止，這樣可以消除顏色失真并保持場景亮度。將初始融合圖像轉(zhuǎn)換到RGB空間的過程如下：

其中Γ（·）表示將圖像從YCbCr轉(zhuǎn)換為RGB的傳遞矩陣。$I^{C}b$_???? 并且$I^{C}r$_????分別表示????????原始可見圖像的和通道。然后，所述顏色一致性損失定義如下：

Network architecture

如圖2所示，我們設計了場景-亮度解糾纏網(wǎng)絡和紋理-對比度增強融合網(wǎng)絡。下面介紹這兩種網(wǎng)絡。

Scene-illumination disentangled network (SIDNet)

SIDNet的具體結(jié)構(gòu)如圖3所示，它由一個編碼器、三個并行的SEblock和三個并行的解碼器組成。該編碼器包含4個卷積層，其核大小為3 × 3，激活函數(shù)為LReLU（Leaky Rectified Linear Unit）。緊接著是三個SE塊，用于增強互補信息和去除退化照明。SEblock包括最大池層、全連接層、LReLU層、全連接層和sigmoid層。解碼器由4個3 × 3卷積層組成。除最后一層的激活函數(shù)為Tanh外，其余各層的激活函數(shù)均為LReLU。我們在訓練階段期間僅生成增強圖像、退化照明圖像和重建的紅外圖像。 我們的模型直接生成紅外特征和增強的可見光特征，然后在推理階段將它們饋送到后續(xù)的網(wǎng)絡中。

Texture–contrast enhancement fusion network (TCEFNet)

TCEFNet由兩個模塊組成，即：梯度保持模塊（GRM）和對比度增強模塊（CEM）。GRM的具體設計如圖4（a）所示。GRM是resblock的變體，其獲得主流和兩個殘余流。主流采用兩個帶有LReLU的3 × 3卷積層和一個1 × 1卷積層。第一個殘差流集成了Sobel算子以保留特征的強紋理，并集成了1 × 1卷積層以消除通道維度的差異。在圖4（a）中，第二殘差流采用Laplacian算子。特別地，引入Laplacian算子進一步仔細地提取特征的弱紋理。然后，紋理增強的第一階段通過經(jīng)由逐元素加法將GRM的輸入和第二殘差流的輸出相加來完成。然后，將主流和第一殘余流的輸出在通道維度上級聯(lián)，以捕獲具有細粒度細節(jié)的深度特征并實現(xiàn)第二階段的紋理增強。

增強的特征被饋送到圖2中所示的CEM。同尺度卷積阻礙了不同特征中多尺度信息的提取。因此，使用具有不同核大小的四個卷積層來捕獲多尺度深度特征。為了減少CEM中的信息丟失，不同的卷積操作沒有池化層。卷積層的核大小分別為1 × 1、3 × 3、5 × 5、7 × 7。卷積層的激活函數(shù)為LReLU。然后，如圖4（b）所示，將獲得的特征在通道維度中級聯(lián)并發(fā)送到對比度塊。
需要強調(diào)的是，我們在CEM中設計了對比度模塊，使CEM能夠在特征級別增強對比度信息。在對比塊中，我們計算殘余流特征中每個local（??,??）的標準偏差，其計算如下：

其中??是窗口的半徑。??_???? 且??_????分別是以（i，j）為中心半徑為r的窗口內(nèi)的平均值和標準偏差。因此，對比度圖是計算標準偏差之后的輸出。緊接著是最大池層、具有LReLU的全連接層和具有sigmoid的全連接層。殘差流的最終輸出是表示特征的對比度權重的激活向量。隨后，我們將主流中的特征和剩余流的激活向量通過通道式乘法相乘，以生成增強的特征。

Loss function

Decomposition loss

為了確保我們的SIDNet在特征級去除可見光圖像的退化照明，我們設計了包含以下五項的分解損失函數(shù)：

其中$L^{ir}$_??????????和分別$L^{vi}$_??????????是紅外和可見光圖像重建損失函數(shù)。它們強制混合特征包含更多具有高保真度的互補信息。$L^{mc}$和$L^{illu}$_???????????分別是相互一致性損失和光照平滑度損失，它們指導SIDNet從混合特征中生成退化的光照分量。在訓練過程中，感知損失L_??????約束增強的可見特征的生成。??1、??2、??3、??4、??5表示控制每個損失項的折衷的超參數(shù)。
紅外和可見光重建損失可以驅(qū)動SIDNet盡可能多地恢復原始圖像，生成冗余度更少的高保真特征，定義為：

上述兩種損失函數(shù)只能約束最終重建的紅外和可見光圖像，而不能約束光照分量。因此，為了從原始可見圖像中剝離退化照明分量，我們進一步應用以下兩個損失函數(shù)，以基于KinD 和RetinexNet 中的照明定義來具體約束照明分量的生成，其表達如下

其中▽是包含??和??方向的Sobel算子。?? 是一個很小的正常數(shù)（本文中為0.01），以防止除數(shù)為零。這些函數(shù)降低了結(jié)構(gòu)邊界上過度平滑的風險。c是控制相互一致性損失形狀的參數(shù)（本文中為10），其目的是增加圖像的中等梯度部分。
$L^{mc}$和$L^{illu}$_???????????的結(jié)合使得生成的照明分量在物理上與定義更加一致。
由于缺乏ground truth信息來指導訓練過程，很堅韌通過間接損失函數(shù)從弱光可見光圖像中恢復增強的可見光圖像。幸運的是，直方圖均衡化增強圖像的特征可以提供豐富的紋理和亮度信息。為此，采用VGG特征約束弱光可見光圖像Y通道與直方圖均衡化增強圖像之間的感知相似性。自定義感知損耗如下：

在預訓練的VGG-19網(wǎng)絡中，淺層特征關注紋理信息，深層特征更關注語義信息。為了有效地提高后續(xù)高級視覺任務的性能，我們期望增強的特征包含更多的深層語義信息。因此，我們只選擇VGG-19網(wǎng)絡的最后兩層來實現(xiàn)深度特征提取，即：從層????????4_1和????????5_1提取特征以聯(lián)合地測量特征相似性。

Enhancement-fusion loss

我們期望訓練一個優(yōu)化的TCEFNet用于圖像融合、特征增強和顏色均衡。增強-融合損失的確切定義表示如下：

其中L_??????表示紋理損失，目的是從源圖像中吸收更多的紋理細節(jié)信息到融合圖像中。強度損失L_int對融合圖像進行約束，以保持紅外圖像的重要目標信息。是L_??????????顏色一致性損失，其目的是減輕增強和融合過程中的顏色失真。??1、??2、??3是用于在上述損失之間取得平衡的超參數(shù)。
紋理損失迫使更多的紋理細節(jié)從源圖像轉(zhuǎn)移到融合結(jié)果，這定義為：

其中??和??分別是圖像的高度和寬度。|斯|表示絕對值運算。紋理損失引導融合圖像保留更多的高頻細節(jié)。
強度損失函數(shù)的目標是使融合圖像獲得紅外圖像更顯著的目標信息，定義為：

由于夜間圖像容易受到不同顏色光的影響，圖像增強方法容易產(chǎn)生顏色失真，并過度放大場景中原始光源的顏色信息。雖然可以提高場景亮度，但是色彩失真極其嚴重?？紤]到RGB空間中的歐氏距離不能有效地反映顏色失真，我們選擇離散余弦距離來約束融合圖像的顏色分布。該約束迫使融合圖像的顏色分布更接近原始可見圖像分布的顏色。此外，我們希望在去除顏色失真的同時，能夠通過離散余弦相似度將可見光圖像的亮度注入到融合圖像中?？偟膩碚f，設計的顏色一致性損失公式如下：
其中??表示圖像的通道編號。∠（?，?）說明了R、G、B通道中融合圖像和原始可見圖像之間離散余弦相似度的像素級計算。?? 表示圖像中的像素數(shù)。?? 是R、G、B的元素。顏色一致性損失設計用于兩個目的。一方面，在融合后的圖像中，可以很好地減少增強引起的顏色失真。另一方面，融合圖像可以從R、G、B三個通道融合可見光信息，使得融合圖像也能捕捉到更多的場景細節(jié)信息。文章來源地址http://www.zghlxwxcb.cn/news/detail-481298.html

到了這里，關于【色彩一致性損失：場景亮度解糾纏網(wǎng)絡：紋理-對比度增強網(wǎng)絡：IVIF】的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！