@article{wang2024cs2fusion,
title={CS2Fusion: Contrastive learning for Self-Supervised infrared and visible image fusion by estimating feature compensation map},
author={Wang, Xue and Guan, Zheng and Qian, Wenhua and Cao, Jinde and Liang, Shu and Yan, Jin},
journal={Information Fusion},
volume={102},
pages={102039},
year={2024},
publisher={Elsevier}
}

??[論文下載地址]
??[代碼下載地址]

??論文解讀

作者認(rèn)為以往的方法中，缺乏對(duì)源圖像之間同一性和差異性的關(guān)注，無法充分利用其【互補(bǔ)信息】
為了解決這個(gè)問題，作者提出了一種基于【對(duì)比學(xué)習(xí)】的【自監(jiān)督】【端到端】融合模型，該模型將紅外圖像視為可見光圖像的補(bǔ)充。并且提出了補(bǔ)償感知網(wǎng)絡(luò)CPN（Compensation Perception Network）指導(dǎo)backbone network根據(jù)紅外圖像的特征補(bǔ)償圖生成融合圖像。
具體來說，使用【自相關(guān)】和【顯著性運(yùn)算】重構(gòu)正/負(fù)對(duì)，從而驅(qū)動(dòng)CPN在對(duì)比損失的約束下，感知紅外圖像相對(duì)于可見光圖像的互補(bǔ)特征。
CPN采用了自監(jiān)督機(jī)制，通過從可見光圖像中隨機(jī)裁剪patch，來模擬視覺沖擊區(qū)域（visually impaired areas），以提供同一場景到多個(gè)正樣本的更多變化信息，從而增強(qiáng)模型的細(xì)粒度感知能力。
此外，作者還在backbone中設(shè)計(jì)了需求驅(qū)動(dòng)模塊DDM（demand-driven module），該模塊在圖像重構(gòu)的時(shí)候，主動(dòng)查詢以此來改善提升層間信息，并且整合更多的空間結(jié)構(gòu)信息。
上文中提到的CPN，是一個(gè)輔助網(wǎng)絡(luò)，僅出現(xiàn)在訓(xùn)練過程中，用于驅(qū)動(dòng)backbone以自監(jiān)督的方式完成訓(xùn)練。

??關(guān)鍵詞

Image Fusion 圖像融合
Contrastive Learning 對(duì)比學(xué)習(xí)
Feature Compensation Map 特征補(bǔ)償圖
Identity and Divergence 同一性與差異性

??核心思想

• 不同模態(tài)的語義信息通常有很大的差異
• 盡管語義差異很大，但是在相同模態(tài)特征中，自相關(guān)分布和顯著特征趨于相同

因此，將紅外光圖像視作可見光圖像的補(bǔ)充，使用CPN生成紅外圖像特征補(bǔ)償圖，以此指導(dǎo)backbone生成融合圖像。

擴(kuò)展學(xué)習(xí)
[什么是圖像融合？（一看就通，通俗易懂）]

??相關(guān)背景知識(shí)

??對(duì)比學(xué)習(xí)

對(duì)比學(xué)習(xí)通過構(gòu)造正樣本和負(fù)樣本并調(diào)整潛在特征空間中樣本之間的距離來驅(qū)動(dòng)模型學(xué)習(xí)樣本的一般特征。由于其強(qiáng)大的特征表示能力，無需任何注釋或基本事實(shí)即可發(fā)現(xiàn)盡可能多的潛在數(shù)據(jù)信息。
本文利用源圖像之間的同一性和差異性構(gòu)造正負(fù)樣本，以此來增強(qiáng)感知互補(bǔ)特征，從而提升融合性能。

擴(kuò)展學(xué)習(xí)
對(duì)比學(xué)習(xí)（contrastive learning）

??網(wǎng)絡(luò)結(jié)構(gòu)

該網(wǎng)絡(luò)結(jié)構(gòu)包括兩部分，backbone和CPN。

上圖中，左邊最下面的圖像$\mathcal{A}VIS$是從可見光圖像數(shù)據(jù)增強(qiáng)得到的圖像
${\mathcal{M}}_i$是CPN產(chǎn)生的特征補(bǔ)償圖

??骨干網(wǎng)絡(luò)

該backbone借鑒了SMFuse。
CS2Fusion將紅外光-可見光圖像作為一對(duì)輸入，然后將紅外光-擴(kuò)張可見光圖像作為另一對(duì)輸入。
主干網(wǎng)絡(luò)由四層權(quán)重共享的卷積塊（CB）組成，形成一個(gè)密集編碼器，用于從紅外圖像（??????）和可見圖像（????????）中提取特征。然后將這些提取的特征輸入解碼器（由四層 CB 組成），解碼器在需求驅(qū)動(dòng)模塊（DDM）的指導(dǎo)下生成融合圖像??。此外，紅外圖像和增強(qiáng)可見光圖像$\mathcal{A}VIS$都采用相同的方法來構(gòu)造正負(fù)樣本并生成增強(qiáng)補(bǔ)償圖${\mathcal{A}\mathcal{M}}_i$，使得CPN能夠生成準(zhǔn)確的${\mathcal{M}}_i$。

在解碼器中設(shè)計(jì)了DDM來補(bǔ)償信息損失并增強(qiáng)層間的信息流。 DDM是主動(dòng)特征融合組件，以通道注意力學(xué)習(xí)到的需求圖作為查詢依據(jù)，通過查詢源特征來實(shí)現(xiàn)特征補(bǔ)充。如下圖

輸入是紅外和可見光源圖像特征，以及輸入特征流，輸出是需求圖。上圖畫的很清晰，提取特征，然后相乘后相加，具體的過程可以用公式表述為：


CA是通道注意力機(jī)制，AP和MP是最大池化和平均池化。

backbone的損失函數(shù)為：
損失函數(shù)=結(jié)構(gòu)損失 + map損失

??CPN

CPN 的主要作用是在訓(xùn)練過程中利用源特征之間的同一性和散度來感知紅外圖像相對(duì)于可見圖像的互補(bǔ)特征。這種認(rèn)知促使骨干網(wǎng)絡(luò)有效地生成高質(zhì)量的融合圖像。
CPN 將提取的特征作為輸入并執(zhí)行兩個(gè)主要操作。
首先，它通過兩層CB和歸一化操作（Norm）生成補(bǔ)償圖${\mathcal{M}}_i$

其次，它利用自相關(guān)和顯著性操作（SSO）來生成正樣本和負(fù)樣本，從而約束${\mathcal{M}}_i$的生成。

可見光特征和補(bǔ)償特征可以表示為：

CPN的損失函數(shù)為：
${\mathcal{L}}_{pn}$對(duì)比損失用來鼓勵(lì)源圖像的正負(fù)樣本分離
${\mathcal{L}}_{\mathcal{A}pn}$對(duì)比損失用來鼓勵(lì)擴(kuò)充源圖像的正負(fù)樣本分離

??損失函數(shù)

上節(jié)已介紹。

??數(shù)據(jù)集

圖像融合數(shù)據(jù)集鏈接
[圖像融合常用數(shù)據(jù)集整理]

??訓(xùn)練設(shè)置

??實(shí)驗(yàn)

??評(píng)價(jià)指標(biāo)

• MI
• VIF
• Qabf
• Qncie
• Qy
  

擴(kuò)展學(xué)習(xí)
[圖像融合定量指標(biāo)分析]

??Baseline

???擴(kuò)展學(xué)習(xí)???
強(qiáng)烈推薦必看博客
[圖像融合論文baseline及其網(wǎng)絡(luò)模型]

??實(shí)驗(yàn)結(jié)果

更多實(shí)驗(yàn)結(jié)果及分析可以查看原文：
??[論文下載地址]

??傳送門

??圖像融合相關(guān)論文閱讀筆記

??[CrossFuse: A novel cross attention mechanism based infrared and visible image fusion approach]
??[(DIF-Net)Unsupervised Deep Image Fusion With Structure Tensor Representations]
??[(MURF: Mutually Reinforcing Multi-Modal Image Registration and Fusion]
??[(A Deep Learning Framework for Infrared and Visible Image Fusion Without Strict Registration]
??[(APWNet)Real-time infrared and visible image fusion network using adaptive pixel weighting strategy]
??[Dif-fusion: Towards high color fidelity in infrared and visible image fusion with diffusion models]
??[Coconet: Coupled contrastive learning network with multi-level feature ensemble for multi-modality image fusion]
??[LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images]
??[(DeFusion)Fusion from decomposition: A self-supervised decomposition approach for image fusion]
??[ReCoNet: Recurrent Correction Network for Fast and Efficient Multi-modality Image Fusion]
??[RFN-Nest: An end-to-end resid- ual fusion network for infrared and visible images]
??[SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images]
??[SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer]
??[(MFEIF)Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion]
??[DenseFuse: A fusion approach to infrared and visible images]
??[DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pair]
??[GANMcC: A Generative Adversarial Network With Multiclassification Constraints for IVIF]
??[DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion]
??[IFCNN: A general image fusion framework based on convolutional neural network]
??[(PMGI) Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity]
??[SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion]
??[DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion]
??[FusionGAN: A generative adversarial network for infrared and visible image fusion]
??[PIAFusion: A progressive infrared and visible image fusion network based on illumination aw]
??[CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion]
??[U2Fusion: A Unified Unsupervised Image Fusion Network]
??綜述[Visible and Infrared Image Fusion Using Deep Learning]

??圖像融合論文baseline總結(jié)

??[圖像融合論文baseline及其網(wǎng)絡(luò)模型]

??其他論文

??[3D目標(biāo)檢測綜述：Multi-Modal 3D Object Detection in Autonomous Driving：A Survey]

??其他總結(jié)

??[CVPR2023、ICCV2023論文題目匯總及詞頻統(tǒng)計(jì)]

?精品文章總結(jié)

?[圖像融合論文及代碼整理最全大合集]
?[圖像融合常用數(shù)據(jù)集整理]

??【如侵權(quán)請(qǐng)私信我刪除】

聯(lián)系方式：420269520@qq.com;
碼字不易，【關(guān)注，收藏，點(diǎn)贊】一鍵三連是我持續(xù)更新的動(dòng)力，祝各位早發(fā)paper，順利畢業(yè)~文章來源地址http://www.zghlxwxcb.cn/news/detail-815098.html

到了這里，關(guān)于圖像融合論文閱讀：CS2Fusion: 通過估計(jì)特征補(bǔ)償圖譜實(shí)現(xiàn)自監(jiān)督紅外和可見光圖像融合的對(duì)比學(xué)習(xí)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！