@article{zhang2020ifcnn,
title={IFCNN: A general image fusion framework based on convolutional neural network},
author={Zhang, Yu and Liu, Yu and Sun, Peng and Yan, Han and Zhao, Xiaolin and Zhang, Li},
journal={Information Fusion},
volume={54},
pages={99–118},
year={2020},
publisher={Elsevier}
}

論文級(jí)別：SCI A1
影響因子：18.6
??

??論文解讀

該論文是【基于CNN】的圖像融合方法。網(wǎng)絡(luò)模型是【端到端】，適用于【多類型圖像融合任務(wù)】，從【多聚焦圖像融合】展開。
此外，作者還發(fā)布了新的數(shù)據(jù)集。

??關(guān)鍵詞

• General image fusion framework 通用圖像融合框架
• Convolutional neural network 卷積神經(jīng)網(wǎng)絡(luò)
• Large-scale multi-focus image dataset 大規(guī)模多聚焦圖像數(shù)據(jù)集
• Better generalization ability 更好的泛化性能

??核心思想

IFCNN是一個(gè)【全卷積】的【端到端】【通用】圖像融合模型，模型包括：特征提取、特征融合、特征重構(gòu)三部分。

• 輸入（【多組】【3通道】圖像）
  • RGB->YCbCr，疊加Y通道3次作為輸入
  • 單通道圖像，直接疊加3次變成3通道
• 特征提取
  使用在ImageNet上預(yù)訓(xùn)練的ResNet101的第一個(gè)卷積層作為特征提取的第一個(gè)卷積層，但是因?yàn)樵摼矸e層是用于分類任務(wù)的，因此添加了第二個(gè)卷積層以適應(yīng)圖像融合任務(wù)。
• 特征融合
  并沒有采用concat后再卷積融合的操作，而是使用元素融合規(guī)則（元素【最大】、【最小】、【平均】）。前者要求特征輸入模塊參數(shù)個(gè)數(shù)隨輸入改變，而元素融合規(guī)則不需要，可以融合任意數(shù)量的輸入圖像。本文使用：
  • 可見光-紅外、多聚焦、多模態(tài)醫(yī)學(xué)：【元素最大】
  • 多曝光：【元素平均】
• 特征重構(gòu)
  因?yàn)樘卣魈崛〗Y(jié)構(gòu)簡單，特征抽象級(jí)別不高，所以重構(gòu)也簡單的使用了兩層卷積
• 輸出
  引入了【感知損失】對模型進(jìn)行正則化，

參考鏈接
[什么是圖像融合？（一看就通，通俗易懂）]

??網(wǎng)絡(luò)結(jié)構(gòu)

作者提出的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。結(jié)構(gòu)很清晰明了。

CONV1包含64個(gè)7×7的卷積核，步長為1，padding為3。（不需要再訓(xùn)練，直接使用固化的參數(shù)）
CONV2包含64個(gè)3×3的卷積核，步長為1，padding為1。
在FUSE中，采用了相應(yīng)任務(wù)的元素融合規(guī)則，公式如下：

$f_{i,c_2}^j$代表了CONV2中，從第i張圖像提取的第j個(gè)特征圖。$\widehat{f^j}$代表了融合特征圖的第j個(gè)通道。$fuse$表示元素融合規(guī)則。
因?yàn)橄虏蓸訒?huì)丟失信息，因此該網(wǎng)絡(luò)沒有進(jìn)行任何下采樣。整個(gè)網(wǎng)絡(luò)中特征圖和輸入圖像尺寸均一致。
CONV3包含64個(gè)3×3的卷積核，步長為1，padding為1。
CONV3包含3個(gè)1×1的卷積核，目的是為了將64通道的特征圖壓縮至3通道。
在輸入的地方，RGB2YCbCr的公式為：

??損失函數(shù)

感知損失由ResNet101最后一個(gè)卷積層提取的預(yù)測融合圖像特征圖與標(biāo)簽融合圖像的均方誤差構(gòu)成：

$f_p$和$f_g$分別代表預(yù)測融合圖像的特征圖以及融合圖像ground truth的特征圖，i為特征圖的通道索引，$C_f$、$H_f$、$W_f$分別代表特征圖的通道數(shù)、高、寬。

$I_p$和$I_g$分別代表預(yù)測融合圖像以及融合圖像的ground truth，i為RGB圖像通道索引。$H_g$、$W_g$分別為融合圖像ground truth的高和寬。
總損失如下：

${\omega }_1$和${\omega }_2$為權(quán)重系數(shù)，本文設(shè)置均為1.

??數(shù)據(jù)集

圖像融合數(shù)據(jù)集鏈接
[圖像融合常用數(shù)據(jù)集整理]

??訓(xùn)練設(shè)置

• 在多聚焦圖像數(shù)據(jù)集上，只用$B_{l}oss$預(yù)訓(xùn)練5000次，batchsize64
• 凍結(jié)BN層參數(shù)，采用$T_{l}oss$進(jìn)行60000個(gè)epoch精細(xì)訓(xùn)練，batchsize32（此步驟計(jì)算量較大，所以降低）

??實(shí)驗(yàn)

??評(píng)價(jià)指標(biāo)

• VIFF
• ISSIM
• NMI
• SF
• AG

參考資料
[圖像融合定量指標(biāo)分析]

??Baseline

• GFF,LPSR,MFCNN,MECNN

參考資料
[圖像融合論文baseline及其網(wǎng)絡(luò)模型]

??實(shí)驗(yàn)結(jié)果

更多實(shí)驗(yàn)結(jié)果及分析可以查看原文：
??[論文下載地址]
??[代碼下載地址]

??傳送門

??圖像融合相關(guān)論文閱讀筆記

??[(PMGI) Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity]
??[SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion]
??[DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion]
??[FusionGAN: A generative adversarial network for infrared and visible image fusion]
??[PIAFusion: A progressive infrared and visible image fusion network based on illumination aw]
??[Visible and Infrared Image Fusion Using Deep Learning]
??[CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion]
??[U2Fusion: A Unified Unsupervised Image Fusion Network]

??圖像融合論文baseline總結(jié)

??[圖像融合論文baseline及其網(wǎng)絡(luò)模型]

??其他論文

[3D目標(biāo)檢測綜述：Multi-Modal 3D Object Detection in Autonomous Driving：A Survey]

??其他總結(jié)

??[CVPR2023、ICCV2023論文題目匯總及詞頻統(tǒng)計(jì)]

?精品文章總結(jié)

?[圖像融合論文及代碼整理最全大合集]
?[圖像融合常用數(shù)據(jù)集整理]

如有疑問可聯(lián)系：420269520@qq.com;
碼字不易，【關(guān)注，收藏，點(diǎn)贊】一鍵三連是我持續(xù)更新的動(dòng)力，祝各位早發(fā)paper，順利畢業(yè)~文章來源地址http://www.zghlxwxcb.cn/news/detail-772600.html

到了這里，關(guān)于圖像融合論文閱讀：IFCNN: A general image fusion framework based on convolutional neural network的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！