一、圖像特征
1. 圖像低層特征
- 圖像低層特征指的是：邊緣、顏色和紋理等特征。
- 低層特征的分辨率較高，包含較多的位置、細(xì)節(jié)信息，但其包含的語(yǔ)義信息較少，噪聲較多。
- 原始圖像和淺層卷積網(wǎng)絡(luò)輸出的特征圖屬于低層特征，從低層特征圖中可以看清輪廓、邊緣等信息。
2. 圖像高層特征
- 圖像的高層語(yǔ)義特征是指人所能理解的東西，比如沙發(fā)、狗、瓶子等。
- 高層特征包含較多的語(yǔ)義信息，但其分辨率較低，對(duì)位置和細(xì)節(jié)的感知能力也較差。
- 經(jīng)過(guò)深層的卷積網(wǎng)絡(luò)，可以有效歸納出語(yǔ)義信息，就是類似某個(gè)區(qū)域就是什么東西，并不需要顯示具體的紋理信息。
3. 示例
- 下面以YOLOv5網(wǎng)絡(luò)為例，可視化展示了原始圖像經(jīng)過(guò)每一層網(wǎng)絡(luò)后的輸出特征圖（共23層，逐層可視化），YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)如下：
- 原始輸入圖像
- Conv輸出的的特征圖（第0層的輸出）
- Conv輸出的特征圖（第1層的輸出）
- C3輸出的特征圖（第2層的輸出）
- Conv輸出的特征圖（第3層的輸出）
- C3后的特征圖（第4層的輸出）
- Conv輸出的特征圖（第5層的輸出）
- C3輸出的特征圖（第6層的輸出）
- Conv輸出的特征圖（第7層的輸出）
- C3輸出的特征圖（第8層的輸出）
- SPPF輸出的特征圖（第9層的輸出）
- Conv輸出的特征圖（第10層的輸出）
- Upsample輸出的特征圖（第11層的輸出）
- Concat輸出的特征圖（第12層的輸出）
- C3輸出的特征圖（第13層的輸出）
- Conv輸出的特征圖（第14層的輸出）
- Upsample輸出的特征圖（第15層的輸出）
- Concat輸出的特征圖（第16層的輸出）
- C3輸出的特征圖（第17層的輸出）
- Conv輸出的特征圖（第18層的輸出）
- Concat輸出的特征圖（第19層的輸出）
- C3輸出的特征圖（第20層的輸出）
- Conv輸出的特征圖（第21層的輸出）
- Concat輸出的特征圖（第22層的輸出）
- C3輸出的特征圖（第23層的輸出）
二、特征融合
1. 多尺度特征融合
- 低層網(wǎng)絡(luò)的感受野比較小，幾何信息表征能力強(qiáng)，雖然分辨率高，但是語(yǔ)義信息表征能力弱。
- 高層網(wǎng)絡(luò)的感受野比較大，可以理解為CNN從更加全局的角度對(duì)圖像做特征提取，因此產(chǎn)生更加高層次的語(yǔ)義信息，語(yǔ)義信息表征能力強(qiáng)，但是特征圖的分辨率低，幾何信息的表征能力弱（空間幾何特征細(xì)節(jié)缺乏）。
- 將低層網(wǎng)絡(luò)的幾何信息與高層網(wǎng)絡(luò)的語(yǔ)義信息相融合，是提高檢測(cè)和分割性能的重要手段。
2. FPN
-
FPN（特征圖金字塔網(wǎng)絡(luò)），主要解決的是物體檢測(cè)中的多尺度問(wèn)題，通過(guò)簡(jiǎn)單的網(wǎng)絡(luò)連接改變，在基本不增加原有模型計(jì)算量的情況下，大幅度提升了小物體檢測(cè)的性能。
-
算法大致結(jié)構(gòu)如下：一個(gè)自底向上的線路，一個(gè)自頂向下的線路，橫向連接。
-
自底向上：
自底向上的過(guò)程就是神經(jīng)網(wǎng)絡(luò)的前向傳播過(guò)程，特征圖經(jīng)過(guò)卷積核計(jì)算，尺寸會(huì)越變?cè)叫 ?/p> -
自上而下：
自上而下的過(guò)程是把更抽象、語(yǔ)義更強(qiáng)的高層特征圖進(jìn)行上采樣。 -
橫向連接：
橫向連接則是將上采樣的結(jié)果和自底向上生成的相同大小的特征圖進(jìn)行融合，橫向連接的兩層特征在空間尺寸相同，這樣做可以利用低層定位細(xì)節(jié)信息。
參考文章
關(guān)于encoder-decoder網(wǎng)絡(luò) - 特征融合
深度特征融合—高低層（多尺度）特征融合
對(duì)圖像中語(yǔ)義信息、高層和底層特征的理解
CNN中的底層、高層特征、上下文信息、多尺度
多尺度特征融合文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-450734.html
FPN（特征金字塔）結(jié)構(gòu)筆記文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-450734.html
到了這里，關(guān)于卷積神經(jīng)網(wǎng)絡(luò)中的圖像特征——以YOLOv5為例進(jìn)行可視化的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
