參考
論文題目：Mask R-CNN
論文鏈接：論文下載
論文代碼：Facebook代碼鏈接；Tensorflow版本代碼鏈接； Keras and TensorFlow版本代碼鏈接；MxNet版本代碼鏈接
參考：Mask R-CNN詳解
定義
將圖像中的每個(gè)像素與其所屬的目標(biāo)實(shí)例進(jìn)行關(guān)聯(lián)，并為每個(gè)像素分配一個(gè)特定的標(biāo)簽，以實(shí)現(xiàn)像素級(jí)別的目標(biāo)定位和分割。
與目標(biāo)檢測(cè)任務(wù)不同，目標(biāo)檢測(cè)只關(guān)注目標(biāo)的位置和邊界框，而實(shí)例分割需要在像素級(jí)別對(duì)目標(biāo)進(jìn)行分割，即將每個(gè)像素分配到相應(yīng)的目標(biāo)實(shí)例中。
Mark R-CNN
是在 Faster R-CNN 框架的基礎(chǔ)上進(jìn)行擴(kuò)展而來(lái)。
Mask R-CNN 的核心思想是在 Faster R-CNN 的基礎(chǔ)上添加一個(gè)分支，用于預(yù)測(cè)每個(gè)目標(biāo)實(shí)例的像素級(jí)掩膜 (mask)。這使得 Mask R-CNN 不僅可以準(zhǔn)確地檢測(cè)目標(biāo)的位置和類別，還可以對(duì)每個(gè)目標(biāo)實(shí)例進(jìn)行精確的像素級(jí)分割。
結(jié)構(gòu)
Mask R-CNN 的主要特點(diǎn)和組成部分如下：
-
區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network, RPN）：與 Faster R-CNN 相同，Mask R-CNN 使用 RPN 來(lái)生成候選區(qū)域。RPN 在輸入圖像上滑動(dòng)窗口，并為每個(gè)窗口位置生成候選框（anchors），并預(yù)測(cè)每個(gè)候選框是否包含目標(biāo)。
-
區(qū)域特征提取：Mask R-CNN 使用共享的卷積網(wǎng)絡(luò)（如 ResNet）來(lái)提取候選區(qū)域的特征表示。這些特征被用于分類目標(biāo)類別和回歸目標(biāo)邊界框。
-
目標(biāo)分類和邊界框回歸：Mask R-CNN 在 Faster R-CNN 的基礎(chǔ)上添加了目標(biāo)分類和邊界框回歸分支，用于對(duì)每個(gè)候選區(qū)域進(jìn)行目標(biāo)分類和位置調(diào)整。
-
實(shí)例分割分支：Mask R-CNN 的關(guān)鍵創(chuàng)新是添加了一個(gè)分支來(lái)預(yù)測(cè)每個(gè)目標(biāo)實(shí)例的像素級(jí)掩膜。這個(gè)分支是在每個(gè)候選區(qū)域上應(yīng)用全卷積網(wǎng)絡(luò)，生成一個(gè)二進(jìn)制掩膜來(lái)表示目標(biāo)的精確分割。
思路
具體來(lái)說(shuō)，對(duì)于每個(gè)候選區(qū)域，Mask R-CNN 的實(shí)例分割分支會(huì)在目標(biāo)檢測(cè)局域上再次應(yīng)用一系列卷積操作來(lái)生成目標(biāo)實(shí)例的像素級(jí)掩膜。這個(gè)過(guò)程通常被稱為掩膜生成子網(wǎng)絡(luò)（Mask Head）。
一般而言，Mask Head 的設(shè)計(jì)類似于全卷積網(wǎng)絡(luò)，它會(huì)在目標(biāo)檢測(cè)局域上對(duì)特征圖進(jìn)行進(jìn)一步處理。具體的步驟如下：
-
基于ROIAlign的空間金字塔池化（Spatial Pyramid Pooling, SPP）：首先，通過(guò)ROIAlign操作將每個(gè)候選區(qū)域?qū)R為固定大小的特征圖塊。然后，對(duì)每個(gè)特征圖塊應(yīng)用空間金字塔池化，生成固定大小的特征向量。
-
一系列的卷積和上采樣操作：使用一系列卷積層對(duì)特征向量進(jìn)行進(jìn)一步處理，以提取和整合更豐富的語(yǔ)義信息。通常，這些卷積層采用具有小卷積核的窄卷積，以減少參數(shù)量和計(jì)算復(fù)雜度。
-
最終的卷積層：在最后一個(gè)卷積層上使用適當(dāng)?shù)募せ詈瘮?shù)（如Sigmoid）來(lái)生成目標(biāo)實(shí)例的二進(jìn)制掩膜。每個(gè)像素點(diǎn)的輸出值表示該像素屬于目標(biāo)的概率。
Mask R-CNN訓(xùn)練階段使用的Mask樣例
訓(xùn)練階段的標(biāo)答
Mask R-CNN實(shí)例分割結(jié)果
文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-732251.html
Mask R-CNN檢測(cè)姿態(tài)
文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-732251.html
到了這里，關(guān)于計(jì)算機(jī)視覺(jué)與深度學(xué)習(xí)-圖像分割-視覺(jué)識(shí)別任務(wù)03-實(shí)例分割-【北郵魯鵬】的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
