前言
在這節(jié)課，我們將學(xué)習(xí)語義分割和實例分割。在語義分割中，我們需要重點掌握語義分割的概念、常用數(shù)據(jù)集、評價指標(biāo)（IoU）以及經(jīng)典的語義分割方法（Deeplab系列）；在實例分割中，需要知道實力分割可以近似看為“目標(biāo)檢測+語義分割”，需要知道Mask R-CNN方法的計算流程，以及評價指標(biāo)mAP。
一、語義分割
1.1? 分割類任務(wù)的定義
分割類任務(wù)是一種密集標(biāo)注任務(wù)，即將圖像中每個像素賦予一個語義或者實例標(biāo)簽。
1.2? 語義分割的應(yīng)用場景
- 無人駕駛
- 機(jī)器人
- 醫(yī)學(xué)圖像
- ……
1.3? 常用數(shù)據(jù)集
1.3.1? Pascal VOC Dataset
VOC數(shù)據(jù)集是計算機(jī)視覺主流數(shù)據(jù)集之一，由牛津大學(xué)、比利時魯汶大學(xué)等高校的視覺研究組聯(lián)合發(fā)布，可以用作分類，分割，目標(biāo)檢測，動作檢測和人物定位五類任務(wù)，包含21個類別標(biāo)簽，訓(xùn)練1464，驗證1449，測試1456。
1.3.2? MS COCO Dataset
MS COCO（Microsoft Common Objects in Context Dataset）是微軟發(fā)布的一個大規(guī)模物體檢測，分割及文字定位數(shù)據(jù)集，支持目標(biāo)檢測、實例分割、全景分割、Stuff Segmentation、關(guān)鍵點檢測、看圖說話等任務(wù)類型，包含80個對象類別。
1.3.3? ADE20K Dataset
ADE20K數(shù)據(jù)集由 MIT CSAIL 研究組發(fā)布，涵蓋廣泛的場景和對象類別，可用于場景感知、解析、分割、多物體識別和語義理解。該數(shù)據(jù)集構(gòu)建了一個場景解析基準(zhǔn)，包含150個對象和素材類。
1.3.4? CityScapes Dataset
CityScapes是由奔馳自動駕駛實驗室、馬克思·普朗克研究所、達(dá)姆施塔特工業(yè)大學(xué)聯(lián)合發(fā)布的圖像數(shù)據(jù)集，專注于對城市街景的語義理解。 該數(shù)據(jù)集包含50個城市不同場景、不同背景、不同街景，以及30類涵蓋地面、建筑、交通標(biāo)志、自然、天空、人和車輛等的物體標(biāo)注，共有5000張精細(xì)標(biāo)注的圖像和2萬張粗略標(biāo)注的圖像。
1.4? 評價指標(biāo)（重點）
平均交并比 (mean Intersection over Union, mIoU) ——每個類別的所有像素去計算交并比
1.5? 語義分割方法
1.5.1? 基于滑動窗的提取圖像塊后分類
基于滑動窗提取圖像塊然后對圖像塊的中心進(jìn)行分類
1.5.2? 用CNN計算整幅圖的特征
用CNN計算整幅圖的特征，然后在其上進(jìn)行標(biāo)簽預(yù)測
1.5.3? 全卷積網(wǎng)絡(luò)
【方案一】
設(shè)計只含有卷積層而沒有降采樣操作的神經(jīng)網(wǎng)絡(luò)，這樣可以同時對所有像素進(jìn)行標(biāo)簽預(yù)測
【方案二】
設(shè)計包含卷積層、下采樣操作和上采樣操作的神經(jīng)網(wǎng)絡(luò)。
下采樣操作：可以通過池化和加大卷積步長來實現(xiàn)
上采樣操作：可以通過插值、逆池化和轉(zhuǎn)置卷積來實現(xiàn)
【插值】
【逆池化】
【轉(zhuǎn)置卷積】
【上采樣結(jié)構(gòu)總結(jié)】
【U-Net】
1.5.4? DeepLab系列
【Deeplab V1】
【Deeplab V2】
【Deeplab V3】
【Deeplab V3+】
1.5.5? PSPNet
1.5.6? HRNet
二、實例分割
2.1? 實例分割的概念
實例分割 可以近似看為 目標(biāo)檢測 + 語義分割
2.2? Mask R-CNN
2.3? 評價指標(biāo)（重點）
2.4? 實例分割效果
文章來源：http://www.zghlxwxcb.cn/news/detail-817019.html
總結(jié)
在本文中，我們學(xué)習(xí)了語義分割和實例分割，需要清楚二者的區(qū)別，并掌握二者的算法流程，需要重點關(guān)注語義分割和實例分割的方法舉例和評價指標(biāo)。文章來源地址http://www.zghlxwxcb.cn/news/detail-817019.html
到了這里，關(guān)于計算機(jī)視覺基礎(chǔ)（11）——語義分割和實例分割的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
![深度學(xué)習(xí)應(yīng)用篇-計算機(jī)視覺-語義分割綜述[5]：FCN、SegNet、Deeplab等分割算法、常用二維三維半立體數(shù)據(jù)集匯總、前景展望等](https://imgs.yssmx.com/Uploads/2024/02/567599-1.png)
