• 視頻鏈接：語義分割與MMSegmentation
• 好的教程：超詳細！手把手帶你輕松用 MMSegmentation 跑語義分割數(shù)據(jù)集
• 以及：超詳細！帶你輕松掌握 MMSegmentation 整體構建流程
• 案例代碼：https://github.com/TommyZihao/MMSegmentation_Tutorials

1. 基本概念

1.1 案例演示

1.2 應用

1.3 語義分割概念

2. 語義分割算法

2.1 語義分割基本思路

2.1.1 按顏色

最簡單的思路：按照顏色聚類，基于同一物體顏色具有連續(xù)性這個先驗知識

• 大部分情況下，都可以分割（實現(xiàn)摳圖）
• 但是沒有語義，就無法對同類物體做合并或者歸為一類
  • 比如上圖有個電線桿，馬路就被分成了兩部分。
  • 同時需要額外手段確定物體類別
• 另外所基于的先驗知識不完全準確，不同物體顏色可能接近，物體內也會包含多種顏色

2.1.2 逐像素分類

最早的CNN是用于分類問題的，分割任務可以作為逐像素分類的任務對待，基于滑窗逐點分類。

• 優(yōu)勢：充分利用現(xiàn)有的圖像分類模型
• 問題：效率低下，重疊區(qū)域重復計算卷積。。。
  • 這個問題不是密集檢測解決了嗎。。。??

復用卷積計算：對于同樣的卷積核，在滑窗上計算卷積，和直接在原圖上計算卷積，計算結果是相同的。

這部分就是目標檢測里rcnn→fast rcnn→faster rcnn的思路

雖然復用卷積解決重復卷積計算的問題，但是還有個輸入尺寸固定的問題

• 傳統(tǒng)的卷積神經(jīng)網(wǎng)絡里有全連接層，這就需要輸入的特征圖尺寸是固定的，進一步需要讓輸入的尺寸是固定的（輸入網(wǎng)絡的尺寸是固定的，原圖如果size不合適需要進行resize等操作使之符合輸入網(wǎng)絡的尺寸）
• 但是我們希望分割的圖像是任意大小的尺寸，這就導致特征圖大小也不固定，就無法使用全連接層進行分類

可以使用全連接層的卷積化來解決輸入尺寸不固定的問題

2.2 深度學習下的語義分割模型

2.2.1 全卷積網(wǎng)絡

這里的問題在于：卷積神經(jīng)網(wǎng)絡逐層降采樣，導致特征圖的空間分辨率比原圖要小很多，無法和原圖對齊。

所以需要有一些上采樣的辦法

可以用一個卷積核模擬雙線性插值的效果，此時就是一個固定的卷積核，實現(xiàn)了上采樣的效果。

如果不模擬雙線性插值，而是直接給出一個需要去學習的卷積核，讓它完成上采樣的任務，這就是轉置卷積

結合高層和低層特征圖，mmdetection里FPN特征金字塔（2016年），以及mmpose里HRNet（2019年）。套路一直是一樣的。。。

2.2.2 Unet

2.2.3 上下文信息與PSPNet模型

上面Unet和FCN都是用了上下層的信息（高層語義和低層細節(jié)互補，高層+低層特征）。
另外還有使用上下文信息的

利用上下文信息來改善分割效果，也是分割網(wǎng)絡進化的一個思路。

• 可能擴大感受野，使得在局部預測中包含上下文信息

多尺度池化，就對應不同尺度的感受野

2.2.4 空洞卷積與DeepLab算法

多尺度的空洞卷積ASPP模塊就是多尺度池化+空洞卷積

2.2.5 總結

2.2.6 前言語義分割算法

Transformer系列

統(tǒng)一語義分割、實例分割和全景分割任務，大一統(tǒng)模型

以上幾種比較前沿的新算法，MMSegmentation里都有實現(xiàn)

LabelStudio和LabelMe都集成了SAM，可以試試標注效果

參考：

• cvat VS label-studio
• Data Labeling Software: Best Tools for Data Labeling

2.3分割模型的評估方法

3. MMSegmentation

• Github鏈接：https://github.com/open-mmlab/mmsegmentation/blob/main/README_zh-CN.md
• 文檔：https://mmsegmentation.readthedocs.io/zh_CN/latest/index.html

3.1 支持的數(shù)據(jù)集

參考：超詳細！手把手帶你輕松用 MMSegmentation 跑語義分割數(shù)據(jù)集

下載和將它重新組織成 MMSegmentaion 可以運行的格式的腳本，可以看看

• mmsegmentation/docs/en/user_guides/2_dataset_prepare.md，
• 或者中文文檔：mmsegmentation/docs/zh_cn/dataset_prepare.md

已支持的數(shù)據(jù)集

• Cityscapes：自動駕駛數(shù)據(jù)集，詳見：圖像分割cityscape數(shù)據(jù)集使用介紹，值得一讀！
• PASCAL VOC：常規(guī)自然場景的語義分割
• ADE20K：有2萬張圖片150種目標的場景數(shù)據(jù)集，詳見：ADE20K數(shù)據(jù)集
• Pascal Context： 是PASCAL VOC 2010 檢測挑戰(zhàn)的擴展，詳見：語義分割的數(shù)據(jù)集
• COCO-Stuff 10k、COCO-Stuff 164k
• CHASE_DB1：視網(wǎng)膜血管分割數(shù)據(jù)集，詳見：Chasedb1–視網(wǎng)膜血管分割數(shù)據(jù)集
• DRIVE：用于視網(wǎng)膜病變研究的數(shù)據(jù)集，詳見：視網(wǎng)膜血管圖像數(shù)據(jù)集DRIVE簡介
• HRF：視網(wǎng)膜血管分割數(shù)據(jù)集，詳見：HRF 視網(wǎng)膜血管分割數(shù)據(jù)集
• STARE：視網(wǎng)膜數(shù)據(jù)集
• Dark Zurich：自動駕駛數(shù)據(jù)集（有GPS數(shù)據(jù)），詳見：Dark Zurich 語義分割數(shù)據(jù)集
  
• Nighttime Driving：道路場景數(shù)據(jù)集，由 35,000 張圖像組成。詳見：Nighttime Driving
• LoveDA：遙感語義分割(農村和城市的土地覆蓋)，詳見：Junjue-Wang/LoveDA

快搜完了發(fā)現(xiàn)已經(jīng)有文章整理過了。。。??????文章來源地址http://www.zghlxwxcb.cn/news/detail-486863.html

到了這里，關于OpenMMLab-AI實戰(zhàn)營第二期——5-1.語義分割與MMSegmentation的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！