語義分割前言?

目錄

一、定義

1、概念?

2、 常見分割任務(wù)

3、建筑物提取(Building Footprint Extraction)

二、任務(wù)數(shù)據(jù)

1、數(shù)據(jù)集格式

2、結(jié)果具體形式

三、評(píng)價(jià)指標(biāo)與標(biāo)注

1、評(píng)價(jià)指標(biāo)

2、標(biāo)注工具

一、定義

1、概念?

????????語義分割（Semantic Segmentation）是計(jì)算機(jī)視覺中的一項(xiàng)任務(wù)，目標(biāo)是將圖像中的每個(gè)像素按其語義類別進(jìn)行分類。與傳統(tǒng)的目標(biāo)檢測不同，語義分割對(duì)圖像中的每個(gè)像素都進(jìn)行分類，而不是只關(guān)注物體的邊界框。

????????語義分割的目標(biāo)是給圖像中的每個(gè)像素分配一個(gè)類別標(biāo)簽，通常使用顏色編碼來可視化不同的類別。例如，將圖像中的道路像素標(biāo)記為藍(lán)色，建筑物像素標(biāo)記為紅色等。

????????語義分割在許多計(jì)算機(jī)視覺任務(wù)中起到重要作用，如自動(dòng)駕駛、智能監(jiān)控、圖像編輯等。它可以提供詳細(xì)的場景理解，使計(jì)算機(jī)能夠準(zhǔn)確地理解圖像中的不同物體和區(qū)域，并在各種應(yīng)用中進(jìn)行更精確的分析和決策。

????????近年來，隨著深度學(xué)習(xí)的快速發(fā)展，基于深度學(xué)習(xí)的語義分割方法取得了顯著的進(jìn)展。常用的深度學(xué)習(xí)模型包括全卷積網(wǎng)絡(luò)（FCN）、U-Net、DeepLab等，它們能夠準(zhǔn)確地分割圖像，并在各種實(shí)際場景中取得了優(yōu)秀的性能。

2、 常見分割任務(wù)

語義分割、實(shí)例分割、全景分割？這些基本概念別再搞混了！

語義 VS 實(shí)例 VS 全景分割?

語義分割(Semantic Segmentation)

????????語義分割是將圖像分割為不同的語義區(qū)域，即將圖像中的每個(gè)像素都標(biāo)記為屬于哪個(gè)語義類別。換句話說，它的目標(biāo)是為圖像中的每個(gè)像素分配一個(gè)語義標(biāo)簽，例如人、車、樹、建筑等。語義分割關(guān)注的是圖像中的每個(gè)像素的語義信息，不關(guān)心具體的實(shí)例。

實(shí)例分割(Instance Segmentation)

????????實(shí)例分割是將圖像中的目標(biāo)物體分割為獨(dú)立的實(shí)例，即為每個(gè)目標(biāo)分配唯一的標(biāo)識(shí)符，并進(jìn)行像素級(jí)的分割。與語義分割不同，實(shí)例分割不僅關(guān)注目標(biāo)的語義類別，還關(guān)注目標(biāo)的個(gè)體性。因此，在實(shí)例分割中，同一類別的不同目標(biāo)物體會(huì)被分配不同的標(biāo)識(shí)符，以區(qū)分它們。

全景分割(Panoramic Segmentation)

????????全景分割是語義分割和實(shí)例分割的融合，旨在將圖像中的每個(gè)像素分配一個(gè)語義標(biāo)簽，并為每個(gè)目標(biāo)物體分配唯一的標(biāo)識(shí)符，同時(shí)區(qū)分不同的實(shí)例。全景分割可以視為將圖像中的每個(gè)像素標(biāo)記為語義類別和實(shí)例標(biāo)識(shí)符的任務(wù)。實(shí)質(zhì)上，全景分割是一種綜合性的圖像分割任務(wù)，旨在提供對(duì)圖像中所有物體的語義信息和個(gè)體信息。

3、建筑物提取(Building Footprint Extraction)

????????建筑物提取任務(wù)BFE（Building Footprint Extraction）是指從高分辨率遙感圖像中準(zhǔn)確地提取出建筑物的輪廓或邊界信息。這是一項(xiàng)具有重要應(yīng)用價(jià)值的任務(wù)，可以用于城市規(guī)劃、地理信息系統(tǒng)（GIS）、自動(dòng)駕駛、災(zāi)害評(píng)估等領(lǐng)域。

????????BFE任務(wù)的挑戰(zhàn)在于建筑物在圖像中呈現(xiàn)出各種形狀、大小和復(fù)雜性。為了解決這個(gè)問題，研究者們提出了各種方法和算法。以下是一些常用的BFE方法：

1. 基于圖像特征的方法：這些方法利用圖像的顏色、紋理、形狀等特征來區(qū)分建筑物和非建筑物。例如，可以使用邊緣檢測、紋理分析、形狀匹配等技術(shù)來提取建筑物的邊界。

2. 基于機(jī)器學(xué)習(xí)的方法：這些方法使用機(jī)器學(xué)習(xí)算法來學(xué)習(xí)建筑物和非建筑物的分類器。常用的算法包括支持向量機(jī)（SVM）、隨機(jī)森林（Random Forest）和深度學(xué)習(xí)模型等。這些方法需要大量的標(biāo)注數(shù)據(jù)和特征工程。

3. 基于分割的方法：這些方法將建筑物提取任務(wù)看作是像素級(jí)的語義分割任務(wù)，利用分割模型將每個(gè)像素分類為建筑物或非建筑物。深度學(xué)習(xí)模型如U-Net、Mask R-CNN等常被用于此類方法。

4. 基于無監(jiān)督學(xué)習(xí)的方法：這些方法通過對(duì)圖像進(jìn)行聚類和分割來提取建筑物。常用的技術(shù)包括基于顏色、紋理和形狀的聚類分析、超像素分割等。

5. 結(jié)合多源數(shù)據(jù)的方法：這些方法將多源數(shù)據(jù)（如高分辨率遙感圖像、激光雷達(dá)數(shù)據(jù)等）結(jié)合起來，通過融合不同數(shù)據(jù)源的信息來提高建筑物提取的準(zhǔn)確性。

????????BFE是一個(gè)復(fù)雜的任務(wù)，目前仍然存在一些挑戰(zhàn)和問題，如建筑物遮擋、復(fù)雜背景、低對(duì)比度等。未來的研究將繼續(xù)致力于提高建筑物提取的準(zhǔn)確性和魯棒性，以滿足實(shí)際應(yīng)用的需求。

二、任務(wù)數(shù)據(jù)

1、數(shù)據(jù)集格式

PASCAL VOC2012數(shù)據(jù)集介紹

????????PASCAL VOC數(shù)據(jù)集提供一個(gè)PNG圖片(P模式)，在圖片中記錄每個(gè)像素所屬的類別信息。需要注意的是，提供的PNG圖片是用調(diào)色板的模式進(jìn)行存儲(chǔ)，為1通道圖片，圖象呈彩色是因?yàn)獒槍?duì)像素0到255提供了一個(gè)調(diào)色板，針對(duì)每個(gè)像素值都對(duì)應(yīng)一個(gè)顏色，所以可以將1通道的圖片映射到彩色的圖片上。?

notes:

? ? ? ? 針對(duì)目標(biāo)的邊緣，會(huì)有特殊的顏色進(jìn)行分割，或者圖片特殊區(qū)域也會(huì)用特殊顏色進(jìn)行填充。該特殊顏色對(duì)應(yīng)的像素值是255，在訓(xùn)練過程中計(jì)算損失時(shí)會(huì)忽略數(shù)值為255的地方，針對(duì)目標(biāo)邊緣的類別劃分并不容易，包括有些不容易分割的目標(biāo)也可以進(jìn)行填充，這樣就可以忽略，在訓(xùn)練模型時(shí)候就不會(huì)計(jì)算這部分損失。

MS COCO數(shù)據(jù)集介紹以及pycocotools簡單使用?

? ? ? ? MS COCO數(shù)據(jù)集中提供的是針對(duì)圖片中每一個(gè)目標(biāo)都給出了多邊形的坐標(biāo)形式，將坐標(biāo)點(diǎn)連起來就對(duì)應(yīng)了目標(biāo)所在的區(qū)域。在使用中需要將多邊形坐標(biāo)信息解碼成PNG圖片。計(jì)算損失時(shí)將預(yù)測的每個(gè)像素對(duì)應(yīng)的類別與真實(shí)標(biāo)簽的每一個(gè)類別進(jìn)行對(duì)比計(jì)算，所以在計(jì)算損失時(shí)希望得到PNG圖象的。

2、結(jié)果具體形式

? ? ? ? 單通道圖片，加上調(diào)色板顯示彩色。如圖，背景的像素值為0，對(duì)應(yīng)飛機(jī)的位置像素值為1，對(duì)應(yīng)人的位置像素值等于15?；叶葓D片顯示效果遠(yuǎn)不如調(diào)色板顯彩效果。每個(gè)像素的數(shù)值對(duì)應(yīng)了每個(gè)類別的索引。

三、評(píng)價(jià)指標(biāo)與標(biāo)注

1、評(píng)價(jià)指標(biāo)

Pixel Accuracy(Global Acc)

?

• 在預(yù)測標(biāo)簽圖像中所有預(yù)測正確的像素個(gè)數(shù)的總和除以這幅圖片的總像素個(gè)數(shù)。?

mean Accuracy

?

• ?每個(gè)類別的Accuracy計(jì)算出來，再進(jìn)行求和取平均操作。

mean IoU

?

• 計(jì)算每個(gè)類別的IoU，然后每個(gè)類別求平均操作。目標(biāo)IoU交并比計(jì)算是將兩個(gè)目標(biāo)的交集面積比上兩個(gè)目標(biāo)的并集面積，公式的含義則是該類別的正確預(yù)測像素個(gè)數(shù)比上真實(shí)標(biāo)簽與預(yù)測像素的并集面積，并集計(jì)算過程為真實(shí)標(biāo)簽面積加上錯(cuò)誤預(yù)測面積減去正確預(yù)測面積。?

notes：?

• ：類別被預(yù)測成類別的像素個(gè)數(shù)，如為類別被預(yù)測成類別的像素個(gè)數(shù)，即正確像素個(gè)數(shù)
• ：目標(biāo)類別個(gè)數(shù)(包含背景)
• ：目標(biāo)類別的總像素個(gè)數(shù)(真實(shí)標(biāo)簽)

?構(gòu)建混淆矩陣進(jìn)行計(jì)算

• 表示類別被預(yù)測為的像素個(gè)數(shù)，即矩陣正對(duì)角線上對(duì)應(yīng)的是被正確預(yù)測類別的像素?cái)?shù)量
• 表示類別被預(yù)測為的像素個(gè)數(shù)，如為類別0被預(yù)測為類別1的像素個(gè)數(shù)

2、標(biāo)注工具

Labelme?

Labelme分割標(biāo)注軟件使用?

EISeg?

EISeg分割標(biāo)注軟件使用?

ArcGis

?深度學(xué)習(xí)/語義分割入門筆記（一）——遙感影像數(shù)據(jù)集及標(biāo)簽制作+arcgis批量矢量轉(zhuǎn)柵格

語義分割—遙感影像數(shù)據(jù)標(biāo)簽制作（ARCGIS）?文章來源地址http://www.zghlxwxcb.cn/news/detail-811061.html

到了這里，關(guān)于[SS]語義分割——基礎(chǔ)知識(shí)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！