一、摘要

開(kāi)放詞匯語(yǔ)義分割旨在根據(jù)文本描述將圖像分割成語(yǔ)義區(qū)域，這些區(qū)域在訓(xùn)練過(guò)程中可能沒(méi)有看到。

最近的兩階段方法首先生成與類別無(wú)關(guān)的mask proposals，然后利用預(yù)訓(xùn)練的視覺(jué)語(yǔ)言模型(例如CLIP)對(duì) masked regions 進(jìn)行分類。我們認(rèn)為這種模式的性能瓶頸是預(yù)訓(xùn)練的CLIP模型，因?yàn)樗?masked images 上表現(xiàn)不佳。

為了解決這個(gè)問(wèn)題，我們建議對(duì)一組masked image regions及其相應(yīng)的文本描述進(jìn)行微調(diào)CLIP。我們通過(guò)挖掘現(xiàn)有的圖像標(biāo)題數(shù)據(jù)集(例如，COCO Captions)來(lái)收集訓(xùn)練數(shù)據(jù)，使用CLIP將masked image regions與圖像標(biāo)題中的名詞相匹配。

與更精確的人工標(biāo)注的固定類分割標(biāo)簽(如COCO-Stuff)相比，我們發(fā)現(xiàn)我們的有噪聲但多樣化的數(shù)據(jù)集可以更好地保留CLIP的泛化能力。隨著整個(gè)模型的微調(diào)，我們利用masked images中的“空白”區(qū)域，使用我們稱之為mask prompt tuning。

實(shí)驗(yàn)表明，在不改變?nèi)魏蜟LIP權(quán)值的情況下，mask prompt tuning帶來(lái)了顯著的改善，可以進(jìn)一步改善全調(diào)優(yōu)模型。

二、Introduction

語(yǔ)義分割的目的是將像素劃分為具有相應(yīng)語(yǔ)義類別的有意義區(qū)域。盡管已經(jīng)取得了顯著的進(jìn)展，但現(xiàn)代語(yǔ)義分割模型主要是用預(yù)定義的類別進(jìn)行訓(xùn)練，無(wú)法泛化到看不見(jiàn)的類別。為了達(dá)到人類水平的感知，本文研究了開(kāi)放詞匯語(yǔ)義分割，其中模型通過(guò)文本描述的任意類別對(duì)圖像進(jìn)行分割。

視覺(jué)語(yǔ)言模型，如CLIP，從十億尺度的圖像-文本對(duì)中學(xué)習(xí)豐富的多模態(tài)特征。由于其優(yōu)越的開(kāi)放詞匯分類能力，已有研究提出使用預(yù)訓(xùn)練的視覺(jué)語(yǔ)言模型進(jìn)行開(kāi)放詞匯分割。其中，兩階段方法顯示出巨大的潛力：它們首先生成class-agnostic mask proposals，然后利用預(yù)訓(xùn)練的CLIP來(lái)執(zhí)行開(kāi)放詞匯表分類(參見(jiàn)圖1(b))。他們的成功依賴于兩個(gè)假設(shè)：

1. 模型可以生成class-agnostic mask proposals ；
2. 預(yù)訓(xùn)練的CLIP可以將其分類性能轉(zhuǎn)移到masked image proposals。

為了檢驗(yàn)這兩個(gè)假設(shè)，我們進(jìn)行了以下分析。首先，我們假設(shè)有一個(gè)“oracle”掩碼生成器和一個(gè)普通的CLIP分類器。我們使用ground-truth mask作為region proposals，并將masked images提供給預(yù)訓(xùn)練的CLIP進(jìn)行分類。該模型在ADE20K-150數(shù)據(jù)集上的mIoU僅達(dá)到20.1%。接下來(lái)，我們假設(shè)一個(gè)“oracle”分類器，但它是一個(gè)普通的mask proposal generator —在COCO數(shù)據(jù)集上預(yù)訓(xùn)練的MaskFormer。我們首先提取 masked region proposals，然后將每個(gè)區(qū)域與ground-truth對(duì)象masks進(jìn)行比較，找到重疊程度最高的對(duì)象，并將對(duì)象標(biāo)簽分配給提取的區(qū)域。盡管region proposals不完善，但該模型的mIoU明顯更高，達(dá)到66.5%。

這一分析清楚地表明，預(yù)訓(xùn)練的CLIP不能對(duì)masked images進(jìn)行令人滿意的分類，這是兩階段開(kāi)放詞匯表分割模型的性能瓶頸。我們假設(shè)這是由masked images和CLIP的訓(xùn)練圖像之間的顯著域間隙引起的。CLIP是用最小的數(shù)據(jù)增強(qiáng)在自然圖像上進(jìn)行預(yù)訓(xùn)練的。另一方面，mask proposals從原始圖像中裁剪和調(diào)整大小，并進(jìn)一步被noisy segmentation masks破壞，參見(jiàn)圖1 (b)中的示例。

(a) CLIP使用自然圖像進(jìn)行預(yù)訓(xùn)練，數(shù)據(jù)增強(qiáng)較少。

(b)兩階段開(kāi)放詞匯語(yǔ)義分割方法首先生成與類別無(wú)關(guān)的mask proposals，然后利用預(yù)訓(xùn)練的CLIP進(jìn)行開(kāi)放詞匯分類。CLIP模型的輸入是裁剪后的masked images，這些圖像與自然圖像有很大的域差。

?我們的分析表明，預(yù)訓(xùn)練的CLIP在masked images上效果不佳。

為了解決這個(gè)問(wèn)題，我們建議通過(guò)對(duì)masked images和相應(yīng)的文本標(biāo)簽進(jìn)行微調(diào)來(lái)適應(yīng)CLIP。

一個(gè)直接的解決方案是使用分割標(biāo)簽，例如，來(lái)自COCO-stuff數(shù)據(jù)集。然而，這會(huì)導(dǎo)致對(duì)不可見(jiàn)類的不好泛化。這種手動(dòng)標(biāo)注的masks是準(zhǔn)確的，但類僅限于一個(gè)封閉的集合(例如，COCO-stuff的171個(gè)類)。我們假設(shè)文本多樣性的缺乏導(dǎo)致微調(diào)后的CLIP失去對(duì)打開(kāi)詞匯概念的泛化能力。相反，我們通過(guò)挖掘現(xiàn)有的圖像標(biāo)題數(shù)據(jù)集(例如COCO Captions)來(lái)收集訓(xùn)練數(shù)據(jù)。給定圖像-標(biāo)題對(duì)，我們首先提取標(biāo)題中的名詞，并使用預(yù)訓(xùn)練的分割模型生成與類別無(wú)關(guān)的masked region proposals。然后，使用預(yù)訓(xùn)練的CLIP模型，我們?yōu)槊總€(gè)提取的名詞分配最佳region proposal。通過(guò)學(xué)習(xí)這種masked images與新類別之間的弱監(jiān)督比對(duì)，適應(yīng)后的CLIP更好地保留了開(kāi)放詞匯分類的泛化能力。

接下來(lái)的問(wèn)題是如何有效地對(duì)CLIP進(jìn)行微調(diào)?masked images與自然圖像最顯著的區(qū)別是masked images中的背景像素被masked，導(dǎo)致許多空白區(qū)域，這些空白區(qū)域在饋送到CLIP transformers 時(shí)將被轉(zhuǎn)換為 “zero tokens”。這樣的tokens不僅不包含有用的信息，而且還會(huì)給模型帶來(lái)域分布偏移(因?yàn)檫@樣的tokens在自然圖像中不存在)，并導(dǎo)致性能下降。為了緩解這種情況，我們提出了mask prompt tuning，即visual prompt tuning。

在我們的實(shí)驗(yàn)中，我們以“zero-shot”的方式測(cè)量開(kāi)放詞匯分割數(shù)據(jù)集上的分割性能—我們不為每個(gè)評(píng)估數(shù)據(jù)集調(diào)整模型。我們使用帶有標(biāo)題的COCO-stuff數(shù)據(jù)集訓(xùn)練我們的模型。

綜上所述，我們的貢獻(xiàn)包括：

(1)我們的分析表明，預(yù)訓(xùn)練的CLIP在mask proposals上表現(xiàn)不佳，使其成為兩階段方法的性能瓶頸。

(2)從captions中收集不同的mask-category pairs，使CLIP適應(yīng)masked images，并保持其泛化能力。

(3)我們提出了mask prompt tuning，專門用于masked image adaptation。此方法不改變CLIP的權(quán)重，支持多任務(wù)權(quán)重共享。

(4)在2017年，我們首次證明開(kāi)放詞匯generalist 模型可以在沒(méi)有特定數(shù)據(jù)集調(diào)整的情況下與監(jiān)督專家模型的性能相匹配。

三、Method

我們首先回顧兩階段開(kāi)放詞匯分詞方法。然后討論了如何獲得一個(gè)mask-category pairs的數(shù)據(jù)集來(lái)對(duì)CLIP進(jìn)行微調(diào)。最后，我們討論了提出的mask prompt tuning技術(shù)，以適應(yīng)masked images的CLIP。

3.1 Two-stage models for open-vocabulary semantic segmentation

我們的兩階段開(kāi)放詞匯語(yǔ)義分割模型如圖所示。它包括一個(gè)生成mask proposals的分割模型和一個(gè)開(kāi)放的詞匯分類模型。

兩階段方法由一個(gè)分割模型(如MaskFormer)和一個(gè)CLIP模型組成。首先，利用CLIP的文本嵌入對(duì)改進(jìn)后的MaskFormer進(jìn)行訓(xùn)練，進(jìn)行開(kāi)放詞匯分詞。然后，我們使用預(yù)訓(xùn)練的分割模型來(lái)生成與類別無(wú)關(guān)的proposals，并將proposals與從相應(yīng)標(biāo)題中提取的名詞對(duì)齊。在收集了不同的mask-category pairs之后，我們用提出的mask prompt tuning來(lái)微調(diào)CLIP。

MaskFormer預(yù)測(cè)一組$N$個(gè)mask proposals和相應(yīng)的類預(yù)測(cè)。每個(gè)提議用一個(gè)$H\times W$二進(jìn)制 masks 表示，表示目標(biāo)物體的位置。類預(yù)測(cè)是一個(gè)$C$維分布，其中$C$為訓(xùn)練集中的類數(shù)。

在之后，我們修改了MaskFormer，這樣對(duì)于每個(gè)mask，它都會(huì)生成一個(gè)$C$維的提議嵌入，其中$C$是CLIP模型的嵌入維數(shù)(ViT-B/16為512,ViT-L/14為768)。這個(gè)改變?cè)试SMaskFormer執(zhí)行開(kāi)放詞匯分割。

具體來(lái)說(shuō)，假設(shè)我們想要將masks分類為$K$個(gè)類別，我們可以首先使用CLIP模型的文本編碼器為每個(gè)類別生成$K$個(gè)文本嵌入；接下來(lái)，我們將每個(gè)mask embedding $v_i$與文本嵌入進(jìn)行比較，并預(yù)測(cè)$k$類概率為$p_{i,k}$

公式
$$p_{i,k}=\frac{\exp (\sigma (v_i,t_k)/T)}{{\sum }_k(\exp (\sigma (v_i,t_k)/T))}$$

其中表示兩個(gè)嵌入向量之間的余弦相似度，τ是溫度系數(shù)。

我們用171個(gè)類在COCO-Stuff數(shù)據(jù)集上訓(xùn)練修改后的MaskFormer。我們使用CLIP的文本編碼器來(lái)處理類名以生成文本嵌入。我們還附加了一個(gè)可學(xué)習(xí)嵌入 ? 來(lái)表示“無(wú)對(duì)象”的范疇。對(duì)于其他訓(xùn)練設(shè)置，我們遵循原始的MaskFormer。

請(qǐng)注意，以這種方式訓(xùn)練的mask proposals生成器并不是嚴(yán)格的“類不可知”，因?yàn)閷?duì)象的定義是由訓(xùn)練集中的類定義決定的。例如，如果訓(xùn)練集只包含“人”作為一個(gè)類，則模型不太可能自動(dòng)將人分割為“臉”、“手”、“身體”或更精細(xì)的身體部位。

如何訓(xùn)練一個(gè)通用的和類不可知論的模型來(lái)生成mask proposals是一個(gè)重要的話題，但超出了本文的范圍。

除了MaskFormer的預(yù)測(cè)之外，在之后，我們使用CLIP添加了一個(gè)并行預(yù)測(cè)分支。MaskFormer生成mask proposals，N其中1和0分別代表前景和背景。對(duì)于每個(gè)mask，我們選擇一個(gè)包含所有前景像素的緊密邊界框，裁剪圖像，mask out backgrounds，并重新調(diào)整大小到CLIP的分辨率。我們將mask proposals提供給CLIP，并計(jì)算類$k$的概率。我們將這兩個(gè)預(yù)測(cè)集合起來(lái)計(jì)算最終預(yù)測(cè)。我們使用MaskFormer的融合模塊將mask預(yù)測(cè)融合到語(yǔ)義分割中。

3.2 Collecting diverse mask-category pairs from captions

為了使CLIP更好地處理masked images，我們建議在由masked images和文本對(duì)組成的數(shù)據(jù)集上對(duì)CLIP進(jìn)行微調(diào)。一個(gè)直接的解決方案是利用手動(dòng)標(biāo)注的分割標(biāo)簽，例如，來(lái)自COCO-Stuff。

這樣的標(biāo)簽是準(zhǔn)確的，但有一組封閉的類別。

我們嘗試了這個(gè)解決方案，并從COCOStuff收集了965K對(duì)mask-category，跨越171個(gè)類別(例如，香蕉，橙色)。然后我們調(diào)整CLIP的圖像編碼器，同時(shí)凍結(jié)文本編碼器。然而，我們觀察到這種樸素的方法限制了CLIP的泛化能力，因?yàn)槿绻懈嗫床灰?jiàn)的類，性能會(huì)下降。我們假設(shè)，由于有限的文本詞匯表，經(jīng)過(guò)微調(diào)的CLIP過(guò)度適合171個(gè)類，失去了推廣到未知類別的能力。

與分割標(biāo)簽相比，圖像標(biāo)題包含更豐富的圖像信息，涉及更大的詞匯表。例如，在下圖中，圖像標(biāo)題是“有蘋果、橘子和茶壺”。雖然“apple”和“orange”是cocoa - stuff中的有效類，但其他概念不是有效類并被忽略。

對(duì)于給定的圖像-標(biāo)題對(duì)，只有“蘋果”和“橘子”是COCO中的類別。通過(guò)從標(biāo)題中提取名詞，我們還可以得到一個(gè)新的“茶壺”類別。

基于這一觀察，我們?cè)O(shè)計(jì)了一種自標(biāo)記策略來(lái)提取mask-category pairs。如上圖所示，給定一張圖像，我們首先使用預(yù)訓(xùn)練MaskFormer來(lái)提取mask proposal 。我們使用現(xiàn)成的語(yǔ)言解析器提取所有名詞，并將它們視為潛在的類。然后，我們使用CLIP將最匹配的mask proposal 配對(duì)到每個(gè)類。從COCO-Captions中，我們收集了130萬(wàn)個(gè)mask-category pairs，其中包含27K個(gè)唯一名詞，每張圖片使用5個(gè)標(biāo)題，或者440K對(duì)，包含12K個(gè)名詞，每張圖片使用1個(gè)標(biāo)題。實(shí)驗(yàn)表明，這種嘈雜但多樣化的mask-category數(shù)據(jù)集的性能明顯優(yōu)于手動(dòng)分割標(biāo)簽。

3.3 Mask prompt tuning

在收集數(shù)據(jù)集之后，一個(gè)自然的問(wèn)題是如何有效地微調(diào)CLIP ?

masked image和自然圖像最顯著的區(qū)別是masked image中的背景像素被設(shè)置為零，導(dǎo)致許多“空白區(qū)域”。將masked image饋送到CLIP時(shí)，圖像將被分割成不重疊的小塊并進(jìn)行標(biāo)記。這些空白區(qū)域?qū)⒆兂蓏ero tokens。這樣的tokens不僅不包含有用的信息，而且還會(huì)給模型帶來(lái)域分布偏移(因?yàn)檫@樣的tokens在自然圖像中不存在)，并導(dǎo)致性能下降。為了減輕這種情況，我們提出了一種稱為mask prompt tuning的技術(shù)，即視覺(jué)提示調(diào)優(yōu)。

具體來(lái)說(shuō)，當(dāng)輸入CLIP時(shí)，masked image將被標(biāo)記為張量$T\in R^{N_p\times E}$，其中$N_p$為patch的個(gè)數(shù)，$E$為token維數(shù)。masked image還帶有一個(gè)壓縮的二進(jìn)制mask $M_p\in {0,1}^{N_p}$，其中每個(gè)元素表示給定的patch是保留還是masked out。只有當(dāng)patch內(nèi)的所有像素都被完全masked時(shí)，該patch才被視為masked token。直觀的感覺(jué)是，邊界像素通常存在于部分masked patches中，對(duì)區(qū)域分類至關(guān)重要。我們分配一個(gè)可學(xué)習(xí)的張量，將prompt tokens表示為$P\in R^{N_p\times E}$。

最后，transformer的最終輸入被計(jì)算為$T$ ? $M_p$ + $P$ ? (1 ? $M_p$)，其中 ? 表示元素的乘法，我們可以將這樣的 prompt tokens 添加到transformer 的更深層。

與完全調(diào)整整個(gè)模型相比，mask prompt tuning有幾個(gè)優(yōu)點(diǎn)。首先，它是專門為分割任務(wù)設(shè)計(jì)的，其中部分輸入圖像masked。其次，與全模型調(diào)優(yōu)相比，mask prompt tuning的可訓(xùn)練參數(shù)數(shù)量要少幾個(gè)數(shù)量級(jí)，訓(xùn)練效率要高得多。此外，作為一個(gè)基礎(chǔ)模型，CLIP可能同時(shí)用于許多任務(wù)，并且我們可能不允許調(diào)整CLIP的權(quán)重。

mask prompt tuning不需要改變CLIP的權(quán)重，適合多任務(wù)場(chǎng)景。最后，我們的實(shí)驗(yàn)表明，mask prompt tuning單獨(dú)導(dǎo)致顯著改善。如果與全模型微調(diào)一起使用，可以進(jìn)一步提高開(kāi)放詞匯表分割性能。

所提出的掩碼提示調(diào)整可以在不改變權(quán)重的情況下使CLIP適應(yīng) masked images。我們用可學(xué)習(xí)的mask prompt tuning替換masked patches中的zero tokens。

四、Experiments

4.1 Training Dataset

我們?cè)贑OCO數(shù)據(jù)集上訓(xùn)練我們的模型。我們首先使用來(lái)自COCO-Stuff[5]的分割標(biāo)簽訓(xùn)練修改后的MaskFormer。

接下來(lái)，我們?cè)趶腃OCO Captions獲得的mask-category數(shù)據(jù)集上對(duì)CLIP進(jìn)行微調(diào)。數(shù)據(jù)集中有118k個(gè)訓(xùn)練圖像，標(biāo)記有171個(gè)有效類別，從物體(例如橙色、汽車)到物體(例如天空、道路)。如果沒(méi)有特別說(shuō)明，我們?cè)谟?xùn)練期間使用所有171個(gè)類別的數(shù)據(jù)。

4.2 Evaluation Dataset

我們的開(kāi)放詞匯表模型能夠在任意數(shù)據(jù)集上執(zhí)行zero-shot segmentation，而無(wú)需對(duì)數(shù)據(jù)集進(jìn)行特定的自適應(yīng)。因此，我們?cè)诰哂刑魬?zhàn)性的ADE20K、Pascal VOC和Pascal Context數(shù)據(jù)集上測(cè)試了我們的模型。ADE20K是一個(gè)用于場(chǎng)景理解的密集像素注釋數(shù)據(jù)集，它涵蓋了室內(nèi)和室外場(chǎng)景的各種注釋。它的驗(yàn)證集中有2K張圖像。我們選擇了兩個(gè)版本的類別，一個(gè)有150個(gè)常用類別(A-150)，另一個(gè)有更多樣化的847個(gè)類別(A-847)。Pascal VOC是一個(gè)經(jīng)典的分割數(shù)據(jù)集。

五、Conclusion

本文研究了開(kāi)放詞匯語(yǔ)義分割，該模型通過(guò)文本描述的任意類別對(duì)圖像進(jìn)行分割。我們認(rèn)為當(dāng)前兩階段方法的性能瓶頸是預(yù)訓(xùn)練的CLIP，因?yàn)樗趍asked images上表現(xiàn)不佳。

我們建議將CLIP應(yīng)用于masked images。為了保持CLIP的開(kāi)放詞匯分類能力，我們使用從圖像采集數(shù)據(jù)集中挖掘的不同mask-category pairs來(lái)調(diào)整CLIP。在此基礎(chǔ)上，提出了一種無(wú)需改變初始權(quán)值即可適應(yīng)CLIP的mask prompt tuning方法。該模型具有通用性，可以對(duì)任意數(shù)據(jù)集進(jìn)行zero-shot segmentation，而無(wú)需對(duì)數(shù)據(jù)集進(jìn)行特定的自適應(yīng)。我們首次證明了開(kāi)放詞匯通才模型可以匹配監(jiān)督專家模型的性能。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-485059.html

到了這里，關(guān)于【計(jì)算機(jī)視覺(jué) | 目標(biāo)檢測(cè)】OVSeg：Open-Vocabulary Semantic Segmentation with Mask-adapted CLIP論文講解的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！