《半監(jiān)督醫(yī)學(xué)影像分割綜述》

引言

兩種不同類型的圖像分割問題。

• 相應(yīng)的語義類對(duì)每個(gè)像素進(jìn)行分類，從而給圖像中屬于這個(gè)類的所有對(duì)象或區(qū)域一個(gè)相同的類標(biāo)簽。
• 實(shí)例分割試圖更進(jìn)一步，試圖區(qū)分同一類的不同出現(xiàn)
  

內(nèi)容

• 提供了半監(jiān)督SS方法的最新分類以及對(duì)它們的描述。
• 對(duì)文獻(xiàn)中最廣泛使用的數(shù)據(jù)集進(jìn)行了廣泛的最先進(jìn)的半監(jiān)督分割方法的實(shí)驗(yàn)。
• 討論了所獲得的結(jié)果，當(dāng)前方法的優(yōu)點(diǎn)和缺點(diǎn)，該領(lǐng)域的挑戰(zhàn)和未來的工作方向。

背景

問題闡述

半監(jiān)督方法的目的是提取知識(shí)從標(biāo)記和未標(biāo)記數(shù)據(jù),為了獲得一個(gè)比我們只使用標(biāo)記數(shù)據(jù)訓(xùn)練得到的模型性能更好的模型。

語義分割經(jīng)典方法

1. 首先提出的圖像分割方法基本上是無監(jiān)督的：圖像閾值、區(qū)域增長(zhǎng)，變形模型，聚類算法基于圖的模型
2. 隨后基于監(jiān)督機(jī)器學(xué)習(xí)算法：隨機(jī)森林、支持向量機(jī)，條件或馬爾可夫隨機(jī)場(chǎng)
3. 最后是半監(jiān)督環(huán)境。對(duì)全監(jiān)督方法的一些擴(kuò)展，使其具備處理無標(biāo)記數(shù)據(jù)的能力：
   • 第一種方法是基于樹結(jié)構(gòu)的基于補(bǔ)丁的方法和隨機(jī)森林算法的混合模型。
   • 提出了一種基于加權(quán)圖的三維曲面半監(jiān)督分割模型。
   • 隨機(jī)森林算法在其他工作中被用于解決半監(jiān)督分割問題
   • 最后，在DL出現(xiàn)之前，最后一個(gè)建議提出了一種結(jié)合高斯混合模型、隨機(jī)游走模型和支持向量機(jī)的方法

語義分割深度學(xué)習(xí)方法

大多數(shù)DL模型的關(guān)鍵思想是全卷積神經(jīng)網(wǎng)絡(luò)(FCNN)：

• 重用圖像分類問題的知名CNN(如VGG ， ResNet或EfficientNet)，使其適應(yīng)于解決SS問題。
• 用卷積層取代這些模型的最終完全連接層，從而獲得作為輸出的特征圖，而不是分類分?jǐn)?shù)向量。
• 最后，通過反卷積運(yùn)算對(duì)得到的特征圖進(jìn)行上采樣，得到最終的分割圖。

有許多新的方法改進(jìn)了FCNN的原始建議：

• 主要區(qū)別在于他們對(duì)卷積網(wǎng)絡(luò)的輸出進(jìn)行上采樣以獲得最終的分割圖
• 編碼器-解碼器架構(gòu)(例如UNet模型)將解碼器鏈接到CNN
• 另一個(gè)著名的例子是DeepLab模型，該模型使用空洞卷積來增加其視野范圍，并增加其捕獲上下文信息的能力

數(shù)據(jù)集

數(shù)據(jù)集如圖所示

PASCAL VOC 2012

• 有20個(gè)對(duì)象類和一個(gè)額外的背景類
• 用于訓(xùn)練、驗(yàn)證和測(cè)試的官方分區(qū)分別由1464、1449和1456個(gè)圖像組成
• 通常使用來自分割邊界數(shù)據(jù)集(SBD)的9118張額外圖像的增強(qiáng)版本，使訓(xùn)練集達(dá)到10582張圖像，并進(jìn)行相關(guān)的像素標(biāo)記。
• 對(duì)于半監(jiān)督場(chǎng)景，通常選擇以下訓(xùn)練集中數(shù)據(jù)的比例作為標(biāo)記分區(qū):1/100(106張圖像)、1/50(212張圖像)、1/20(529張圖像)、1/8(1323張圖像)和1/4(2646張圖像)。
• 對(duì)于其余的圖像，它們的標(biāo)簽不被考慮，并以半監(jiān)督方法形成無監(jiān)督數(shù)據(jù)輸入。

Cityscapes

• 對(duì)自動(dòng)駕駛應(yīng)用來說，它是最重要的數(shù)據(jù)集之一
• 該數(shù)據(jù)集由一系列連續(xù)的街道視圖圖像組成，從不同的歐洲城市的車輛拍攝，大小為2048 × 1024，分為19類
• 用于訓(xùn)練、驗(yàn)證和測(cè)試的官方分區(qū)分別由2975、500和1525張圖像組成
• 對(duì)于半監(jiān)督場(chǎng)景，通常選擇以下訓(xùn)練集中數(shù)據(jù)的比例作為標(biāo)記分區(qū):1/16(186張圖像)，1/8(372張圖像)，1/4(744張圖像)和1/2(1488張圖像)

半監(jiān)督語義分割方法

分類（Taxonomy）

將這些方法分為五類：

• 類似gan結(jié)構(gòu)和對(duì)抗訓(xùn)練的方法：一個(gè)作為生成器，另一個(gè)作為鑒別器
• 一致性正則化方法：包括損失函數(shù)中的正則化項(xiàng)，以最小化同一圖像的不同預(yù)測(cè)之間的差異，這些預(yù)測(cè)是通過對(duì)圖像或相關(guān)模型施加擾動(dòng)來獲得的
• 基于未標(biāo)記數(shù)據(jù)的偽標(biāo)記的方法：依賴于先前對(duì)未標(biāo)記數(shù)據(jù)的預(yù)測(cè)，并使用在標(biāo)記數(shù)據(jù)上訓(xùn)練的模型來獲得偽標(biāo)簽
• 基于對(duì)比學(xué)習(xí)的方法：將相似的元素分組，并將它們與不相似的元素分離在一定的表示空間中，通常不同于模型的輸出空間
• 可以找到一致性正則化、偽標(biāo)記和對(duì)比學(xué)習(xí)的混合方法

對(duì)抗方法

生成器的目的是學(xué)習(xí)目標(biāo)數(shù)據(jù)的分布，從而允許從隨機(jī)噪聲中生成合成圖像。鑒別器的目的是區(qū)分真實(shí)圖像(屬于真實(shí)分布)和虛假圖像(由生成器生成)。

分為兩類，生成方法和非生成方法

生成方法

如圖，半監(jiān)督分割的生成對(duì)抗方法結(jié)構(gòu)：

生成器G接收隨機(jī)噪聲作為輸入，生成新的合成圖像。然后，分割網(wǎng)絡(luò)fθ同時(shí)接收合成(G(z))和真實(shí)(XL, XU)圖像作為輸入，并將每個(gè)像素分類為相應(yīng)的類c1, c2，…ck或進(jìn)入一個(gè)額外的假類cfake，這表明它是一個(gè)合成像素。LD和LG分別為鑒別器和生成器損失函數(shù)

• 第一種方法以半監(jiān)督的方式解決分割問題，不需要弱標(biāo)簽，由適用于分割問題的GAN框架組成。
  • 包括一個(gè)生成網(wǎng)絡(luò)，逼近目標(biāo)圖像的分布，從而實(shí)現(xiàn)了生成新的訓(xùn)練示例的能力。
  • 分割網(wǎng)絡(luò)承擔(dān)了鑒別器的作用，并分割作為輸入接收的圖像，包括真實(shí)的和合成的。
  • 這個(gè)網(wǎng)絡(luò)用它對(duì)應(yīng)的類對(duì)每個(gè)像素進(jìn)行分類，或者用一個(gè)額外的偽類，這表明圖像的這個(gè)像素或區(qū)域是由生成器生成的。
• 另一種是用于優(yōu)化生成器(LG)的損失函數(shù)和分割模型

當(dāng)模型將真實(shí)樣本標(biāo)記為假樣本時(shí)，第一項(xiàng)懲罰模型。

當(dāng)模型將假樣本標(biāo)記為真實(shí)樣本時(shí)，第二項(xiàng)懲罰模型。

最后一項(xiàng)是監(jiān)督組件，強(qiáng)制對(duì)標(biāo)記集的每個(gè)像素進(jìn)行正確的分類。γ是訓(xùn)練過程中被監(jiān)督分量的權(quán)重。

當(dāng)fθ檢測(cè)到合成圖像時(shí)，生成器損失函數(shù)LG尋求通過懲罰G來提高生成圖像的質(zhì)量

• 另一種用于半監(jiān)督SS的生成方法:
  • 擴(kuò)展了StyleGAN模型
  • 添加了一個(gè)標(biāo)簽合成分支
  • 并嘗試捕獲圖像和標(biāo)簽的聯(lián)合分布，從而獲得生成新的圖像-標(biāo)簽對(duì)的能力。
  • 成功案例限制在非常具體的領(lǐng)域，如皮膚病變和面部部位分割。

非生成方法

• 用分割網(wǎng)絡(luò)取代經(jīng)典GAN的典型生成網(wǎng)絡(luò)。

• 輸出指向一個(gè)鑒別器，區(qū)分真實(shí)的分割地圖，和那些由分割網(wǎng)絡(luò)生成的。半監(jiān)督分割的非生成對(duì)抗方法結(jié)構(gòu),如圖所示：
  

• 分割網(wǎng)絡(luò)fθ作為生成器。

• 利用有監(jiān)督交叉熵?fù)p失函數(shù)(Lsup)對(duì)fθ進(jìn)行有監(jiān)督訓(xùn)練。

• 鑒別器D被訓(xùn)練來區(qū)分真實(shí)和預(yù)測(cè)(通過fθ)分割地圖。D(置信度圖)的輸出用于對(duì)無標(biāo)記數(shù)據(jù)進(jìn)行半監(jiān)督學(xué)習(xí)(Lsemi)，也用于鑒別器和對(duì)抗損失函數(shù)(LD和Ladv)。

• 判別網(wǎng)絡(luò)與分割模型一起進(jìn)行對(duì)抗訓(xùn)練，以區(qū)分真實(shí)的標(biāo)簽地圖與預(yù)測(cè)的標(biāo)簽地圖。

• 生成一個(gè)概率圖作為輸出，與輸入圖像具有相同的維度，其中它表示每個(gè)像素是一個(gè)真實(shí)示例或分割網(wǎng)絡(luò)做出的預(yù)測(cè)的置信度。

• 這個(gè)置信度圖就表明了某一區(qū)域的分割質(zhì)量，這樣就可以使用未標(biāo)記圖像的置信度圖來檢測(cè)那些預(yù)測(cè)的標(biāo)簽有足夠質(zhì)量的區(qū)域，可以用于分割模型的訓(xùn)練過程。

  這些方法所涉及的損失函數(shù)的公式如下:
  

? 判別器損失函數(shù)LD由兩項(xiàng)組成，每一項(xiàng)都迫使判別器D檢測(cè)來自地面真相的分割映射和由分割網(wǎng)絡(luò)fθ生成的分割映射。

? 分割網(wǎng)絡(luò)損失函數(shù)Lseg由三項(xiàng)組成：

• 第一個(gè)是由交叉熵?fù)p失函數(shù)形成的監(jiān)督分量Lsup。
• 第二個(gè)是對(duì)抗分量Ladv，它懲罰D檢測(cè)到分割網(wǎng)絡(luò)生成的分割圖的情況。
• 第三項(xiàng)Lsemi考慮未標(biāo)記圖像的分割超過置信閾值T。

其他方法：

1. S4GAN建議使用一種更簡(jiǎn)單的鑒別器，為整個(gè)分割映射而不是為每個(gè)像素生成輸出。
2. 加入了圖像級(jí)鑒別器，并通過增加方差正則化項(xiàng)改進(jìn)了發(fā)生器損失函數(shù)。
3. 建議使用兩個(gè)鑒別器，一個(gè)在圖像級(jí)，另一個(gè)在像素級(jí)。兩者一起使用，以提高圖像中置信度區(qū)域定義的準(zhǔn)確性。
4. 糾錯(cuò)監(jiān)督(ECS)和指導(dǎo)協(xié)作訓(xùn)練(GCT)基于協(xié)作策略
   • 這些方法引入了一種新的網(wǎng)絡(luò)來承擔(dān)鑒別器的作用，在ECS中稱為校正網(wǎng)絡(luò)，在GCT中稱為探傷網(wǎng)絡(luò)。
   • 除了像素級(jí)的置信度圖外，這些方法還提供了對(duì)置信度低的區(qū)域的校正。
5. 其他對(duì)抗方法結(jié)合了注意力模塊，目標(biāo)是建模長(zhǎng)期語義依賴關(guān)系。
6. 還結(jié)合了spectral normalization來減少訓(xùn)練過程中的不穩(wěn)定性。
7. 將注意力模塊與稀疏表示模塊結(jié)合使用，幫助分割模型強(qiáng)調(diào)對(duì)象的邊緣和位置。

一致性正則化

基本原理：一個(gè)健壯的模型應(yīng)該對(duì)一個(gè)點(diǎn)和它的局部修改版本得到相似的預(yù)測(cè)?；谝恢滦哉齽t化的SSL方法通過對(duì)未標(biāo)記數(shù)據(jù)施加擾動(dòng)來利用它們，并訓(xùn)練不受這些擾動(dòng)影響的模型

其他方法所基于的基本方法是Mean Teacher。它迫使學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)的預(yù)測(cè)保持一致。

教師網(wǎng)絡(luò)的權(quán)重是通過學(xué)生網(wǎng)絡(luò)權(quán)重的指數(shù)移動(dòng)平均(EMA)來計(jì)算的。

損失函數(shù)如下：

基于一致性正則化的半監(jiān)督方法之間的主要區(qū)別在于它們將擾動(dòng)納入數(shù)據(jù)的方式

可以將這些方法分為四個(gè)子類別

1. 基于輸入擾動(dòng)的方法：這些方法使用數(shù)據(jù)增強(qiáng)技術(shù)直接對(duì)輸入圖像施加擾動(dòng)
2. 基于特征擾動(dòng)的方法，在分割網(wǎng)絡(luò)內(nèi)部加入擾動(dòng)，從而獲得修改后的特征
3. 基于網(wǎng)絡(luò)擾動(dòng)的方法，通過使用不同的網(wǎng)絡(luò)獲得擾動(dòng)預(yù)測(cè)，例如使用不同的起始權(quán)重網(wǎng)絡(luò)
4. 結(jié)合了前面三種類型的擾動(dòng)

輸入擾動(dòng)

• 使用數(shù)據(jù)增強(qiáng)技術(shù)直接對(duì)未標(biāo)記的輸入圖像應(yīng)用擾動(dòng)，訓(xùn)練一個(gè)對(duì)這些輸入擾動(dòng)不敏感的分割模型
• CutOut和CutMix技術(shù)，在圖像上使用矩形遮罩
  • CutOut在訓(xùn)練過程中丟棄由蒙版標(biāo)記的矩形部分
  • CutMix使用矩形掩碼將兩個(gè)圖像（來自同一圖像）組合在一起，獲得一個(gè)新圖像
• ClassMix與之前的CutMix技術(shù)的不同之處在于應(yīng)用于混合圖像的mask形式。
  • mask標(biāo)記的部分與圖像中屬于同一類的區(qū)域重合
  • 屬于一個(gè)類的部分被復(fù)制到另一個(gè)圖像中，從而生成新的增強(qiáng)圖像。。
• ComplexMix結(jié)合CutMix和ClassMix
• 使用經(jīng)典的數(shù)據(jù)增強(qiáng)技術(shù)(例如裁剪、顏色抖動(dòng)或翻轉(zhuǎn))來獲得原始圖像的擾動(dòng)

特征擾動(dòng)

輔助解碼器輸出之間的一致性被強(qiáng)制執(zhí)行，有利于對(duì)編碼器輸出特征的不同擾動(dòng)版本進(jìn)行相似的預(yù)測(cè)。這些基于特征擾動(dòng)的方法所包含的一致性項(xiàng)定義如下:

網(wǎng)絡(luò)擾動(dòng)

1. 所涉及的兩個(gè)網(wǎng)絡(luò)的訓(xùn)練以并行和獨(dú)立的方式進(jìn)行，而不是根據(jù)另一個(gè)網(wǎng)絡(luò)的EMA更新一個(gè)網(wǎng)絡(luò)。
2. 雖然兩個(gè)網(wǎng)絡(luò)共享相同的架構(gòu)，但它們初始化時(shí)使用不同的隨機(jī)權(quán)重，從而增加了它們之間的差異。

損失如下：

結(jié)合擾動(dòng)

• 一種將輸入、特征和網(wǎng)絡(luò)擾動(dòng)相結(jié)合的方法。
• 這種方法強(qiáng)調(diào)了這樣一個(gè)事實(shí):如果預(yù)測(cè)不夠準(zhǔn)確，擾動(dòng)的種類和強(qiáng)度越大，問題就越多。
• 該方法通過添加信心加權(quán)交叉熵?fù)p失函數(shù)來擴(kuò)展Mean Teacher方法，而不是經(jīng)典Mean Teacher方法使用的均方誤差(MSE)。
• 此外，還提出了一種通過虛擬對(duì)抗訓(xùn)練來執(zhí)行特征擾動(dòng)的新方法。
• 輸入擾動(dòng)，特別是CutMix技術(shù)和特征擾動(dòng)的組合在中被提出

偽標(biāo)簽方法

思想: 根據(jù)先前在標(biāo)記數(shù)據(jù)上訓(xùn)練的模型所做的預(yù)測(cè)，生成未標(biāo)記圖像的偽標(biāo)簽。然后，用這些新的圖像對(duì)和偽標(biāo)簽擴(kuò)展標(biāo)記數(shù)據(jù)集，并在這個(gè)新數(shù)據(jù)集上訓(xùn)練一個(gè)新模型。

自訓(xùn)練方法：僅基于一個(gè)監(jiān)督基礎(chǔ)模型，并表示偽標(biāo)簽的最簡(jiǎn)單形式，其中偽標(biāo)簽由它們自己的高置信度預(yù)測(cè)生成

互訓(xùn)練方法：涉及多個(gè)具有顯式差異的模型，例如不同的初始化權(quán)重或在數(shù)據(jù)集的不同視圖上進(jìn)行訓(xùn)練。每個(gè)模型都使用未標(biāo)記的圖像和由該過程中涉及的其他模型生成的相應(yīng)偽標(biāo)簽進(jìn)行重新訓(xùn)練。

自訓(xùn)練

典型步驟：

1. 監(jiān)督模型在可用的標(biāo)記數(shù)據(jù)上進(jìn)行訓(xùn)練。
2. 使用之前訓(xùn)練的模型從未標(biāo)記的數(shù)據(jù)中獲得預(yù)測(cè)。那些置信度高于預(yù)定義閾值的預(yù)測(cè)將成為未標(biāo)記數(shù)據(jù)的偽標(biāo)簽，并包含在標(biāo)記數(shù)據(jù)集中。
3. 使用這個(gè)由標(biāo)記數(shù)據(jù)和偽標(biāo)記數(shù)據(jù)組成的新數(shù)據(jù)集重新訓(xùn)練監(jiān)督模型

這個(gè)過程可以以迭代的方式重復(fù)，使用步驟3產(chǎn)生的模型獲得新的偽標(biāo)簽，在每次迭代中改進(jìn)偽標(biāo)簽的質(zhì)量，直到?jīng)]有預(yù)測(cè)超過被視為偽標(biāo)簽所需的置信度閾值。

變體：

• 用質(zhì)心采樣技術(shù)擴(kuò)展了原始的自我訓(xùn)練過程。目的是為了解決偽標(biāo)簽中的階層不平衡問題。
• 在自我訓(xùn)練過程中添加一些輔助網(wǎng)絡(luò)
  • 由模型預(yù)測(cè)的偽標(biāo)簽可能具有與真實(shí)值本質(zhì)上不同的標(biāo)簽空間。
  • 當(dāng)用兩個(gè)標(biāo)簽輸入訓(xùn)練模型時(shí)，可能導(dǎo)致不同的梯度方向，導(dǎo)致混亂的反向傳播過程。[
  • 提出的一種可能的解決方案包括使用分割模型，該分割模型共享編碼器(即ResNet101)，并包含兩個(gè)不同的解碼器，每個(gè)解碼器對(duì)應(yīng)一個(gè)標(biāo)簽空間。
• 在自我訓(xùn)練過程中集成數(shù)據(jù)增強(qiáng)技術(shù)（ST++）
• 數(shù)據(jù)增強(qiáng)的應(yīng)用可能會(huì)改變批處理歸一化中均值和方差的分布
  • 使用分布特定的批歸一化
  • 集成了一個(gè)基于置信度動(dòng)態(tài)重加權(quán)的自校正損失函數(shù)，以避免過擬合噪聲標(biāo)簽和最難類的學(xué)習(xí)不足
• 一個(gè)常見問題是基本真相和偽標(biāo)簽之間的分布不匹配，后者通常偏向于大多數(shù)類
  • 為了獲得無偏偽標(biāo)簽，提出了一種基于分類閾值的分布對(duì)齊和隨機(jī)采樣策略，同時(shí)還結(jié)合了數(shù)據(jù)增強(qiáng)技術(shù)
• 如何定義在自我訓(xùn)練過程中使用的實(shí)際標(biāo)記數(shù)據(jù)和偽標(biāo)記數(shù)據(jù)之間的最佳比例
  • 基于隨機(jī)搜索(RIST)
  • 貪婪算法(GIST)

互訓(xùn)練

• 前面描述的自我訓(xùn)練方法的主要缺點(diǎn)之一是缺乏檢測(cè)自身錯(cuò)誤的機(jī)制。
• 相互學(xué)習(xí)方法不是從自己的預(yù)測(cè)中學(xué)習(xí)，而是擴(kuò)展了自我訓(xùn)練方法，涉及多個(gè)學(xué)習(xí)模型，每個(gè)學(xué)習(xí)模型都使用其他模型生成的偽標(biāo)簽進(jìn)行訓(xùn)練。
• 參與模型之間的多樣性是這類方法正確執(zhí)行的關(guān)鍵方面之一
• 通過使用不同的預(yù)訓(xùn)練權(quán)重來初始化這些模型，或者通過使用不同的視圖或訓(xùn)練集的子集來訓(xùn)練每個(gè)模型。在其他研究中，主要依賴于利用所涉及的模型之間的預(yù)測(cè)差異，多視圖訓(xùn)練或聯(lián)合訓(xùn)練
  

變體：

1. 動(dòng)態(tài)相互訓(xùn)練(Dynamic Mutual Training, DMT)：通過一個(gè)損失函數(shù)動(dòng)態(tài)地重新加權(quán)，這些模型是獨(dú)立訓(xùn)練的，使用另一個(gè)模型生成的偽標(biāo)簽。從這個(gè)意義上說，特定像素的差異越大，表明錯(cuò)誤的概率越大，因此在損失函數(shù)中加權(quán)值較低，對(duì)訓(xùn)練的影響小于模型之間差異較小的其他像素或圖像區(qū)域
2. 使用偽標(biāo)簽增強(qiáng)策略擴(kuò)展前一種方法(DMT）。為了在整個(gè)訓(xùn)練過程中保持所獲得的知識(shí)，并避免模型對(duì)最后學(xué)習(xí)的類產(chǎn)生偏見，作者提出了一種策略，該策略考慮了前一階段生成的偽標(biāo)簽來細(xì)化當(dāng)前的偽標(biāo)簽。

對(duì)比學(xué)習(xí)

• 對(duì)比學(xué)習(xí)側(cè)重于高級(jí)特征，在缺乏ground truth的情況下區(qū)分不同的類。
• 這些類型的方法對(duì)相似的樣本進(jìn)行分組，并將它們從特征空間中的不同樣本中移開。
• 由于數(shù)據(jù)中缺乏標(biāo)注，在訓(xùn)練過程中被認(rèn)為相似的樣本是同一樣本的增強(qiáng)版本，而其余的數(shù)據(jù)則被認(rèn)為是不同的樣本。

一些模型：

• SimCLR方法中的數(shù)據(jù)增強(qiáng)技術(shù)(例如裁剪、顏色抖動(dòng)或翻轉(zhuǎn))。
• CPC方法將圖像劃分為不同的覆蓋子補(bǔ)丁，并將這些補(bǔ)丁視為獨(dú)立的圖像
• Pascal VOC目標(biāo)檢測(cè)
• ReCo：針對(duì)半監(jiān)督對(duì)比學(xué)習(xí)（總像素的5%以下進(jìn)行采樣，與查詢類混淆的類的像素被選為負(fù)列。依靠預(yù)測(cè)置信度來選擇難分類的像素作為查詢像素用于分割模型）
• 只有正例的對(duì)比學(xué)習(xí)：創(chuàng)建和動(dòng)態(tài)更新一個(gè)存儲(chǔ)庫(kù)，該庫(kù)包含標(biāo)簽集中的樣本子集。選擇預(yù)測(cè)置信度較高的樣本進(jìn)行存儲(chǔ)。隨后，對(duì)比損失函數(shù)確保樣本的特征與存儲(chǔ)在內(nèi)存庫(kù)中的同類樣本的特征接近

混合方法

包括那些具有前面介紹的幾個(gè)類別的特征的方法

• 帶有一致性正則化中間階段的三階段自訓(xùn)練框架（在自訓(xùn)練過程中集成了多任務(wù)模型）
  • 使用一致性正則化在分割問題上進(jìn)行訓(xùn)練
  • 將統(tǒng)計(jì)信息從偽標(biāo)簽引入優(yōu)化過程
• 自適應(yīng)均衡學(xué)習(xí)(AEL)：融合了一致性正則化和偽標(biāo)記方法的特點(diǎn)，基于FixMatch，采用數(shù)據(jù)增強(qiáng)技術(shù)和自適應(yīng)均衡抽樣的方法對(duì)弱勢(shì)群體進(jìn)行訓(xùn)練
• Pseudo-Seg
• hybrid GuidedMix-Net ：將知識(shí)從有標(biāo)簽的圖像轉(zhuǎn)移到無標(biāo)簽的圖像
• 定向上下文感知(directional context-aware, DCA)：對(duì)同一圖像進(jìn)行重疊的兩次切割，模擬了該區(qū)域的兩個(gè)不同上下文，并通過對(duì)比損失函數(shù)加強(qiáng)了兩個(gè)切片之間的一致性
• C3-SemiSeg：一致性正則化側(cè)重于利用擾動(dòng)下的特征對(duì)齊
• cross-teacher training(CCT) ：減少了師生網(wǎng)絡(luò)之間的誤差積累，對(duì)比學(xué)習(xí)模塊促進(jìn)了特征空間的類分離
• 一致性正則化和對(duì)抗訓(xùn)練相結(jié)合

實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)部分的主要目標(biāo)是為讀者提供所有方法在統(tǒng)一、公平和平等條件下的比較，從而提供了一種快速和方便的方式來了解該領(lǐng)域的實(shí)際最先進(jìn)的方法及其與其他方法相比的質(zhì)量：

數(shù)據(jù)集

• PASCAL VOC 2012
• 城市景觀數(shù)據(jù)集

分區(qū)的協(xié)議

驗(yàn)證策略

• 以PASCAL VOC 2012為例，訓(xùn)練集由10582張圖像組成，驗(yàn)證集由1449張圖像組成。
• 對(duì)于cityscape，訓(xùn)練集由2975張圖像組成，而驗(yàn)證集由500張圖像組成

性能指標(biāo)

選擇最先進(jìn)的方法

• 基線方法：DeepLabV3監(jiān)督模型
• Mean Teacher方法
• s4GAN方法
• ClassMix方法作為數(shù)據(jù)增強(qiáng)擾動(dòng)
• CCT方法作為特征擾動(dòng)方法
• CPS方法用于網(wǎng)絡(luò)擾動(dòng)
• ST和DMT方法分別是基于自我訓(xùn)練和相互訓(xùn)練的偽標(biāo)記方法
• 對(duì)比學(xué)習(xí)：ReCO方法
• 混合方法：CAC

基礎(chǔ)模型和主干

• DeepLabV3+作為基礎(chǔ)模型
• ResNet101作為骨干

結(jié)果和討論

PASCAL VOC 2012的定量結(jié)果

半監(jiān)督SS和全監(jiān)督基線(DeepLabV3+)結(jié)果：

某些情況下，在訓(xùn)練過程中包含未標(biāo)記的數(shù)據(jù)甚至?xí)p害全監(jiān)督模型的性能。

• 最極端的方式發(fā)生的情況是CCT方法

• Mean Teacher，雖然它們沒有獲得像CCT那樣顯著的退化，但也存在從無標(biāo)記數(shù)據(jù)中提取知識(shí)的困難

• s4GAN:與監(jiān)督模型相比，幾乎所有分區(qū)中都獲得了性能改進(jìn),與其他進(jìn)行對(duì)抗訓(xùn)練的簡(jiǎn)單方法相比，復(fù)雜性有所增加，從所獲得的結(jié)果來看，這是不合理的。

• ClassMix和ReCo方法：增加標(biāo)記圖像的數(shù)量時(shí)，這種方法相對(duì)于監(jiān)督基線的收益邊際并不是那么寬，還有許多其他方法優(yōu)于它

• CPS和CAC：有許多標(biāo)記圖像的場(chǎng)景中表現(xiàn)最好的兩種方法

• 基于偽標(biāo)記的方法被證明是性能最好的方法：ST，DMT

Cityscapes的定性結(jié)果

本分析中使用的方法是DMT、ClassMix和s4GAN：黑色表示預(yù)測(cè)誤差

挑戰(zhàn)與未來趨勢(shì)

與半監(jiān)督SS問題相關(guān)的一些主要挑戰(zhàn)，以及一些最有前途的未來研究方向：

• 評(píng)估標(biāo)準(zhǔn)：即使用不同的數(shù)據(jù)集，不同的數(shù)據(jù)分區(qū)，不同的實(shí)現(xiàn)或基本模型的版本
• 具有改進(jìn)潛力的方法群
  • 偽標(biāo)記方法：特別是互訓(xùn)練子類別
  • 混合方法
• 基礎(chǔ)模型的多樣性
• 在更現(xiàn)實(shí)的情況下進(jìn)行評(píng)估
• 新趨勢(shì):transformer：模型可以學(xué)習(xí)類之間的語義關(guān)系，甚至是圖像中彼此距離很遠(yuǎn)的類之間的語義關(guān)系

總結(jié)

• 分為五類:對(duì)抗性方法、一致性正則化、偽標(biāo)記、對(duì)比學(xué)習(xí)和混合方法
• 使用該領(lǐng)域最常見的兩個(gè)數(shù)據(jù)集:PASCAL VOC 2012和Cityscapes
• 10種方法組成，本文認(rèn)為屬于相互訓(xùn)練的方法(即DMT)是性能最好的方法
• 反思了目前半監(jiān)督分割的挑戰(zhàn)和潛在的未來研究方向，強(qiáng)調(diào)了實(shí)驗(yàn)和評(píng)估框架標(biāo)準(zhǔn)化的必要性，在圖像不受控制且類之間具有豐富語義依賴的情況下使用現(xiàn)實(shí)基準(zhǔn)的方便性，以及最近應(yīng)用于CV的新技術(shù)視覺變壓器在半監(jiān)督場(chǎng)景中的潛在應(yīng)用

區(qū)，不同的實(shí)現(xiàn)或基本模型的版本文章來源地址http://www.zghlxwxcb.cn/news/detail-773435.html

• 具有改進(jìn)潛力的方法群
  • 偽標(biāo)記方法：特別是互訓(xùn)練子類別
  • 混合方法
• 基礎(chǔ)模型的多樣性
• 在更現(xiàn)實(shí)的情況下進(jìn)行評(píng)估
• 新趨勢(shì):transformer：模型可以學(xué)習(xí)類之間的語義關(guān)系，甚至是圖像中彼此距離很遠(yuǎn)的類之間的語義關(guān)系

總結(jié)

• 分為五類:對(duì)抗性方法、一致性正則化、偽標(biāo)記、對(duì)比學(xué)習(xí)和混合方法
• 使用該領(lǐng)域最常見的兩個(gè)數(shù)據(jù)集:PASCAL VOC 2012和Cityscapes
• 10種方法組成，本文認(rèn)為屬于相互訓(xùn)練的方法(即DMT)是性能最好的方法
• 反思了目前半監(jiān)督分割的挑戰(zhàn)和潛在的未來研究方向，強(qiáng)調(diào)了實(shí)驗(yàn)和評(píng)估框架標(biāo)準(zhǔn)化的必要性，在圖像不受控制且類之間具有豐富語義依賴的情況下使用現(xiàn)實(shí)基準(zhǔn)的方便性，以及最近應(yīng)用于CV的新技術(shù)視覺變壓器在半監(jiān)督場(chǎng)景中的潛在應(yīng)用
  后續(xù)有時(shí)間會(huì)進(jìn)行參考文獻(xiàn)匯總

到了這里，關(guān)于半監(jiān)督醫(yī)學(xué)影像分割綜述的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！