【半監(jiān)督醫(yī)學(xué)圖像分割 2023 CVPR】BCP

論文題目：Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation

中文題目：雙向復(fù)制粘貼半監(jiān)督醫(yī)學(xué)圖像分割

論文鏈接：https://arxiv.org/abs/2305.00673

論文代碼：https://github.com/DeepMed-Lab-ECNU/BCP

論文團(tuán)隊(duì)：華東師范大學(xué)&上海交通大學(xué)

發(fā)表時(shí)間：2023年5月

DOI:

引用：

引用數(shù)：

摘要

在半監(jiān)督的醫(yī)學(xué)圖像分割中，存在著有標(biāo)簽和無標(biāo)簽數(shù)據(jù)分布的經(jīng)驗(yàn)不匹配問題。如果將有標(biāo)記的數(shù)據(jù)和無標(biāo)記的數(shù)據(jù)分開處理或以不一致的方式處理，那么從有標(biāo)記的數(shù)據(jù)中學(xué)到的知識(shí)可能在很大程度上被丟棄。

我們提出了一個(gè)直接的方法來緩解這個(gè)問題–在一個(gè)簡單的Mean Teacher架構(gòu)中，雙向復(fù)制粘貼有標(biāo)簽的和無標(biāo)簽的數(shù)據(jù)。該方法鼓勵(lì)未標(biāo)注的數(shù)據(jù)從標(biāo)注的數(shù)據(jù)中向內(nèi)和向外學(xué)習(xí)全面的共同語義。

更重要的是，標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)的一致學(xué)習(xí)程序可以在很大程度上減少經(jīng)驗(yàn)分布差距。詳細(xì)來說，我們將已標(biāo)記的圖像（前景）的隨機(jī)裁剪復(fù)制到未標(biāo)記的圖像（背景）上，并將未標(biāo)記的圖像（前景）復(fù)制到已標(biāo)記的圖像（背景）上，分別。

這兩張混合圖像被送入一個(gè)學(xué)生網(wǎng)絡(luò)，并由偽標(biāo)簽和地面真相的混合監(jiān)督信號(hào)進(jìn)行監(jiān)督。我們發(fā)現(xiàn)，在有標(biāo)簽和無標(biāo)簽的數(shù)據(jù)之間雙向復(fù)制粘貼的簡單機(jī)制已經(jīng)足夠好了，而且實(shí)驗(yàn)顯示，與其他半監(jiān)督醫(yī)學(xué)圖像分割數(shù)據(jù)集的先進(jìn)技術(shù)相比，有了實(shí)實(shí)在在的收獲（例如，在ACDC數(shù)據(jù)集上有超過21%的Dice改善，有5%的標(biāo)簽數(shù)據(jù)）。

1. 簡介

從計(jì)算機(jī)斷層掃描（CT）或磁共振成像（MRI）等醫(yī)學(xué)圖像中分割內(nèi)部結(jié)構(gòu)對許多臨床應(yīng)用來說是至關(guān)重要的[34]。各種基于監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像分割技術(shù)已經(jīng)被提出[4,13,45]，這通常需要大量的標(biāo)記數(shù)據(jù)。但是，由于在標(biāo)注醫(yī)學(xué)圖像時(shí)，人工勾畫的過程繁瑣而昂貴，近年來，半監(jiān)督分割吸引了更多的關(guān)注，并在醫(yī)學(xué)圖像分析領(lǐng)域變得無處不在。

一般來說，在半監(jiān)督醫(yī)學(xué)圖像分割中，標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)是從相同的分布中提取的（圖1(a))。 但在實(shí)際場景中，由于標(biāo)記數(shù)據(jù)的數(shù)量很少，很難從標(biāo)記數(shù)據(jù)中估計(jì)精確的分布。 因此，在大量未標(biāo)記數(shù)據(jù)和極少量標(biāo)記數(shù)據(jù)之間總是存在經(jīng)驗(yàn)分布不匹配[30]（圖1(b)和?)。 半監(jiān)督分割方法總是試圖以一致的方式對稱地訓(xùn)練標(biāo)記和未標(biāo)記的數(shù)據(jù)。 例如，自訓(xùn)練[1，48]生成偽標(biāo)簽，以偽監(jiān)督的方式監(jiān)督未標(biāo)記的數(shù)據(jù)。 Mean基于教師的方法[40]采用一致性損失來“監(jiān)督”具有強(qiáng)增強(qiáng)的未標(biāo)記數(shù)據(jù)，類似于監(jiān)督具有基本真相的標(biāo)記數(shù)據(jù)。 DTC[16]提出了一個(gè)雙任務(wù)一致性框架，適用于標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)。 ContrastMask[31]在標(biāo)記和未標(biāo)記的數(shù)據(jù)上應(yīng)用密集對比學(xué)習(xí)。 但是現(xiàn)有的大多數(shù)半監(jiān)督方法都是在不同的學(xué)習(xí)范式下使用有標(biāo)記和無標(biāo)記的數(shù)據(jù)。 因此，它往往導(dǎo)致從標(biāo)記數(shù)據(jù)中學(xué)習(xí)到的大量知識(shí)被丟棄，以及標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)之間的經(jīng)驗(yàn)分布不匹配（圖1(e))。

圖1. 半監(jiān)督傾斜設(shè)置下的不匹配問題的說明。假設(shè)訓(xùn)練集是從（a）中的潛在分布中提取的。但是少量標(biāo)注數(shù)據(jù)和大量未標(biāo)注數(shù)據(jù)的經(jīng)驗(yàn)分布分別是（b）和（c）。使用少量的標(biāo)簽數(shù)據(jù)來構(gòu)建整個(gè)數(shù)據(jù)集的精確分布是很難的。(d) 通過使用我們的BCP，標(biāo)記的和未標(biāo)記的特征的經(jīng)驗(yàn)分布是一致的。(e) 但其他方法，如SSNet[35]或交叉無標(biāo)簽數(shù)據(jù)復(fù)制粘貼，不能解決經(jīng)驗(yàn)分布不匹配的問題。所有分布都是ACDC[2]中屬于心肌類的體細(xì)胞的核密度估計(jì)。

CutMix[42]是一種簡單而強(qiáng)大的數(shù)據(jù)處理方法，也被稱為復(fù)制粘貼(CP)，它有可能鼓勵(lì)未標(biāo)記的數(shù)據(jù)從標(biāo)記的數(shù)據(jù)中學(xué)習(xí)共同的語義，因?yàn)橥坏貓D中的像素共享更接近的語義[29]。 在半監(jiān)督學(xué)習(xí)中，強(qiáng)迫未標(biāo)記數(shù)據(jù)的弱-強(qiáng)增強(qiáng)對之間的一致性被廣泛使用[11,14,32,47]，而CP通常被用作強(qiáng)增強(qiáng)。 但是現(xiàn)有的CP方法只考慮CP交叉未標(biāo)記數(shù)據(jù)[8,10,14]，或者簡單地從標(biāo)記數(shù)據(jù)中復(fù)制作物作為前景并粘貼到另一個(gè)數(shù)據(jù)[6,9]。 它們忽略了為標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)設(shè)計(jì)一致的學(xué)習(xí)策略，從而阻礙了其在減小分布差距方面的應(yīng)用。 同時(shí)，CP試圖通過增加無標(biāo)記數(shù)據(jù)的多樣性來增強(qiáng)網(wǎng)絡(luò)的泛化能力，但由于剪切混合圖像只能由低精度的偽標(biāo)記來監(jiān)督，因此很難獲得較高的性能。 使用更精確的監(jiān)督來幫助網(wǎng)絡(luò)分割由CP切割的退化區(qū)域是直觀的。

為了緩解有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)之間的經(jīng)驗(yàn)不匹配問題，一個(gè)成功的設(shè)計(jì)是鼓勵(lì)無標(biāo)簽數(shù)據(jù)從有標(biāo)簽數(shù)據(jù)中學(xué)習(xí)全面的共同語義，同時(shí)，通過有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)的一致學(xué)習(xí)策略，進(jìn)一步實(shí)現(xiàn)分布的一致性。

我們通過提出一個(gè)令人驚訝的簡單但非常有效的雙向復(fù)制-粘貼（BCP）方法來實(shí)現(xiàn)這一目標(biāo)，該方法在Mean Teacher框架中被實(shí)例化。

具體來說，為了訓(xùn)練學(xué)生網(wǎng)絡(luò)，我們通過復(fù)制粘貼標(biāo)簽圖像（前景）上的隨機(jī)作物到無標(biāo)簽圖像（背景）上，以及反過來，復(fù)制粘貼無標(biāo)簽圖像（前景）上的隨機(jī)作物到有標(biāo)簽圖像（背景）上來增加我們的輸入。

學(xué)生網(wǎng)絡(luò)通過教師網(wǎng)絡(luò)的未標(biāo)記圖像的偽標(biāo)簽和已標(biāo)記圖像的標(biāo)簽圖之間的雙向復(fù)制，由生成的監(jiān)督信號(hào)進(jìn)行監(jiān)督。

這兩張混合圖像有助于網(wǎng)絡(luò)雙向和對稱地學(xué)習(xí)有標(biāo)簽和無標(biāo)簽的數(shù)據(jù)之間的共同語義。我們根據(jù)最先進(jìn)的技術(shù)和我們的方法所訓(xùn)練的模型，計(jì)算了來自LA數(shù)據(jù)集[39]的有標(biāo)簽和無標(biāo)簽的訓(xùn)練集的Dice分?jǐn)?shù)，如圖2所示。以前的模型分別處理有標(biāo)簽的數(shù)據(jù)和無標(biāo)簽的數(shù)據(jù)，在有標(biāo)簽的數(shù)據(jù)和無標(biāo)簽的數(shù)據(jù)之間存在很大的性能差距。例如，MC-Net對有標(biāo)簽的數(shù)據(jù)獲得95.59%的Dice，但對無標(biāo)簽的數(shù)據(jù)只有87.63%。這意味著以前的模型很好地吸收了來自地面事實(shí)的知識(shí)，但在轉(zhuǎn)移到無標(biāo)簽數(shù)據(jù)時(shí)卻拋棄了很多。我們的方法可以在很大程度上減少有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)之間的差距（圖1(d)），就其性能而言。同樣有趣的是，我們的BCP對有標(biāo)簽數(shù)據(jù)的Dice比其他方法低，這意味著BCP可以在一定程度上緩解過度擬合的問題。

圖2。 LA數(shù)據(jù)集上不同模型的未標(biāo)記和標(biāo)記訓(xùn)練數(shù)據(jù)的Dice分?jǐn)?shù)[39]。 在我們的方法中觀察到一個(gè)更小的性能差距。

我們在三個(gè)流行的數(shù)據(jù)集:LA[39]，胰腺-NIH[21]和ACDC[2]中驗(yàn)證了BCP。 大量的實(shí)驗(yàn)表明，我們的簡單方法在ACDC數(shù)據(jù)集上有5%的標(biāo)記數(shù)據(jù)，在骰子方面的改進(jìn)甚至超過了21%。 燒蝕研究進(jìn)一步顯示了每個(gè)提出模塊的有效性。 請注意，與基線（例如VNET或UNET）相比，我們的方法沒有引入新的訓(xùn)練參數(shù)，同時(shí)保持相同的計(jì)算成本。

2. 相關(guān)工作

2.1 醫(yī)學(xué)圖像分割

從醫(yī)學(xué)圖像中分割內(nèi)部結(jié)構(gòu)對于許多臨床應(yīng)用是必不可少的[34]。 現(xiàn)有的醫(yī)學(xué)圖像分割方法可以分為兩類。 第一類設(shè)計(jì)了各種2D/3D分割網(wǎng)絡(luò)體系結(jié)構(gòu)[3,4,13,18,20,49]。 第二類利用醫(yī)學(xué)先驗(yàn)知識(shí)進(jìn)行網(wǎng)絡(luò)培訓(xùn)[23,28,33,38]。

2.2 半監(jiān)督醫(yī)學(xué)圖像分割

在半監(jiān)督醫(yī)學(xué)圖像分割方面，人們做出了許多努力。 熵最小化(EM)和一致性正則化(CR)是兩種應(yīng)用廣泛的損失函數(shù)。 同時(shí)，許多研究都以不同的方式擴(kuò)展了Mean教師框架。 SASSNET[12]利用未標(biāo)記的數(shù)據(jù)對分段輸出實(shí)施幾何形狀約束。 DTC[16]通過顯式構(gòu)建任務(wù)級正則化，提出了一個(gè)雙任務(wù)一致性框架。 SIMCVD[40]明確地建模了幾何結(jié)構(gòu)和語義信息，并將它們約束在教師和學(xué)生網(wǎng)絡(luò)之間。 這些方法使用幾何約束來監(jiān)督網(wǎng)絡(luò)的輸出。 UA-MT[41]利用不確定性信息引導(dǎo)學(xué)生網(wǎng)絡(luò)逐漸從教師網(wǎng)絡(luò)的有意義和可靠的目標(biāo)中學(xué)習(xí)。 [46]結(jié)合圖像和片狀表示來探索更復(fù)雜的相似性線索，在給定不同輸入大小的情況下使輸出保持一致。 Coranet[22]提出了一個(gè)模型，該模型可以產(chǎn)生確定區(qū)域和不確定區(qū)域，學(xué)生網(wǎng)絡(luò)以不同的權(quán)重處理教師網(wǎng)絡(luò)指示的區(qū)域。 UMCT[37]利用網(wǎng)絡(luò)的不同視角預(yù)測同一圖像的不同視角。 它利用預(yù)測值和相應(yīng)的不確定性生成偽標(biāo)簽，用于監(jiān)督未標(biāo)記圖像的預(yù)測。 這些方法提高了半視覺醫(yī)學(xué)圖像分割的有效性。 但是，他們忽略了如何從標(biāo)記到未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)公共語義。 將標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)分開處理往往會(huì)阻礙知識(shí)從標(biāo)記數(shù)據(jù)到未標(biāo)記數(shù)據(jù)的轉(zhuǎn)移。

2.3 復(fù)制粘貼

復(fù)制粘貼是一種簡單而強(qiáng)大的數(shù)據(jù)處理方法，適用于許多任務(wù)，如實(shí)例分割[7,9]、語義分割[6,25]和對象檢測[5]。 一般來說，復(fù)制粘貼是指復(fù)制一個(gè)圖像的作物，并粘貼到另一個(gè)圖像上。 MIXUP[43]和CutMIX[42]分別是混合整體圖像和混合圖像作物的經(jīng)典之作。 許多最近的工作擴(kuò)展了它們以解決特定的目標(biāo)。 GuidedMix-Net[25]利用MixUp將已標(biāo)記數(shù)據(jù)的知識(shí)轉(zhuǎn)移到未標(biāo)記數(shù)據(jù)中，從而生成高質(zhì)量的偽標(biāo)記。 Instaboost[7]和Contextual Copy-Past[5]根據(jù)周圍的視覺環(huán)境，將裁剪后的前景精心地放置到另一幅圖像上。 CP2[27]提出了一種預(yù)訓(xùn)練方法，將隨機(jī)裁剪從一幅圖像復(fù)制粘貼到另一幅背景圖像中，該方法被證明更適合于下游密集預(yù)測任務(wù)。 [9]對實(shí)例分割中的復(fù)制粘貼進(jìn)行了系統(tǒng)的研究。 UCC[6]在訓(xùn)練過程中復(fù)制屬于置信度得分較低的類的像素作為前景，以緩解分布不匹配和類不平衡的問題。 以往的方法只考慮交叉復(fù)制粘貼未標(biāo)記的數(shù)據(jù)，或者簡單地從標(biāo)記數(shù)據(jù)中復(fù)制作物作為前景，粘貼到另一個(gè)數(shù)據(jù)中。 他們忽略了為標(biāo)記和未標(biāo)記數(shù)據(jù)設(shè)計(jì)一致的學(xué)習(xí)策略。 因此，很大的分配差距仍然是不可避免的。

3. 方法

在數(shù)學(xué)上，我們將醫(yī)學(xué)圖像的三維體積定義為$\text{X}\in {\mathbb{R}}^{W\times H\times L}$。

半監(jiān)督醫(yī)學(xué)圖像分割的目標(biāo)是預(yù)測每體素標(biāo)簽圖 Y ^ ∈ { 0 , 1 , . . . , K ? 1 } W × H × L \widehat{\mathbf{Y}}\in\{0,1,...,K-1\}^{W\times H\times L} Y ∈{0,1,...,K?1}W×H×L，表示背景和目標(biāo)在$X$中的位置。$K$是類的編號(hào)。

我們的訓(xùn)練集$D$由$N$個(gè)標(biāo)記的數(shù)據(jù)和$M$個(gè)未標(biāo)記的數(shù)據(jù)組成$N?M$，表示為兩個(gè)子集： $\mathcal{D}={\mathcal{D}}^l\cup {\mathcal{D}}^u$，其中${\mathcal{D}}^l=\{({\mathbf{X}}_i^l,{\mathbf{Y}}_i^l){\}}_{i=1}^N$， D u = { X i u } i = N + 1 M + N . \mathcal{D}^u=\{\mathbf{X}_i^u\}_{i=N+1}^{M+N}. Du={Xiu?}i=N+1M+N?.。

所提出的雙向復(fù)制粘貼方法的整體流水線如圖3所示，在平均教師架構(gòu)中。我們從訓(xùn)練集中隨機(jī)挑選兩幅無標(biāo)簽的圖像$({\mathbf{X}}_p^u,{\mathbf{X}}_q^u)$和兩幅有標(biāo)簽的圖像$({\mathbf{X}}_i^l,{\mathbf{X}}_j^l)$。

然后我們從${\mathbf{X}}_i^l$（前景）復(fù)制粘貼一個(gè)隨機(jī)裁剪到${\mathbf{X}}_q^u$（背景）上，生成混合圖像${\mathbf{X}}^{out}$，從${\mathbf{X}}_p^u$（前景）復(fù)制粘貼到${\mathbf{X}}_j^l$（背景），生成另一個(gè)混合圖像${\mathbf{X}}^{in}$。

未標(biāo)記的圖像能夠從標(biāo)記的圖像中學(xué)習(xí)全面的共同語義，從內(nèi)向（${\mathbf{X}}^{in}$）和外向（${\mathbf{X}}^{out}$）兩個(gè)方向。然后，圖像${\mathbf{X}}^{in}$和${\mathbf{X}}^{out}$被送入學(xué)生網(wǎng)絡(luò)，以預(yù)測分割掩碼${\mathbf{Y}}^{in}$和${\mathbf{Y}}^{out}$ 。通過雙向復(fù)制教師網(wǎng)絡(luò)中未標(biāo)記圖像的預(yù)測結(jié)果和已標(biāo)記圖像的標(biāo)簽圖，對分割遮罩進(jìn)行監(jiān)督。

我們的雙向復(fù)制粘貼框架在Meaner架構(gòu)中的概述，為了更好的可視化，用2D輸入繪制。學(xué)生網(wǎng)絡(luò)的輸入是通過將兩張有標(biāo)簽的圖像和兩張無標(biāo)簽的圖像以擬議的雙向復(fù)制粘貼方式混合生成的。然后，為了給學(xué)生網(wǎng)絡(luò)提供監(jiān)督信號(hào)，我們通過同樣的雙向復(fù)制粘貼，將教師網(wǎng)絡(luò)產(chǎn)生的地面真相和偽標(biāo)簽合并成一個(gè)監(jiān)督信號(hào)，以實(shí)現(xiàn)地面真相的強(qiáng)監(jiān)督幫助偽標(biāo)簽的弱監(jiān)督。

3.1 雙向復(fù)制粘貼

3.1.1 平均教師和訓(xùn)練策略

在我們的BCP框架中，有一個(gè)教師網(wǎng)絡(luò)，${\mathcal{F}}_t\left({\mathbf{X}}_p^u,{\mathbf{X}}_q^u;{\mathbf{\Theta }}_t\right)$，和一個(gè)學(xué)生網(wǎng)絡(luò)${\mathcal{F}}_s\left({\mathbf{X}}^{in},{\mathbf{X}}^{out};{\mathbf{\Theta }}_s\right)$，其中${\Theta }_t$和${\Theta }_s$是參數(shù)。學(xué)生網(wǎng)絡(luò)通過隨機(jī)梯度下降法進(jìn)行優(yōu)化，教師網(wǎng)絡(luò)是通過學(xué)生網(wǎng)絡(luò)的指數(shù)移動(dòng)平均法（EMA）。

我們的訓(xùn)練策略分為三個(gè)步驟。

首先，我們只使用標(biāo)記的數(shù)據(jù)來預(yù)訓(xùn)練模型，然后我們使用預(yù)訓(xùn)練的模型作為教師網(wǎng)絡(luò)來為未標(biāo)記的圖像生成偽標(biāo)簽。在每個(gè)迭代中，我們首先通過隨機(jī)梯度下降優(yōu)化學(xué)生網(wǎng)絡(luò)參數(shù)${\Theta }_s$。最后，我們使用學(xué)生參數(shù)${\Theta }_s$的EMA更新教師網(wǎng)絡(luò)參數(shù)${\Theta }_t$。

3.1.2 通過復(fù)制粘貼進(jìn)行預(yù)訓(xùn)練

受前人[9]的啟發(fā)，我們對有標(biāo)簽的數(shù)據(jù)進(jìn)行復(fù)制粘貼增強(qiáng)，訓(xùn)練一個(gè)監(jiān)督模型，監(jiān)督模型在自訓(xùn)練過程中會(huì)對無標(biāo)簽的數(shù)據(jù)生成偽標(biāo)簽。 該策略被證明有效地提高了分割性能，更多細(xì)節(jié)將在燒蝕研究中得到說明。

3.1.3 雙向復(fù)制粘貼圖像

為了在一對圖像之間進(jìn)行復(fù)制粘貼，我們首先生成一個(gè)零中心掩碼 M ∈ { 0 , 1 } W × H × L {\mathcal{M}}\in\{0,1\}^{W\times H\times L} M∈{0,1}W×H×L，指示體素來自前景（0）還是背景（1）圖像。 零值區(qū)域的大小為$\beta H\times \beta W\times \beta L$，其中$\beta \in (0,1)$。 然后我們雙向復(fù)制粘貼標(biāo)記和未標(biāo)記的圖像，如下所示：
$$\begin{array}{c}{\mathbf{X}}^{in}={\mathbf{X}}_j^l\odot \mathcal{M}+{\mathbf{X}}_p^u\odot \left(1?\mathcal{M}\right),\\ {\mathbf{X}}^{out}={\mathbf{X}}_q^u\odot \mathcal{M}+{\mathbf{X}}_i^l\odot \left(1?\mathcal{M}\right),\end{array}$$
其中 X i l , X j l ∈ D l , i ≠ j , X p u , X q u ∈ D u , p ≠ A q , 1 ∈ { 1 } W × H ~ × L \mathbf{X}_{i}^{l},\mathbf{X}_{j}^{l}\in\mathcal{D}^{l},i\neq j,\mathbf{X}_{p}^{u},\mathbf{X}_{q}^{u}\in\mathcal{D}^{u},p\neq Aq,\textbf{1}\in\{1\}^{W\times\tilde{H}\times L} Xil?,Xjl?∈Dl,i=j,Xpu?,Xqu?∈Du,p=Aq,1∈{1}W×H~×L, $\odot$指元素明智的乘法。為了保持輸入的多樣性，采用了兩張有標(biāo)簽和無標(biāo)簽的圖像。

3.1.4 雙向復(fù)制粘貼監(jiān)控信號(hào)

為了訓(xùn)練學(xué)生網(wǎng)絡(luò)，還通過BCP操作生成監(jiān)控信號(hào)。 將未標(biāo)記的圖像${\mathbf{X}}_p^u$和${\mathbf{X}}_q^u$輸入教師網(wǎng)絡(luò)，計(jì)算它們的概率圖：
$${\mathbf{P}}_p^u={\mathcal{F}}_t({\mathbf{X}}_p^u;{\mathbf{\Theta }}_t),{\mathbf{P}}_q^u={\mathcal{F}}_t({\mathbf{X}}_q^u;{\mathbf{\Theta }}_t).$$
初始偽標(biāo)記${\mathbf{Y}}^u$（為了簡單起見，去掉p和q）是通過對二值分割任務(wù)在${\mathbf{P}}^u$上取公共閾值0.5來確定的，或者對多類分割任務(wù)在${\mathbf{P}}^u$上取Argmax運(yùn)算來確定的。 通過選取${\mathbf{Y}}^u$的最大連通分量，得到最終的偽標(biāo)記${\mathbf{Y}}^u$，有效地去除離群體素。 然后，我們提出采用與公式1和公式2相同的方式雙向復(fù)制粘貼未標(biāo)記圖像的偽標(biāo)簽和標(biāo)記圖像的地面真值標(biāo)簽，以獲得監(jiān)督信號(hào)：
$$\begin{array}{c}{\mathbf{Y}}^{in}={\mathbf{Y}}_j^l\odot \mathcal{M}+{\mathbf{Y}}_p^u\odot \left(1?\mathcal{M}\right),\\ {\mathbf{Y}}^{out}={\mathbf{Y}}_q^u\odot \mathcal{M}+{\mathbf{Y}}_i^l\odot \left(1?\mathcal{M}\right).\end{array}$$
${\mathbf{Y}}^{in}$和${\mathbf{Y}}^{out}$將作為監(jiān)督，監(jiān)督${\mathbf{X}}^{in}$和${\mathbf{X}}^{out}$的學(xué)生網(wǎng)絡(luò)預(yù)測。

3.2 損失函數(shù)

學(xué)生網(wǎng)絡(luò)的每張輸入圖像都由標(biāo)記過的和未標(biāo)記過的圖像的成分組成。直觀地說，已標(biāo)注圖像的地面真實(shí)掩碼通常比未標(biāo)注圖像的偽標(biāo)簽更準(zhǔn)確。我們用α來控制未標(biāo)記圖像像素對損失函數(shù)的貢獻(xiàn)。${\mathbf{X}}^{in}$和${\mathbf{X}}^{out}$的損失函數(shù)的計(jì)算方法分別為
$$\begin{array}{rl}& {\mathcal{L}}^{in}={\mathcal{L}}_{seg}\left({\mathbf{Q}}^{in},{\mathbf{Y}}^{in}\right)\odot \mathcal{M}+\alpha {\mathcal{L}}_{seg}\left({\mathbf{Q}}^{in},{\mathbf{Y}}^{in}\right)\odot \left(1?\mathcal{M}\right)\\ & {\mathcal{L}}^{out}={\mathcal{L}}_{seg}\left({\mathbf{Q}}^{out},{\mathbf{Y}}^{out}\right)\odot (1?\mathcal{M})+\alpha {\mathcal{L}}_{seg}\left({\mathbf{Q}}^{out},{\mathbf{Y}}^{out}\right)\odot \mathcal{M},\end{array}$$
其中${\mathcal{L}}_{seg}$是Dice損失和交叉熵?fù)p失的線性組合。 ${\mathbf{Q}}^{in}$和${\mathbf{Q}}^{out}$的計(jì)算方法是：
$${\mathbf{Q}}^{in}={\mathcal{F}}_s({\mathbf{X}}^{in};{\Theta }_s),{\mathbf{Q}}^{out}={\mathcal{F}}_s({\mathbf{X}}^{out};{\mathbf{\Theta }}_s).$$
在每一次迭代中，我們用損失函數(shù)通過隨機(jī)梯度下降更新學(xué)生網(wǎng)絡(luò)中的參數(shù)${\Theta }_s$：
$${\mathcal{L}}_{all}={\mathcal{L}}^{in}+{\mathcal{L}}^{out}.$$文章來源地址http://www.zghlxwxcb.cn/news/detail-476912.html

4. 實(shí)驗(yàn)

到了這里，關(guān)于【半監(jiān)督醫(yī)學(xué)圖像分割 2023 CVPR】BCP的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！