Zhou T, Ruan S, Hu H. A literature survey of MR-based brain tumor segmentation with missing modalities[J]. Computerized Medical Imaging and Graphics, 2023, 104: 102167.

這篇文獻(xiàn)綜述重點(diǎn)探討了在磁共振成像（MRI）用于腦腫瘤分割時(shí)面臨的一項(xiàng)主要挑戰(zhàn)：部分MRI模態(tài)的缺失（本文將范圍限定為在訓(xùn)練期間可以使用完整的 MR 模式，而在測(cè)試期間可以缺少一種或多種模式）。文中詳細(xì)分析了各種先進(jìn)的分割技術(shù)，如基于圖像合成、潛在特征空間、多源相關(guān)性、知識(shí)蒸餾和域適應(yīng)等方法，這些方法旨在克服在實(shí)際臨床場(chǎng)景中常見(jiàn)的模態(tài)缺失問(wèn)題。綜述不僅比較了這些方法的原理、優(yōu)缺點(diǎn)和適用性，還討論了用于評(píng)估這些技術(shù)的不同數(shù)據(jù)集和評(píng)估指標(biāo)。文章最后強(qiáng)調(diào)了在缺失模態(tài)下腦腫瘤分割領(lǐng)域的未來(lái)研究方向，突出了開(kāi)發(fā)能有效處理MRI模態(tài)缺失的創(chuàng)新方法的重要性。

文獻(xiàn)調(diào)研范圍：2022.3.1前

【1.引言】

第一章“引言”部分詳細(xì)討論了腦腫瘤及其對(duì)健康的影響，以及磁共振成像（MRI）在診斷過(guò)程中的重要性。文中指出腦腫瘤是一種嚴(yán)重的生命威脅性疾病，每年在美國(guó)有大約13,000名患者死于腦腫瘤。診斷和標(biāo)準(zhǔn)治療后的平均總生存時(shí)間只有15至17個(gè)月。腦腫瘤的治療費(fèi)用昂貴，平均費(fèi)用為2788美元。因此，準(zhǔn)確診斷腦腫瘤在規(guī)劃手術(shù)和治療中起著至關(guān)重要的作用，可能會(huì)延長(zhǎng)患者的生存時(shí)間。

MRI作為一種廣泛使用的醫(yī)學(xué)成像技術(shù)，能夠展示身體的解剖結(jié)構(gòu)和生理過(guò)程，特別是腦血管解剖和脊髓。MRI提供了一種診斷腦腫瘤的有效方式，因其軟組織對(duì)比度高和廣泛的可用性。MRI有多種模態(tài)，如流體衰減反轉(zhuǎn)恢復(fù)（FLAIR）、T2加權(quán)成像（T2）、T1加權(quán)成像（T1）和帶對(duì)比增強(qiáng)的T1加權(quán)成像（T1c），這些不同的模態(tài)可以提供互補(bǔ)信息，幫助區(qū)分腦腫瘤和正常腦組織。然而，在臨床實(shí)踐中，由于采集協(xié)議、圖像損壞、掃描儀可用性、掃描成本或?qū)δ承?duì)比材料的過(guò)敏反應(yīng)，某些MRI模態(tài)常常缺失。這對(duì)醫(yī)生和自動(dòng)化診斷系統(tǒng)構(gòu)成挑戰(zhàn)，因?yàn)橛扇笔B(tài)提供的互補(bǔ)信息無(wú)法獲取

【2.生物醫(yī)學(xué)背景回顧】

本文的第二章“生物醫(yī)學(xué)背景回顧”包含三個(gè)主要部分：腦腫瘤、磁共振成像（MRI）和腦腫瘤分割。

2.1 腦腫瘤

• 腦腫瘤是腦部異常細(xì)胞的癌性或非癌性生長(zhǎng)。它們是最具侵襲性的癌癥之一，嚴(yán)重威脅患者的生命和健康。
• 世界衛(wèi)生組織（WHO）將腦腫瘤分為I級(jí)（最不惡性）到IV級(jí)（最惡性）。其中，I級(jí)和II級(jí)為良性（低級(jí)別）腦腫瘤；III級(jí)和IV級(jí)為惡性（高級(jí)別）腦腫瘤。良性腫瘤占29.7%，惡性腫瘤占70.3%。
• 惡性腫瘤中，最常見(jiàn)的是膠質(zhì)母細(xì)胞瘤（占48.6%），它發(fā)展迅速，可迅速導(dǎo)致死亡。
• 腦腫瘤可分為原發(fā)性腫瘤和繼發(fā)性腫瘤（腦轉(zhuǎn)移性腫瘤）。原發(fā)性腫瘤起源于腦內(nèi)（如腦膜、腦細(xì)胞、神經(jīng)細(xì)胞和腺體），而繼發(fā)性腫瘤起源于其他部位的癌癥并轉(zhuǎn)移到腦部。

2.2 磁共振成像

• MRI是一種常用的醫(yī)學(xué)成像技術(shù)，用于醫(yī)學(xué)診斷和治療監(jiān)測(cè)。MRI掃描儀本質(zhì)上是一個(gè)巨大的磁鐵，磁鐵的強(qiáng)度以特斯拉（T）為單位。醫(yī)院和醫(yī)學(xué)研究診所中使用的MRI掃描儀通常為1.5T或3T。
• MRI對(duì)診斷腦腫瘤非常有用，原因包括：它能提供比計(jì)算機(jī)斷層掃描（CT）更精確和詳細(xì)的軟組織圖像；是一種無(wú)創(chuàng)成像技術(shù)；作為一種多模態(tài)成像技術(shù)，能夠根據(jù)橫向松弛時(shí)間和縱向松弛時(shí)間的差異展示不同組織之間的各種對(duì)比度。
• 臨床實(shí)踐中最常用的MR模態(tài)包括流體衰減反轉(zhuǎn)恢復(fù)（FLAIR）、T2加權(quán)成像（T2）、T1加權(quán)成像（T1）和帶對(duì)比增強(qiáng)的T1加權(quán)成像（T1c）。

2.3 腦腫瘤分割

• 基于MR的腦腫瘤分割是臨床實(shí)踐中的一個(gè)基本步驟，應(yīng)用于神經(jīng)學(xué)領(lǐng)域，如定量分析、手術(shù)規(guī)劃和功能成像。近年來(lái)，關(guān)于腦腫瘤分割的研究論文數(shù)量不斷增加，表明這一領(lǐng)域越來(lái)越受到關(guān)注。
• MR腦腫瘤分割在真實(shí)臨床場(chǎng)景中始終是一項(xiàng)艱巨的任務(wù)，因?yàn)槟X腫瘤的特性和腦解剖結(jié)構(gòu)因人而異，且腫瘤非常異質(zhì)性。
• MRI的局限性也給腦腫瘤分割帶來(lái)挑戰(zhàn)，例如MRI的低對(duì)比度導(dǎo)致腫瘤邊界不清晰，MR圖像包含由于不同掃描儀造成的各種偽影，如不規(guī)則性、像素變化和不均勻性。設(shè)計(jì)一種有效的方法來(lái)融合不同MR模態(tài)以最大限度地利用多源信息也具有挑戰(zhàn)性。缺少一個(gè)或多個(gè)MR模態(tài)可能會(huì)大大降低與完整模態(tài)相比的分割精度。
• 在基于深度學(xué)習(xí)的腦腫瘤分割中，存在一個(gè)非常重要的技術(shù)限制，即可用數(shù)據(jù)集的稀缺性。由于深度學(xué)習(xí)網(wǎng)絡(luò)需要大量的訓(xùn)練數(shù)據(jù)，這使得數(shù)據(jù)集獲取更具挑戰(zhàn)性。不同醫(yī)院擁有不同的掃描儀和成像協(xié)議，這使得標(biāo)準(zhǔn)化和數(shù)據(jù)質(zhì)量復(fù)雜化。此外，腫瘤注釋是由專家手動(dòng)勾畫(huà)的，導(dǎo)致一些內(nèi)部和外部評(píng)價(jià)者的變異性。因此，沒(méi)有絕對(duì)的真理，只有金標(biāo)準(zhǔn)。最后，腦腫瘤分割過(guò)程通常需要大量時(shí)間和計(jì)算資源，因此加速分割過(guò)程對(duì)于獲得準(zhǔn)確和高效的分割結(jié)果至關(guān)重要。

【3.State-of-the-art分割方法】

在第三章中，總結(jié)了目前的一些分割方法，坐著將這些方法分為五類：

3.1 圖像合成方法

圖像合成方法是針對(duì)MRI腦腫瘤分割中缺失模態(tài)問(wèn)題的一種直觀解決方案。它通過(guò)先合成缺失的模態(tài)，然后利用現(xiàn)有和合成的模態(tài)進(jìn)行腦腫瘤分割。該策略的總體流程如下：

1. 使用特定的圖像合成方法生成缺失的模態(tài)：這個(gè)步驟是通過(guò)選擇合適的圖像合成技術(shù)來(lái)完成的。合成的目的是模擬缺失的MR模態(tài)，從而為后續(xù)的腫瘤分割提供完整的數(shù)據(jù)集。
2. 合成和現(xiàn)有圖像的結(jié)合進(jìn)行腦腫瘤分割：在獲得合成的模態(tài)之后，這些圖像與現(xiàn)有的MR模態(tài)結(jié)合使用，進(jìn)行腦腫瘤的識(shí)別和分割。

在這個(gè)范疇中，文獻(xiàn)中提到的方法總結(jié)如下：

• Jog等人的REPLICA方法：這是一種基于監(jiān)督隨機(jī)森林的圖像合成方法。它首先提取多尺度特征，然后通過(guò)隨機(jī)森林進(jìn)行多分辨率分析。最后，將學(xué)習(xí)到的非線性映射應(yīng)用于測(cè)試圖像以合成缺失的模態(tài)。REPLICA能夠合成T2加權(quán)圖像和FLAIR圖像，對(duì)后續(xù)的圖像分割有益。
• Sharma和Hamarneh的MM-GAN：提出了一種多模態(tài)生成對(duì)抗網(wǎng)絡(luò)（MM-GAN）來(lái)合成缺失的MR模態(tài)。這個(gè)網(wǎng)絡(luò)基于U-Net架構(gòu)，并采用了PatchGAN架構(gòu)的鑒別器。它是一個(gè)多輸入和多輸出的架構(gòu)，能夠處理任何組合的可用和缺失模態(tài)。
• Islam等人的方法：他們提出使用基于全卷積網(wǎng)絡(luò)（FCN）的生成器和條件生成對(duì)抗網(wǎng)絡(luò)（cGAN）的修改鑒別器來(lái)首先合成缺失的MR模態(tài)，然后結(jié)合可用和合成的MR模態(tài)來(lái)實(shí)現(xiàn)腦腫瘤分割。
• Zhou等人的方法：為了解決多個(gè)模態(tài)缺失的問(wèn)題，他們提出首先生成缺失模態(tài)的平均圖像，然后將這個(gè)合成的模態(tài)與現(xiàn)有模態(tài)結(jié)合，進(jìn)行腦腫瘤分割。

然而，這種策略的主要缺點(diǎn)是計(jì)算成本高，特別是在許多模態(tài)（例如三個(gè)模態(tài)）缺失的情況下。盡管如此，圖像合成方法提供了一種有前景的途徑來(lái)解決MR基礎(chǔ)腦腫瘤分割中的模態(tài)缺失問(wèn)題。

3.2 基于潛在特征空間的方法

基本概念：這種方法涉及利用多模態(tài)潛在特征空間來(lái)檢索缺失的信息。過(guò)程通常從獨(dú)立的編碼器開(kāi)始，提取特定于模態(tài)的特征表示。然后利用這些特征表示學(xué)習(xí)共享的潛在特征表示，并最終使用解碼器實(shí)現(xiàn)腦腫瘤分割。

代表性的方法概述：

• HeMIS (Havaei等，2016年)：為缺失模態(tài)設(shè)計(jì)的早期網(wǎng)絡(luò)之一，HeMIS采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）架構(gòu)。它通過(guò)獨(dú)立的卷積層（后端層）處理每種模態(tài)，通過(guò)計(jì)算它們的平均值和方差合并獲得的特征圖（抽象層），然后將這些特征圖饋送到前端層以獲取輸出。這種方法在實(shí)驗(yàn)中顯示出了良好的效果。
• 統(tǒng)一表示網(wǎng)絡(luò)（URN）(Lau等，2019年)：這個(gè)網(wǎng)絡(luò)使用了U-Net架構(gòu)，包括特定于模態(tài)的編碼器、融合模塊和分割解碼器。融合模塊通過(guò)計(jì)算平均值將編碼器的輸出組合成統(tǒng)一表示。網(wǎng)絡(luò)還可以合成多模態(tài)圖像，顯示出對(duì)缺失模態(tài)的魯棒性。
• U-HVED (Dorent等，2019年)：該方法使用多模態(tài)變分自編碼器來(lái)處理缺失模態(tài)。它通過(guò)高斯積的形式組合模態(tài)的均值和方差，并應(yīng)用跳過(guò)連接以捕獲更豐富的特征。該方法在BraTS 2018數(shù)據(jù)集上超越了HeMIS。
• 多模態(tài)變分自編碼器的擴(kuò)展（Zhu等，2021年)：受U-HVED啟發(fā)，該方法將多模態(tài)變分自編碼器擴(kuò)展到殘差形式，專門(mén)解決一個(gè)缺失模態(tài)的情況。
• 特征解離（Chen等，2019年)：這種新穎的方法將多模態(tài)特征解離為特定于模態(tài)的外觀代碼和模態(tài)不變的內(nèi)容代碼。通過(guò)融合內(nèi)容代碼形成的共享特征表示用于分割，并且必須能夠在缺失模態(tài)的情況下重建任何模態(tài)。這種方法在各種缺失模態(tài)情況下表現(xiàn)出競(jìng)爭(zhēng)性能。

總之，基于潛在特征空間的方法側(cè)重于從不同的MRI模態(tài)中提取和合并特征，以補(bǔ)償缺失的信息，在缺失模態(tài)的腦腫瘤分割任務(wù)中顯示出有效性。

3.3 基于多源相關(guān)性的方法

在不同MR模態(tài)下，同一腫瘤區(qū)域可能被呈現(xiàn)出來(lái)。研究者（例如Zhou等人，2021b年）發(fā)現(xiàn)，不同MR模態(tài)間腫瘤區(qū)域的強(qiáng)度分布存在強(qiáng)烈的相關(guān)性。因此，他們假設(shè)在不同MR模態(tài)之間的潛在特征表示中也存在強(qiáng)關(guān)聯(lián)。

這部分主要是對(duì)文章作者本人的兩篇作品的概述：

• 第一篇：提出的網(wǎng)絡(luò)首先將四種模態(tài)作為每個(gè)編碼器的輸入。這些獨(dú)立的編碼器不僅可以學(xué)習(xí)特定于模態(tài)的特征表示，還可以避免模態(tài)之間的錯(cuò)誤適應(yīng)。為了考慮多模態(tài)間的強(qiáng)相關(guān)性，開(kāi)發(fā)了一個(gè)相關(guān)模型來(lái)發(fā)現(xiàn)模態(tài)之間的關(guān)聯(lián)。然后，通過(guò)注意力機(jī)制將不同模態(tài)間的關(guān)聯(lián)表示融合起來(lái)。
  

• 第二篇是針對(duì)第一篇的改進(jìn)：在第一篇中，作者只是用現(xiàn)有的模態(tài)替換了缺失的模態(tài)，當(dāng)缺少更多模態(tài)時(shí)，這會(huì)導(dǎo)致結(jié)果不令人滿意。此外，它沒(méi)有考慮估計(jì)的相關(guān)特征表示和原始特征表示是否相似。因此，為了解決這些問(wèn)題并進(jìn)一步提高分割性能，第二篇的方法首先通過(guò)基于編碼器-解碼器的生成器生成缺失模態(tài)的平均值，形成新的完整模態(tài)。然后，提出了一個(gè)相關(guān)性模型來(lái)探索新的完整模態(tài)集的多源相關(guān)性。此外，還可以檢索丟失的特征表示。最后，應(yīng)用解碼器獲得最終的腦腫瘤分割。實(shí)驗(yàn)結(jié)果驗(yàn)證了所提出的方法與以前的方法和其他最先進(jìn)的方法相比的有效性。

  

這里因?yàn)槭墙榻B作者自己的文章，作者沒(méi)有指出自己模型的缺點(diǎn)，哈哈

3.4 基于知識(shí)蒸餾的方法

知識(shí)蒸餾（Hinton等，2015）是一種從復(fù)雜模型向簡(jiǎn)潔模型轉(zhuǎn)移知識(shí)的方式，旨在提高緊湊網(wǎng)絡(luò)的性能。這種方法近年來(lái)在研究領(lǐng)域受到越來(lái)越多的關(guān)注，并廣泛應(yīng)用于圖像分類、目標(biāo)檢測(cè)和語(yǔ)義分割等領(lǐng)域。

代表性方法概述：

• Hu等人（2020b）的方法：Hu等人提出了一種使用廣義知識(shí)蒸餾（Lopez-Paz等，2015；Vapnik等，2015）從訓(xùn)練有素的多模態(tài)網(wǎng)絡(luò)（教師）向單模態(tài)網(wǎng)絡(luò)（學(xué)生）轉(zhuǎn)移知識(shí)的方法。該網(wǎng)絡(luò)基于兩個(gè)相同的編解碼器網(wǎng)絡(luò)，一個(gè)用于學(xué)生，另一個(gè)用于教師。教師網(wǎng)絡(luò)從多個(gè)輸入模態(tài)中學(xué)習(xí)，而學(xué)生網(wǎng)絡(luò)則只從一個(gè)模態(tài)中學(xué)習(xí)。為了約束學(xué)生和教師之間的潛在表示相似，學(xué)生網(wǎng)絡(luò)使用了三種不同的損失函數(shù)：知識(shí)蒸餾損失、基于Kullback-Leibler（KL）散度的損失和參考分割損失。實(shí)驗(yàn)結(jié)果顯示，所提出的學(xué)生網(wǎng)絡(luò)能夠有效地從教師網(wǎng)絡(luò)中學(xué)習(xí)，并且性能優(yōu)于基線的單模態(tài)網(wǎng)絡(luò)。

• Vadacchino等人（2021）的方法：Vadacchino等人引入了一個(gè)分層對(duì)抗性蒸餾網(wǎng)絡(luò)（HAD-Net），以克服腦腫瘤分割中的模態(tài)缺失問(wèn)題。所提出的網(wǎng)絡(luò)包括三個(gè)主要組成部分：教師網(wǎng)絡(luò)、學(xué)生網(wǎng)絡(luò)和分層判別器（HD）。教師網(wǎng)絡(luò)采用所有可用的MRI模態(tài)作為輸入，而學(xué)生網(wǎng)絡(luò)只使用對(duì)比前的MRI模態(tài)（排除T1c）來(lái)訓(xùn)練模型。HD組件旨在通過(guò)將它們的分割及其多尺度特征圖映射到一個(gè)共同空間，來(lái)彌合學(xué)生和教師之間的領(lǐng)域差距。然而，類似于Shen和Gao（2019）的工作，這種方法特別關(guān)注缺失的T1c模態(tài)。實(shí)驗(yàn)結(jié)果顯示了該方法的顯著性能和改進(jìn)。

總之，基于知識(shí)蒸餾的方法通過(guò)從多模態(tài)網(wǎng)絡(luò)（教師）向單模態(tài)網(wǎng)絡(luò)（學(xué)生）轉(zhuǎn)移知識(shí)，解決了腦腫瘤分割中的模態(tài)缺失問(wèn)題。該方法通過(guò)特定的網(wǎng)絡(luò)架構(gòu)和損失函數(shù)設(shè)計(jì)，實(shí)現(xiàn)了對(duì)缺失模態(tài)的有效補(bǔ)償，提高了單模態(tài)網(wǎng)絡(luò)的分割性能。

3.5 基于域適應(yīng)的方法

域適應(yīng)是一種通過(guò)利用不同但相關(guān)源域中的訓(xùn)練數(shù)據(jù)來(lái)解決目標(biāo)域?qū)W習(xí)問(wèn)題的方法。近年來(lái)，域適應(yīng)方法在許多領(lǐng)域如點(diǎn)云、目標(biāo)檢測(cè)、圖像分類和語(yǔ)義分割等領(lǐng)域引起了廣泛關(guān)注。

代表性方法概述：

• Shen和Gao（2019）的方法：Shen和Gao提出了一種域適應(yīng)方法，以確保模型在缺失模態(tài)和完整模態(tài)情況下都能生成相似的特征。他們的方法首先在訓(xùn)練期間隨機(jī)移除一個(gè)模態(tài)，以增強(qiáng)模型對(duì)一個(gè)模態(tài)缺失的魯棒性。然后，網(wǎng)絡(luò)在一個(gè)缺失模態(tài)的情況下接受訓(xùn)練，同時(shí)應(yīng)用對(duì)抗性損失函數(shù)，以使目標(biāo)域（缺失模態(tài)）的特征圖與源域（完整模態(tài)）的特征圖適應(yīng)。

• Wang等人（2021b）的方法：Wang等人提出了一種對(duì)抗性共訓(xùn)練網(wǎng)絡(luò)（Adversarial Co-training Network, ACN），用于對(duì)齊完整模態(tài)和缺失模態(tài)之間的域和特征分布。具體來(lái)說(shuō)，該網(wǎng)絡(luò)包括一個(gè)多模態(tài)路徑以獲取豐富的模態(tài)信息，以及一個(gè)單模態(tài)路徑來(lái)生成特定于模態(tài)的特征表示。然后引入共訓(xùn)練方法，在這兩個(gè)路徑之間建立耦合學(xué)習(xí)過(guò)程。該方法包括三個(gè)模塊：一個(gè)用于匹配兩個(gè)路徑之間分布的熵對(duì)抗學(xué)習(xí)模塊（EnA）；一個(gè)鼓勵(lì)特征。

總之，基于域適應(yīng)的方法通過(guò)利用源域和目標(biāo)域之間的關(guān)聯(lián)性，以及通過(guò)特定的網(wǎng)絡(luò)架構(gòu)和訓(xùn)練策略，解決了在腦腫瘤分割中的模態(tài)缺失問(wèn)題。這種方法通過(guò)對(duì)齊完整模態(tài)和缺失模態(tài)之間的特征分布，提高了模型在缺失模態(tài)情況下的分割性能。

3.6 比較分析

本節(jié)對(duì)前述方法進(jìn)行比較分析，考慮了它們的原理、架構(gòu)、優(yōu)勢(shì)和局限性。作者指出，使用圖像合成技術(shù)來(lái)補(bǔ)償缺失的模態(tài)是一種直觀的解決方案，可以恢復(fù)缺失的數(shù)據(jù)信息。然而，額外的圖像合成會(huì)增加計(jì)算時(shí)間和網(wǎng)絡(luò)復(fù)雜度。通常，生成對(duì)抗網(wǎng)絡(luò)（GAN）是圖像合成的首選方法。

• **圖像合成方法：**圖像合成技術(shù)來(lái)補(bǔ)償缺失的模態(tài)是一種直觀的解決方案，可以恢復(fù)缺失的數(shù)據(jù)信息。然而，額外的圖像合成會(huì)增加計(jì)算時(shí)間和網(wǎng)絡(luò)復(fù)雜度，訓(xùn)練GAN會(huì)面臨一些常見(jiàn)問(wèn)題，如模式崩潰、不收斂、不穩(wěn)定、對(duì)超參數(shù)高度敏感等。因此，不穩(wěn)定的訓(xùn)練會(huì)導(dǎo)致合成結(jié)果不理想，最終影響分割結(jié)果。將合成路徑和分割路徑結(jié)合在同一架構(gòu)中也具有挑戰(zhàn)性。
• 基于潛在特征空間的方法：該方法可以通過(guò)計(jì)算算術(shù)運(yùn)算（例如均值和方差）輕松實(shí)現(xiàn)，或者簡(jiǎn)單地鼓勵(lì)來(lái)自不同模態(tài)的特征在 L1 或 L2 距離下接近。但其局限性在于無(wú)法恢復(fù)丟失的圖像信息。此外，可用模式不足會(huì)導(dǎo)致特征恢復(fù)不佳，從而導(dǎo)致分割結(jié)果不令人滿意。
• **基于多源相關(guān)性的方法:**利用模態(tài)之間的強(qiáng)相關(guān)性來(lái)補(bǔ)償缺失的模態(tài)，可以指導(dǎo)分割網(wǎng)絡(luò)學(xué)習(xí)相關(guān)的特征表示以提高分割性能。然而，當(dāng)大多數(shù)模態(tài)不存在時(shí)，由于特征信息不足，該方法無(wú)法保證丟失信息的恢復(fù)。此外，如果不結(jié)合圖像合成路徑，丟失的圖像信息通常無(wú)法恢復(fù)。
• **基于知識(shí)蒸餾的方法：**從老師那里汲取豐富的知識(shí)。了解每種知識(shí)的影響并了解不同種類的知識(shí)如何以互補(bǔ)的方式相互幫助是至關(guān)重要的。例如，來(lái)自不同隱藏層的知識(shí)可能對(duì)學(xué)生模型的訓(xùn)練有不同的影響。因此，在統(tǒng)一和互補(bǔ)的框架中提取豐富的知識(shí)具有挑戰(zhàn)性。 傳遞教師傳授的知識(shí)來(lái)指導(dǎo)學(xué)生的訓(xùn)練。一般來(lái)說(shuō)，需要專用的損失函數(shù)或模塊來(lái)約束學(xué)生和教師之間的特征信息相似。
• 基于域適應(yīng)的方法：該方法的主要問(wèn)題是減少源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)的分布差異，因?yàn)樗鼤?huì)直接影響后續(xù)的分割結(jié)果。此外，如果不加入額外的圖像合成子網(wǎng)絡(luò)，就無(wú)法檢索丟失的圖像信息。

總的來(lái)說(shuō)，結(jié)合不同策略可以從不同方法的優(yōu)勢(shì)中獲益。例如，基于圖像合成的方法可以與其他四種方法（基于潛在特征空間的模型、基于多源相關(guān)性的方法、基于知識(shí)蒸餾的方法和基于域適應(yīng)的方法）結(jié)合。這樣，網(wǎng)絡(luò)不僅能夠恢復(fù)缺失的模態(tài)，還能實(shí)現(xiàn)腦腫瘤分割。然而，應(yīng)當(dāng)注意到不希望的效果，例如合并合成路徑可以幫助恢復(fù)缺失的圖像信息，但不穩(wěn)定的訓(xùn)練和計(jì)算成本也需要考慮。

本節(jié)最后提到一些腦瘤MRI分割的商用軟件：

• 3D Slicer（Kikinis 和 Pieper，2011）提供了一組交互式工具，用于從 MR 圖像中快速且可重復(fù)地分割腦腫瘤。
• GIST（Cates 等人，2004）是一種基于 GPU 的交互式 3D 醫(yī)學(xué)圖像水平集分割工具。
• BraTumIA（腦腫瘤圖像分析） 是一款專用于腦腫瘤研究多模態(tài)圖像分析的軟件。它可以使用多模態(tài) MR 圖像（T1、T1 對(duì)比度、T2 對(duì)比度和 FLAIR）實(shí)現(xiàn)健康組織和腫瘤組織的分割，包括灰質(zhì) (GM)、白質(zhì) (WM)、腦脊液 (CSF)、壞死核心、水腫、非強(qiáng)化腫瘤和強(qiáng)化腫瘤。
• BraTS Toolkit（Kofler 等人，2020）可以將最先進(jìn)的計(jì)算方法轉(zhuǎn)化為臨床常規(guī)和科學(xué)實(shí)踐。

【4.性能分析】

4.1 數(shù)據(jù)集

• BraTS數(shù)據(jù)集：BraTS（Brain Tumor Segmentation）挑戰(zhàn)數(shù)據(jù)集是最常用的公共數(shù)據(jù)集之一（Menze等人，2014年）。它專注于評(píng)估最先進(jìn)的腦腫瘤分割方法，這些方法基于多模態(tài)MRI數(shù)據(jù)。BraTS數(shù)據(jù)集在臨床實(shí)踐和科學(xué)研究中將先進(jìn)的計(jì)算方法轉(zhuǎn)化為常規(guī)應(yīng)用。

• ISLES 2015數(shù)據(jù)集：ISLES（Ischemic Stroke Lesion Segmentation）2015挑戰(zhàn)數(shù)據(jù)集由兩個(gè)子挑戰(zhàn)組成：亞急性腦卒中病變分割（SISS）和腦卒中灌注估計(jì)（SPES）（Maier等人，2017年）。所有MRI序列都被去除顱骨，重新采樣到1mm3（SISS）或2mm3（SPES）的等距間距，并分別與FLAIR（SISS）和T1w對(duì)比（SPES）序列配準(zhǔn)。SISS子數(shù)據(jù)集包含F(xiàn)LAIR、T2w TSE、T1w TFE/TSE和DWI序列。

• TCGA數(shù)據(jù)集：TCGA（The Cancer Genome Atlas）數(shù)據(jù)集是一個(gè)多機(jī)構(gòu)綜合收集的各種分子特征腫瘤類型的集合（Tomczak等人，2015年；Bakas等人，2017a）。它包含了所有術(shù)前多模態(tài)MRI的MRI和基因組數(shù)據(jù)，包括膠質(zhì)母細(xì)胞瘤（TCGA-GBM，n = 262）和低級(jí)別膠質(zhì)瘤（TCGA-LGG，n = 199）的收集，通過(guò)放射學(xué)評(píng)估。該數(shù)據(jù)集涵蓋了膠質(zhì)瘤亞區(qū)域。

  

4.2 評(píng)估指標(biāo)

• 評(píng)估指標(biāo)介紹：在介紹具體評(píng)估指標(biāo)之前，文中給出了以下幾個(gè)基本術(shù)語(yǔ)的定義：

  • TP（True Positive）：預(yù)測(cè)為腦腫瘤且預(yù)測(cè)正確。

  • TN（True Negative）：預(yù)測(cè)不是腦腫瘤且預(yù)測(cè)正確。

  • FP（False Positive）：預(yù)測(cè)為腦腫瘤但預(yù)測(cè)不正確。

  • FN（False Negative）：預(yù)測(cè)不是腦腫瘤但預(yù)測(cè)不正確。

• Dice 相似系數(shù)（DSC）：用于計(jì)算預(yù)測(cè)結(jié)果和真實(shí)標(biāo)注之間的重疊率。DSC的值越高，預(yù)測(cè)結(jié)果越好。

• Jaccard 相似系數(shù)：用于衡量?jī)蓚€(gè)不同集合的交集與并集之間的比例。較高的Jaccard系數(shù)意味著更好的預(yù)測(cè)結(jié)果。

• 精確度（Precision）：用于衡量正確的正結(jié)果占所有正結(jié)果的百分比。較高的精確度表示更好的預(yù)測(cè)性能。

• 敏感度（Sensitivity, 又稱召回率）：用于衡量正確識(shí)別為正的樣本占所有應(yīng)識(shí)別為正的樣本的百分比。較高的敏感度表示更好的預(yù)測(cè)性能。

• 特異性（Specificity）：用于衡量正確識(shí)別為負(fù)的樣本占所有應(yīng)識(shí)別為負(fù)的樣本的百分比。

• Hausdorff 距離（HD）：在預(yù)測(cè)結(jié)果和真實(shí)標(biāo)注的邊界之間計(jì)算，它是最大分割錯(cuò)誤的指標(biāo)。較小的Hausdorff距離表示更好的預(yù)測(cè)結(jié)果。

4.3 比較分析

首先總結(jié)了第3節(jié)提到的方法，涵蓋了不同數(shù)據(jù)集、數(shù)據(jù)維度和網(wǎng)絡(luò)架構(gòu)。接著，選取了一些最新的腦腫瘤分割方法，并對(duì)這些方法進(jìn)行了量化分析。為了公平比較，比較了在相同數(shù)據(jù)集和相同實(shí)驗(yàn)設(shè)置下訓(xùn)練的方法。大多數(shù)方法使用BraTS挑戰(zhàn)數(shù)據(jù)集，因?yàn)樗峁┝舜罅康亩嗄B(tài)數(shù)據(jù)。在數(shù)據(jù)維度方面，2D或3D都是可能的選擇，這取決于模型的復(fù)雜性。具體論文中列舉了多個(gè)表格，這里不贅述，感興趣可以查看原文。

【5.未來(lái)的方向】

• 數(shù)據(jù)多樣性：在腦腫瘤分割領(lǐng)域，特別是在處理缺失模態(tài)的情況下，大多數(shù)研究使用BraTS數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)分析。雖然這個(gè)數(shù)據(jù)集提供了大量的圖像數(shù)據(jù)用于訓(xùn)練、驗(yàn)證和測(cè)試，但數(shù)據(jù)多樣性方面仍然存在不足。為了提高數(shù)據(jù)多樣性，作者建議添加臨床場(chǎng)景中的基因組信息，這有助于更好地發(fā)現(xiàn)腫瘤的模式和特征。這意味著將基因組學(xué)數(shù)據(jù)與傳統(tǒng)的醫(yī)學(xué)影像數(shù)據(jù)相結(jié)合，以便更全面地理解和分析腫瘤。
• 數(shù)據(jù)標(biāo)注：在醫(yī)學(xué)圖像分割中，收集大規(guī)模的標(biāo)注數(shù)據(jù)是一項(xiàng)艱巨的任務(wù)，執(zhí)行標(biāo)注工作既耗時(shí)又勞動(dòng)密集，而且成本高昂。因此應(yīng)該探索更好的數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)和弱監(jiān)督及半監(jiān)督學(xué)習(xí)方式。
• 不確定性量化：不確定性量化在決策制定中扮演著重要的角色。這一概念被廣泛應(yīng)用于科學(xué)和工程領(lǐng)域。在腦腫瘤分割方面，存在兩個(gè)主要的不確定性來(lái)源：（1）圖像采集過(guò)程中的噪聲：這可能導(dǎo)致圖像質(zhì)量下降，增加分割任務(wù)的復(fù)雜性。（2）專家對(duì)腫瘤標(biāo)注的不一致：在一些模糊不清的情況下，不同的專家可能對(duì)腫瘤的標(biāo)注有不同的意見(jiàn)。因此，僅預(yù)測(cè)腫瘤的單一分割結(jié)果是不夠的，需要同時(shí)獲得腫瘤位置的預(yù)測(cè)和該預(yù)測(cè)的置信度，以幫助醫(yī)生做出最終決策。不確定性量化可以提供關(guān)于預(yù)測(cè)置信度的見(jiàn)解，從而在醫(yī)療決策中起到關(guān)鍵作用。
• 模型復(fù)雜度：這個(gè)是通病，不贅述
• 模型可解釋性:這個(gè)也是通病，不贅述

【總結(jié)】

本文對(duì)缺失模式情況下的腦腫瘤分割進(jìn)行了全面的文獻(xiàn)調(diào)查，為了實(shí)現(xiàn)這一目標(biāo)，論文首先介紹腦腫瘤的生物醫(yī)學(xué)背景綜述、MRI 成像技術(shù)以及當(dāng)前腦腫瘤分割的挑戰(zhàn)。然后，提供了最近最先進(jìn)方法的分類，分為五類：基于圖像合成的方法、基于潛在特征空間的模型、基于多源相關(guān)性的方法、基于知識(shí)蒸餾的方法和領(lǐng)域適應(yīng)-為基礎(chǔ)的方法。論文對(duì)這些方法的原理、架構(gòu)、優(yōu)點(diǎn)和局限性進(jìn)行了深入分析。隨后，描述了常用的腦腫瘤數(shù)據(jù)集和評(píng)估指標(biāo)。最后，分析了現(xiàn)有的挑戰(zhàn)并提出了前景。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-805312.html

到了這里，關(guān)于【論文閱讀筆記】A literature survey of MR-based brain tumor segmentation with missing modalities的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！