Loss odyssey in medical image segmentation

github：https://github.com/JunMa11/SegLossOdyssey

這篇文章回顧了醫(yī)學(xué)圖像分割中的20種不同的損失函數(shù)，旨在回答：對(duì)于醫(yī)學(xué)圖像分割任務(wù)，我們應(yīng)該選擇哪種損失函數(shù)？

首先是一張各類分割函數(shù)的圖譜：

介紹函數(shù)之前先定義字母符號(hào)的含義：

，

分別代表分割結(jié)果和GT，代表里面的每個(gè)體素，N是一張圖片體素?cái)?shù)量，C是類別

損失函數(shù)分為四類：即分布不匹配，區(qū)域、邊界或它們的某種組合。

1. Distribution-based Loss?

基于分布的損失函數(shù)旨在最小化兩個(gè)分布之間的不相似性。以交叉熵cross entropy為代表。

1.1. Cross entropy

對(duì)于CNN模型，可以寫為：

加權(quán)版——Weighted cross entropy (WCE)（2015）：

，一般和類別占得比例成反比，本文實(shí)驗(yàn)中使用類別比例的倒數(shù)。另一種使用加權(quán)交叉熵的方式是根據(jù)GT對(duì)每個(gè)像素加權(quán)。

1.2. TopK loss（2016）

t∈ (0, 1]是個(gè)閾值，也就是說(shuō)，容易分類的像素點(diǎn)（概率>t）被忽略了，另一個(gè)實(shí)現(xiàn)版本：

本文實(shí)驗(yàn)中k=10%

1.3. Focal loss（2018）

通過(guò)減少已經(jīng)分好類的樣本的損失來(lái)關(guān)注困難樣本，可以處理前景背景類別不平衡的情況。原始論文中給出γ=2表現(xiàn)最好。

1.4. Distance map penalized cross entropy loss (DPCE)

具體地，通過(guò)取GT的距離變換的逆來(lái)生成Dc。通過(guò)這種方式，可以為邊界上的像素分配更大的權(quán)重。

DPCE損失通過(guò)從GT掩碼導(dǎo)出的距離圖來(lái)加權(quán)交叉熵。它旨在引導(dǎo)網(wǎng)絡(luò)將重點(diǎn)放在難以分割的邊界區(qū)域。

2. Region-based Loss

基于區(qū)域的損失函數(shù)旨在最小化GT和預(yù)測(cè)S之間的不匹配或最大化兩者的重疊區(qū)域。最有代表性的是Dice loss。

2.1. Sensitivity-specificity loss（2015）

將特異性加權(quán)得更高來(lái)解決類別失衡問(wèn)題。w控制敏感性和特異性的平衡。

2.2. Dice loss（2016）

有兩個(gè)變體：

直接優(yōu)化Dice Similarity Coefficient (DSC)。與加權(quán)交叉熵不同，Dice損失不需要對(duì)不平衡分割任務(wù)進(jìn)行類重新加權(quán)。

2.3. IoU (Jaccard) loss（2016）

和Dice loss很相似，也是直接優(yōu)化目標(biāo)類別的分割指標(biāo)。

2.4. Lovász loss

定義類c ∈ C的像素誤差：

與IoU損失類似，Lovasz損失也是直接優(yōu)化Jaccard指數(shù)，但它使用了不同的替代策略。特別地，IoU損失（也稱為軟Jaccard）簡(jiǎn)單地用softmax概率代替Jaccard索引中的分割，while Lovász loss? uses a piecewise linear convex surrogate to the IoU loss based on the Lovász extension of submodular set functions。

2.5. Tversky loss

這個(gè)是改進(jìn)的Dice loss，旨在得到更好的P、R的平衡，強(qiáng)調(diào)錯(cuò)誤的負(fù)類樣本。α，β是超參數(shù)，控制false negatives and false positives的平衡。

2.6. Generalized Dice loss

，is used to provide invariance to different label set properties.用于為不同的標(biāo)簽集屬性提供不變性。

這個(gè)損失函數(shù)是多類別Dice loss的擴(kuò)展，每個(gè)類別的權(quán)重與標(biāo)簽頻率成反比。

2.7. Focal Tversky loss

γ∈[1, 3]。把focal loss用在Tversky loss上，使得困難樣本概率低。

2.8. Asymmetric similarity loss

原始論文中β=1.5。當(dāng)α+β=1時(shí)變?yōu)門versky loss的一個(gè)特例。

Dice loss可以被視為準(zhǔn)確度和召回率的調(diào)和平均值，它對(duì)假陽(yáng)性（FP）和假陰性（FN）的權(quán)重相等。Asymmetric similarity loss的動(dòng)機(jī)是通過(guò)引入加權(quán)參數(shù)β來(lái)更好地調(diào)整FPs和FNs的權(quán)重（并在精度和召回率之間實(shí)現(xiàn)更好的平衡）。

2.9. Penalty loss

，k is a non-negative penalty coefficient. When k = 0, pGD is equivalent to generalized Dice. When k > 0, pGD gives additional weights to false positives and false negatives. In the original paper (Su et al., 2019), k = 2.5 corresponds the best performance.

3. Boundary-based Loss

基于邊界的損失函數(shù)，相對(duì)比較新，旨在最小化預(yù)測(cè)S和GT之間的距離。

3.1. Boundary (BD) loss（2019,2021）

有兩種不同的框架來(lái)計(jì)算兩個(gè)邊界之間的距離。一種是微分框架，它將邊界曲線上每個(gè)點(diǎn)的運(yùn)動(dòng)計(jì)算為沿曲線法線的速度。另一種是積分框架，通過(guò)計(jì)算兩個(gè)邊界的失配區(qū)域之間的界面上的積分來(lái)近似距離。微分框架不能直接用作網(wǎng)絡(luò)softmax輸出的損失，因?yàn)樗遣豢晌⒎值摹榱艘晕⒎值姆绞接?jì)算兩個(gè)邊界之間的距離，Boundary (BD) loss 使用積分框架來(lái)公式化邊界失，這可以避免涉及邊界曲線點(diǎn)的局部微分計(jì)算。

3.2. Hausdorff Distance (HD) loss

Hausdorff Distance (HD)距離是一種基于邊界的度量，廣泛用于評(píng)估分割方法。然而，在訓(xùn)練過(guò)程中直接最小化HD是難以解決的，并可能導(dǎo)致訓(xùn)練不穩(wěn)定。為了解決這個(gè)問(wèn)題，HD可以通過(guò)GT距離變換來(lái)近似。網(wǎng)絡(luò)可以通過(guò)以下HD損失功能進(jìn)行訓(xùn)練，以減少HD：

dG and dS分別是GT和預(yù)測(cè)分割的距離變換地圖。距離變換計(jì)算了每個(gè)像素與對(duì)象邊界之間的最短距離。

上面這兩種邊界損失用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，應(yīng)與基于區(qū)域的損失（例如Dice loss）相結(jié)合，以減少訓(xùn)練的不穩(wěn)定性。

4. Compound Loss

混合損失是上面這些損失函數(shù)的加權(quán)。

4.1. Combo loss

4.2. Exponential Logarithmic loss (ELL)

對(duì)Dice損失和交叉熵?fù)p失進(jìn)行指數(shù)和對(duì)數(shù)變換。通過(guò)這種方式，可以迫使網(wǎng)絡(luò)在本質(zhì)上更多地關(guān)注不太準(zhǔn)確預(yù)測(cè)的結(jié)構(gòu)。

4.3. Dice loss with focal loss

4.4. Dice loss with TopK loss

此外，文章還提到了有其他方法，一筆帶過(guò)，未列出公式。

實(shí)驗(yàn)

3D U-Net+數(shù)據(jù)增強(qiáng)+Adam

三種損失函數(shù)在訓(xùn)練過(guò)程中需要額外的調(diào)度策略：Lova′sz loss, boundaries loss, and Hausdorff distance loss。對(duì)于?Lova′sz loss, 原論文作者建議先用交叉熵優(yōu)化，然后用Lova′sz loss微調(diào)；對(duì)于?boundary loss 和 Hausdorff distance loss 應(yīng)該和 Dice loss 結(jié)合使用：

α, β > 0。對(duì)于邊界損失，（Kervadec et al.，2019）建議使用Dice損失來(lái)主導(dǎo)初始訓(xùn)練，從而穩(wěn)定訓(xùn)練過(guò)程，快速獲得合理的初始分割。具體來(lái)說(shuō)，他們最初設(shè)置權(quán)重β=1?α和α=1，并在每個(gè)epoch后將α減少0.01，直到達(dá)到0.01的值。對(duì)于Hausdorff距離損失，（Karimi和Salcudean，2020）將α設(shè)置為基于HD的損失項(xiàng)的平均值與DSC損失項(xiàng)的均值之比，并且β=1。最近的一項(xiàng)實(shí)證研究（Ma et al.，2020）表明，實(shí)施細(xì)節(jié)會(huì)對(duì)績(jī)效產(chǎn)生顯著影響。在我們的實(shí)驗(yàn)中，我們首先用Dice損失對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后用建議的調(diào)度策略對(duì)BD損失和HD損失進(jìn)行微調(diào)，因?yàn)槲覀儼l(fā)現(xiàn)這種訓(xùn)練技巧可以獲得穩(wěn)健的訓(xùn)練過(guò)程，并給出最佳性能。所有其他17個(gè)損失函數(shù)都可以在訓(xùn)練期間以即插即用的方式使用，而無(wú)需任何特定的調(diào)度技巧。

在四個(gè)分割數(shù)據(jù)集評(píng)估，包括balanced and imbalanced foreground-background, binary and multi-class segmentation. 類別平衡的、不平衡的、二分類的多分類的都包括了。

數(shù)據(jù)集情況：

評(píng)估指標(biāo)：Dice similarity coefficient 和?Normalized Surface Distance (NSD)

實(shí)驗(yàn)結(jié)果

1. Single segmentation task

1.1. Mildly imbalanced segmentation

Mildly imbalanced segmentation結(jié)果只看liver數(shù)據(jù)集上的結(jié)果。

大多數(shù)損失函數(shù)（17/20）在DSC高于0.90的情況下獲得高度準(zhǔn)確的結(jié)果。

DiceTopK損失獲得最佳DSC和NSD，而pGDice損失獲得最低DSC，TopK損耗在DSC和NSD中都獲得最低的性能。

圖2顯示TopK loss 和?pGDice loss方差比較大。圖3是失敗示例，顯示TopK loss 和?pGDice loss傾向于過(guò)度分割。

1.2. Highly imbalanced tumor segmentation

看liver tumor數(shù)據(jù)集上的結(jié)果。DiceHD，DiceBD表現(xiàn)比較好。加權(quán)交叉熵表現(xiàn)不好。

1.3. Highly imbalanced organ segmentation

DiceFocal loss表現(xiàn)最好，交叉熵不好。

1.4. Multi-class segmentation with both mildly and highly?imbalanced labels

研究包含輕度和高度不平衡標(biāo)簽的多類分割任務(wù)

DiceFocal loss, DiceHD loss, and DiceTopK loss表現(xiàn)好

2. Different variants of TopK loss

除了liver數(shù)據(jù)集，其他的k=10%效果比較好，但是liver數(shù)據(jù)集需要90%，作者分析的原因是liver數(shù)據(jù)集在訓(xùn)練期間僅使用10%的像素對(duì)于肝臟是不夠的，因?yàn)楦闻K非常大（最大的腹部器官）。然而，在這項(xiàng)工作中，我們主要關(guān)注標(biāo)簽不平衡的任務(wù)。因此，我們選擇TopK-10%的損失作為默認(rèn)的TopK損失，因?yàn)樗诰哂刑魬?zhàn)性的分割任務(wù)中獲得了更好的性能。

所以應(yīng)該就是說(shuō)，標(biāo)簽不平衡的比較嚴(yán)重的話，k小一些，否則就大一些。

3. Different variants of Dice loss

4. Rank Results

作者自己設(shè)計(jì)了一套排序規(guī)則（具體看原文吧），然后給這些指標(biāo)排序：

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-761550.html

到了這里，關(guān)于論文閱讀——Loss odyssey in medical image segmentation的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！