論文閱讀：Whole slide images classification model based on self-learning sampling

這篇具有很好參考價(jià)值的文章主要介紹了論文閱讀：Whole slide images classification model based on self-learning sampling。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

論文介紹

這是一篇發(fā)表在BSPC(Biomedical Signal Processing and Control)上的關(guān)于WSI分類的文章，作者是上海科技大學(xué)的學(xué)生/老師。
論文鏈接為：https://www.sciencedirect.com/science/article/pii/S1746809423012594
代碼：暫未開(kāi)源

摘要

深度學(xué)習(xí)與計(jì)算病理學(xué)的結(jié)合的增加放大了整個(gè)WSI在現(xiàn)代臨床診斷中的應(yīng)用。然而，整個(gè)WSI的直接加載經(jīng)常受到內(nèi)存限制的阻礙。傳統(tǒng)的將WSI分割成圖像補(bǔ)丁進(jìn)行隨機(jī)抽樣策略引入了冗余病理信息，無(wú)法實(shí)現(xiàn)端到端訓(xùn)練。為了解決這個(gè)問(wèn)題，我們引入了一個(gè)以自學(xué)習(xí)采樣為中心的WSIS分類模型。首先，我們?yōu)椴±韴D像引入了一個(gè)自學(xué)習(xí)采樣模塊，將選定的關(guān)鍵補(bǔ)丁嵌入到Transformer編碼器中，得到補(bǔ)丁之間的相關(guān)性信息，可以實(shí)現(xiàn)整個(gè)網(wǎng)絡(luò)的端到端訓(xùn)練。我們還實(shí)現(xiàn)了一個(gè)組合的焦點(diǎn)和采樣損失函數(shù)來(lái)解決病理圖像樣本的不平衡分布和采樣冗余。在TCGA-LUSC數(shù)據(jù)集和協(xié)作醫(yī)院結(jié)腸癌數(shù)據(jù)集上測(cè)試，證明了我們的模型能夠與先進(jìn)的TransMIL方法的準(zhǔn)確性和AUC相媲美。值得注意的是，與 TransMIL 相比，我們的模型減少了 WSI 推理時(shí)間，從而在各自的數(shù)據(jù)集上提高了 15.1% 和 22.4%。

引言

文章在引言部分介紹如下：

介紹了一下WSI的重要性(金標(biāo)準(zhǔn))以及使用計(jì)算機(jī)來(lái)輔助分類的原因。
指出因?yàn)閃SI的分辨率通常比較大而導(dǎo)致不能使用例如GooleNet以及DenseNet等模型進(jìn)行端到端訓(xùn)練的問(wèn)題。針對(duì)這個(gè)問(wèn)題，現(xiàn)有的一些研究，如DSMIL等關(guān)于WSI分類的方法是將整個(gè)WSI切分成不重疊，大小相等的子圖片(patch)來(lái)進(jìn)行處理。但是這種方法有一些問(wèn)題在里面：
- 第一，由于現(xiàn)有的計(jì)算和存儲(chǔ)能力有限，不可能會(huì)對(duì)所有的patch來(lái)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，從而實(shí)現(xiàn)WSI分類。
- 第二，不是每一個(gè)patch都可以提供有效的信息。例如， WSI中的脂肪組織區(qū)域的patch。
  針對(duì)上面的兩個(gè)問(wèn)題，對(duì)patch進(jìn)行下采樣處理是一種有效的手段。因此，如何對(duì)WSI進(jìn)行下采樣處理以盡可能地保留有意義的內(nèi)容是非常有意義的。但這個(gè)領(lǐng)域至今還很少人關(guān)注。
針對(duì)上面提出的對(duì)WSI進(jìn)行下采樣處理進(jìn)行論述。指出直接下采樣會(huì)丟失重要信息，而現(xiàn)有的方法都是先將WSI進(jìn)行切塊處理(也就是切成256×256大小的圖片)，再對(duì)這些子圖片進(jìn)行下采樣處理。當(dāng)前下采樣處理的技術(shù)主要有隨機(jī)采樣以及聚類采樣。但是這些采樣方法需要盡可能多的patch來(lái)表示整個(gè)WSI的特征。且它們不可微，也就是說(shuō)它們不能使用深度學(xué)習(xí)來(lái)處理。針對(duì)這個(gè)情況，引出了點(diǎn)云下采樣，并介紹了一些點(diǎn)云下采樣的方法。最終引出自己的目的：使用可微的自學(xué)習(xí)采樣方法代替不可微的采樣方法，通過(guò)少量的關(guān)鍵patch來(lái)平衡分類任務(wù)的性能以及計(jì)算效率，確保任務(wù)性能的同時(shí)減少資源的消耗。隨機(jī)采樣與自學(xué)習(xí)采樣的比較如下表1.
本文的貢獻(xiàn)如下：
- 提出了一種新的基于自學(xué)習(xí)采樣的WSI分類模型，使網(wǎng)絡(luò)可以實(shí)現(xiàn)端到端訓(xùn)練，解決了當(dāng)前WSI下采樣研究方法中不可微的問(wèn)題。
- 在框架中構(gòu)建了一個(gè)自學(xué)習(xí)采樣模塊，實(shí)現(xiàn)了網(wǎng)絡(luò)的反向傳播。
- 制定了一個(gè)綜合損失函數(shù)，由focal損失以及采樣損失組成。解決病例圖像中樣本比例不平衡和采樣冗余的挑戰(zhàn)
- 方法在所比較的數(shù)據(jù)集上具有優(yōu)勢(shì)。

方法

問(wèn)題定義

想預(yù)測(cè)每張WSI屬于哪一個(gè)類別，正常的為0，否則為1。介紹了采樣方法，先裁剪成同樣大小的不重疊的patch，然后每個(gè)WSI都進(jìn)行隨機(jī)采樣，從而得到一個(gè)等長(zhǎng)的patch集合P。采樣后的子集大小為k( $\le n$ , n為P的大小)。隨后用一個(gè)分類任務(wù)網(wǎng)絡(luò)T來(lái)對(duì)這些patch進(jìn)行分類，找到最小的k個(gè)patch組合成的子集，使得總損失 $L_{total}$ 最小。如此，問(wèn)題就轉(zhuǎn)變成了一個(gè)最優(yōu)化問(wèn)題。

模型結(jié)構(gòu)

論文閱讀：Whole slide images classification model based on self-learning sampling,WSI分類論文閱讀,論文閱讀,論文筆記
整體模型結(jié)構(gòu)如圖所示，整體模型包括特征提取模塊、自學(xué)習(xí)采樣模塊以及基于Transformer的特征編碼和分類模塊三個(gè)模塊。在特征提取之后，將特征集 $F_{local}$ 輸入到自學(xué)習(xí)采樣模塊，并得到一個(gè)采樣矩陣S，將其與 $F_{local}$ 相乘之后得到一個(gè)集合R，這個(gè)R包含了k個(gè)patch。隨后將這個(gè)R集合和分類標(biāo)簽輸入到Transformer中去獲取patch之間的空間聯(lián)系，并最終由全連接層進(jìn)行分類。
同時(shí)，從圖中可以看到整個(gè)網(wǎng)絡(luò)框架由兩個(gè)損失，其中 $L_{sampling}$ 是讓采樣的patch與子集P相似，而 $L_{classification}$ 則是讓分類性能越高越好的一個(gè)損失。

特征提取

這一部分與之前的方法一樣，首先先對(duì)WSI進(jìn)行縮略圖檢測(cè)，從而得到具有組織病理的部分并對(duì)這部分進(jìn)行裁剪。之后，對(duì)得到的patch使用resnet進(jìn)行特征提取。裁剪的方法為：1.使用顏色閾值移除非組織區(qū)域，并以此得到一個(gè)二進(jìn)制掩碼，對(duì)于組織部分，值為1，否則為0。第二，對(duì)二進(jìn)制掩碼進(jìn)行劃分，使用最小閾值方法過(guò)濾掉部分patch。文中設(shè)置的閾值為50%，即每個(gè)patch中組織部分面積與背景的比例大于50%，則認(rèn)為其有效，否則無(wú)效。

自學(xué)習(xí)采樣模塊

首先指出當(dāng)前WSI采樣方法存在的問(wèn)題：不可微。這個(gè)問(wèn)題會(huì)導(dǎo)致下游分類任務(wù)無(wú)法生成與任務(wù)相關(guān)的關(guān)鍵patch。并根據(jù)這個(gè)說(shuō)明引出自學(xué)習(xí)采樣方法(受LSNet的啟發(fā))，流程圖如下：
論文閱讀：Whole slide images classification model based on self-learning sampling,WSI分類論文閱讀,論文閱讀,論文筆記
圖中， $F_{local}$ 是輸入，也就是經(jīng)過(guò)resnet得到的特征表達(dá)，而 $F_{global}$ 則是對(duì) $F_{local}$ 進(jìn)行最大池化操作之后得到的特征，隨后將全局特征和局部特征進(jìn)行拼接，對(duì)拼接之后的特征送入到兩層全連接層的MIL網(wǎng)絡(luò)層和Sigmoid激活函數(shù)之中，得到 $\bar{S}$ ，之后，在利用帶有 $\tau$ 的softmax函數(shù)得到sampling matrix，文中 $\tau$ 設(shè)置為0.001。

最后，使用公式證明輸入圖像的順序?qū)Y(jié)果是沒(méi)有影響的。

基于Transformer的特征編碼

這一部分其實(shí)就是講述了一下TransMIL的網(wǎng)絡(luò)組成

損失函數(shù)

$L_{classification}$ 為focal loss：
論文閱讀：Whole slide images classification model based on self-learning sampling,WSI分類論文閱讀,論文閱讀,論文筆記
$L_{sampling}$ 是為了調(diào)節(jié)采樣效率，盡可能保留更多的特征表達(dá)。其公式為：

因此整個(gè)損失函數(shù)的計(jì)算為，其中 $\beta$ 為自定義系數(shù)，用于調(diào)節(jié)兩個(gè)損失函數(shù)，保持平衡：
論文閱讀：Whole slide images classification model based on self-learning sampling,WSI分類論文閱讀,論文閱讀,論文筆記

實(shí)驗(yàn)分析和結(jié)論

使用的數(shù)據(jù)集：TCGA-LUSC數(shù)據(jù)集以及私有數(shù)據(jù)集。
實(shí)驗(yàn)細(xì)節(jié)：對(duì)LUSC裁剪成256×256，自己的數(shù)據(jù)集裁剪成512×512。但最終都會(huì)被resize成256×256的大小，送到網(wǎng)絡(luò)中。數(shù)據(jù)劃分是65:10:25的比例劃分，采用5次測(cè)試的平均結(jié)果當(dāng)做最終結(jié)果。
使用的指標(biāo)：AUC Acc
其他細(xì)節(jié)： SCD優(yōu)化，學(xué)習(xí)率為0.001，batchsize為1。focal loss中 $\alpha$ 以及 $\gamma$ 分別設(shè)置為0.25和2?？偣灿?00次迭代，使用不同的種子進(jìn)行5次實(shí)驗(yàn)，但數(shù)據(jù)集的劃分不變。

實(shí)驗(yàn)結(jié)果如下：
論文閱讀：Whole slide images classification model based on self-learning sampling,WSI分類論文閱讀,論文閱讀,論文筆記

總結(jié)

這篇文章引入了點(diǎn)云采樣技術(shù)來(lái)對(duì)實(shí)例特征進(jìn)行采樣，從而提高了對(duì)WSI分類的效率。從實(shí)驗(yàn)結(jié)果上來(lái)看，在更少的采樣次數(shù)以及更少的時(shí)間里，得到的結(jié)果與當(dāng)前最好的結(jié)果相似。算是一個(gè)不錯(cuò)的引入。
但有幾個(gè)問(wèn)題。第一，只顯示了在20次的時(shí)候結(jié)果差不多，但是往后，結(jié)果會(huì)不會(huì)提高，會(huì)提高多少，文中沒(méi)有展示，而從結(jié)果上來(lái)看，總的結(jié)果和TransMIL差不多，20次時(shí)，結(jié)果比TransMIL低一些，速度比TransMIL快，且采樣次數(shù)更少，但沒(méi)有更有利的證據(jù)說(shuō)服。第二，文中的可視化結(jié)果只是比較了隨機(jī)采樣和作者提出的自學(xué)習(xí)采樣，但并沒(méi)有給出自己的框架的最終可視化結(jié)果和其他方法的對(duì)比。第三，文中對(duì)比的方法比較少，最新的是TransMIL，而本文發(fā)表的時(shí)間是在2023年，這之中還有著其他的方法可以得到更好的結(jié)果，這篇文章沒(méi)有對(duì)比。

更多關(guān)于多實(shí)例WSI分類的文章閱讀，請(qǐng)關(guān)注公眾號(hào)：
論文閱讀：Whole slide images classification model based on self-learning sampling,WSI分類論文閱讀,論文閱讀,論文筆記文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-787867.html

到了這里，關(guān)于論文閱讀：Whole slide images classification model based on self-learning sampling的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！