文獻(xiàn)學(xué)習(xí)-27-基于連通性感知圖Transformer的數(shù)字病理圖像乳腺癌分類

這篇具有很好參考價值的文章主要介紹了文獻(xiàn)學(xué)習(xí)-27-基于連通性感知圖Transformer的數(shù)字病理圖像乳腺癌分類。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方，請大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

Breast Cancer Classification from Digital ?Pathology Images via Connectivity-aware GraphTransformer

Authors:?Kang Wang, Feiyang Zheng, Lan Cheng, Hong-Ning Dai, Qi Dou, Jing Qin,?Member, IEEE

Source: IEEE TRANSACTIONS ON MEDICAL IMAGING (TMI)

Keywords:?Tissue connectivity, Tissue topology phenotyping, Graph Transformer, Cancer classification, Entity graph

文獻(xiàn)學(xué)習(xí)-27-基于連通性感知圖Transformer的數(shù)字病理圖像乳腺癌分類,文獻(xiàn)學(xué)習(xí),醫(yī)學(xué)圖像處理,圖網(wǎng)絡(luò),深度學(xué)習(xí),圖像處理,transformer,注意力機(jī)制,人工智能

Abstract:

由于組織微環(huán)境中細(xì)胞的復(fù)雜空間模式,從數(shù)字病理圖像中自動分類乳腺癌亞型一直是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。盡管新提出的圖Transformer能夠捕獲更多的長程依賴關(guān)系以提高準(zhǔn)確性,但它們在很大程度上忽略了圖節(jié)點(diǎn)之間的拓?fù)溥B通性,而這對于提取更具代表性的特征以解決這一困難任務(wù)至關(guān)重要。在本文中,提出了一種新穎的連通性感知圖Transformer(CGT)用于表征從數(shù)字病理圖像構(gòu)建的組織圖的拓?fù)溥B通性,以進(jìn)行乳腺癌分類。CGT通過使用局部連通性聚合,在每個圖Transformer層無縫地將連通性嵌入到節(jié)點(diǎn)特征中,以產(chǎn)生更全面的圖表示來區(qū)分不同的乳腺癌亞型。根據(jù)真實(shí)的細(xì)胞間通信模式,然后將兩個任意節(jié)點(diǎn)之間的空間距離編碼為自注意力計(jì)算中的連通性偏差,從而允許CGT根據(jù)兩個節(jié)點(diǎn)的距離有區(qū)別地利用連通性嵌入。在一個大型的蘇木精-伊紅染色的乳腺癌數(shù)字病理圖像隊(duì)列上廣泛評估了所提出的CGT。實(shí)驗(yàn)結(jié)果證明了CGT的有效性,其性能大大優(yōu)于最先進(jìn)的方法。

核心技術(shù)術(shù)語：

組織圖(Tissue graph):從數(shù)字病理圖像中抽取組織區(qū)域作為節(jié)點(diǎn),構(gòu)建組織圖作為網(wǎng)絡(luò)輸入。
連接性嵌入(Connectivity embedding):通過學(xué)習(xí)方法為每個節(jié)點(diǎn)賦予其度數(shù)對應(yīng)的embedding,以編碼圖結(jié)構(gòu)信息。
本地連接性聚合(Local connectivity aggregation):在每一層graph transformer中,將近鄰節(jié)點(diǎn)的連接性embedding聚合到中心節(jié)點(diǎn)。
連接性偏差(Connectivity bias):考慮節(jié)點(diǎn)間空間距離這一節(jié)點(diǎn)對特征的影響,將距離編碼為注意力計(jì)算中的偏差項(xiàng)。
連接性意識圖轉(zhuǎn)換器(Connectivity-aware graph transformer, CGT):整合以上技術(shù),提出的一種新的基于圖transformer的分類網(wǎng)絡(luò),能夠充分利用組織圖的結(jié)構(gòu)信息并表征組織組織關(guān)系。

盡管這種全連接機(jī)制在所有節(jié)點(diǎn)之間傳遞消息,但它在很大程度上忽略了輸入圖的實(shí)際連通性,從而在一定程度上丟失了圖的結(jié)構(gòu)信息。為了解決這一缺點(diǎn),最近提出的一些基于Transformer的GNN試圖將更多的結(jié)構(gòu)信息整合到圖表示中,以提高其能力。然而,仍然存在兩個局限性。首先,大多數(shù)現(xiàn)有的基于Transformer的GNN通常只通過將每個節(jié)點(diǎn)的可學(xué)習(xí)位置編碼注入輸入層來合并結(jié)構(gòu)信息。然而,由于這種注入是一次性的,因此該方案仍然忽略了連接節(jié)點(diǎn)在后續(xù)訓(xùn)練epoch中的影響,從而使結(jié)構(gòu)信息難以對生成的表示產(chǎn)生有效和深遠(yuǎn)的影響。其次,當(dāng)基于Transformer的GNN計(jì)算所選節(jié)點(diǎn)的自注意力時,它們平等地對待其他節(jié)點(diǎn),忽略了它們與所選節(jié)點(diǎn)的空間距離對其表示至關(guān)重要的事實(shí)。為此提出了一種新穎的連通性感知圖Transformer(CGT)用于乳腺癌分類,以充分考慮組織區(qū)域之間的連通性屬性和空間距離。方法的輸入是從病理圖像構(gòu)建的組織圖,而不是直接使用病理圖像的簡單像素信息。

這項(xiàng)工作的主要貢獻(xiàn)如下:

? 提出了局部連通性聚合方法,在每個圖Transformer層將連通性嵌入添加到節(jié)點(diǎn)特征中,從而使其能夠映射具有乳腺癌亞型結(jié)構(gòu)信息的綜合圖表示。

? 根據(jù)真實(shí)的細(xì)胞間通信模式,提出將節(jié)點(diǎn)對的空間距離編碼為連通性偏差,以有效地馴服自注意力計(jì)算中的連通性嵌入。

? 在兩個公開注釋的乳腺病理圖像數(shù)據(jù)集上評估了提出的CGT。大量實(shí)驗(yàn)證明了提出的方法的有效性,其始終以較大優(yōu)勢優(yōu)于最先進(jìn)的方法。

圖1。8個用于乳腺癌分類的數(shù)字病理圖像樣本，說明了不同腫瘤類別之間在組織微環(huán)境中細(xì)胞的復(fù)雜空間格局。上面一行顯示了不同類別之間的相似性。底部一行顯示了相同類別之間的變化。

Preliminary
本文將乳腺癌分類任務(wù)視為一個多類分類問題。給定一個從病理圖像構(gòu)建的屬性無向?qū)嶓w圖(即組織圖),其中是節(jié)點(diǎn)集合,是邊集合,是節(jié)點(diǎn)數(shù)。節(jié)點(diǎn)特征集合表示為,其中是特征維度。兩個連接節(jié)點(diǎn)之間的邊表示為。圖的拓?fù)浣Y(jié)構(gòu)由對稱鄰接矩陣描述,如果,則。節(jié)點(diǎn)的鄰域表示為。給定一個用于多類分類的GNN,其函數(shù)空間為,訓(xùn)練該網(wǎng)絡(luò)就是要找到一個分類器函數(shù),它可以有效地將乳腺癌數(shù)據(jù)的輸入圖表示映射到適當(dāng)?shù)念A(yù)測或分?jǐn)?shù)。

Tissue Graph Construction
組織圖的構(gòu)建包括兩個步驟:1)使用無監(jiān)督分割方法SLIC將像素初始分組為個不重疊的超像素;2)通過比較超像素的RGB值,將幾個相似的不重疊超像素合并為一個捕獲有意義組織信息的同質(zhì)組織區(qū)域。合并后的組織區(qū)域的質(zhì)心被視為組織圖的節(jié)點(diǎn)。節(jié)點(diǎn)特征通過對其組成超像素的CNN特征進(jìn)行平均得到。最后,根據(jù)區(qū)域鄰接圖添加邊,構(gòu)建出組織圖。

CGT for Histopathological Representation
Connectivity Embedding with Local Connectivity Aggregation
為了從先驗(yàn)組織拓?fù)渲R中獲得更好的連通性表示,提出在每個圖Transformer層(GTL)為節(jié)點(diǎn)特征添加連通性嵌入(CE)并使用局部連通性聚合(LCA)方法來聚合CE
?

Connectivity Bias in Self-attention
考慮到細(xì)胞間通信的現(xiàn)實(shí)模式,提出將空間距離編碼為自注意力計(jì)算中的連通性偏差(CB)
?

圖2。CGT表型如何在乳腺癌分類中的組織拓?fù)溥B接的組織病理學(xué)表現(xiàn)。組織圖T G（V，E，H）由輸入圖像作為CGT的輸入構(gòu)造。組織圖中的節(jié)點(diǎn)被平面為一個添加了連通性嵌入的序列，然后將其提供給提出的gtl。為了執(zhí)行分類，在序列中添加了一個額外的可學(xué)習(xí)的分類標(biāo)記（CLS）。

實(shí)驗(yàn)

A. 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集:本文在兩個數(shù)據(jù)集上評估了所提出的CGT方法:

BRACS數(shù)據(jù)集:包含4,391個乳腺腫瘤區(qū)域,來自325個蘇木精-伊紅染色的乳腺癌全切片圖像,由病理學(xué)家標(biāo)注為7個類別。原始的訓(xùn)練、驗(yàn)證和測試數(shù)據(jù)集的劃分比例為3163:602:626。
BACH數(shù)據(jù)集:一個公開的數(shù)字病理圖像數(shù)據(jù)集,由兩位醫(yī)學(xué)專家標(biāo)注為4個類別。訓(xùn)練和測試圖像的比例為400:100。

實(shí)現(xiàn)細(xì)節(jié):實(shí)現(xiàn)包括三個過程:組織圖構(gòu)建、節(jié)點(diǎn)距離計(jì)算和乳腺癌分類。所有方法都使用交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練,Adam優(yōu)化器,batch size為4。CGT的詳細(xì)模型設(shè)置如表II所示。
比較方法:將CGT與三組方法進(jìn)行比較:消息傳遞GNN、基于Transformer的GNN和基于視覺Transformer的方法。

B. 實(shí)驗(yàn)結(jié)果

在BRACS數(shù)據(jù)集上使用交叉驗(yàn)證與SOTA方法的比較:表III顯示,所提出的算法在加權(quán)F1分?jǐn)?shù)和準(zhǔn)確度方面優(yōu)于SOTA方法。
在BRACS數(shù)據(jù)集上與SOTA GNN的比較:表IV顯示,CGT在加權(quán)F1分?jǐn)?shù)方面始終優(yōu)于所有競爭對手。表V顯示,與病理學(xué)家的統(tǒng)計(jì)數(shù)據(jù)相比,CGT的較低標(biāo)準(zhǔn)差表明其在乳腺癌分類中具有優(yōu)越和穩(wěn)定的性能。
在BACH數(shù)據(jù)集上與集成和單一網(wǎng)絡(luò)的比較:表VI顯示,CGT在單一網(wǎng)絡(luò)中實(shí)現(xiàn)了最佳分類性能,在集成網(wǎng)絡(luò)中實(shí)現(xiàn)了相當(dāng)?shù)臏?zhǔn)確性,證明了CGT在輕量級數(shù)據(jù)集上的乳腺癌分類能力。
對病理學(xué)家的可解釋性:采用GraphGradCAM方法突出顯示組織圖中的節(jié)點(diǎn)及其對應(yīng)區(qū)域的重要性。圖3表明CGT可以模擬真實(shí)的病理診斷。
超參數(shù)選擇:圖4顯示,當(dāng)λ=2時,CGT產(chǎn)生最高的加權(quán)F1分?jǐn)?shù)均值。

C. 消融研究

局部連通性聚合:表VII表明,使用LCA的變體顯著優(yōu)于使用LFA的變體,證明了所提出的LCA能夠有效地將組織圖的結(jié)構(gòu)信息映射到綜合組織學(xué)表示。
連通性偏差:表VII顯示,使用CB的變體優(yōu)于基線和使用SPD的變體,證實(shí)了乳腺癌分類確實(shí)受益于所提出的CB作為注意力偏差。
圖結(jié)構(gòu):圖5顯示,具有適當(dāng)節(jié)點(diǎn)數(shù)量的圖可以提供病理圖像中更具代表性的特征,從而提高乳腺癌的診斷性能。

表i為針對乳腺癌分類的BRACS數(shù)據(jù)集的關(guān)鍵數(shù)據(jù)描述，包括亞型分布、組織圖成分的統(tǒng)計(jì)和ROIS分裂策略。具體來說，ROIS有三個分布度量，包括ROIS的數(shù)量、像素?cái)?shù)（百萬計(jì)）和最大像素和最小像素的比率。有三個指標(biāo)來描述組織圖的分布，包括節(jié)點(diǎn)和邊的數(shù)量，以及節(jié)點(diǎn)的程度。同時還提供了均值和標(biāo)準(zhǔn)偏差。

表二：擬議的CGT模型設(shè)置。

在使用五文件夾交叉驗(yàn)證的BRACS數(shù)據(jù)集上的性能改進(jìn)。結(jié)果包括加權(quán)f1評分的平均值和標(biāo)準(zhǔn)差，以及總7類分類的準(zhǔn)確性。結(jié)果以%表示。最佳結(jié)果將用粗體表示。

圖3。CGT使用GraphGrahGradCAM和4個樣本組織圖在BRACS數(shù)據(jù)集上進(jìn)行7類乳腺癌分類。帶有圖形圖形的樣本組織圖包括(a) ADH、(c) FEA、(e) DCIS和(g) IC，其中也提供了部分放大的圖形。(b) (d) (f) (h)表示相應(yīng)的具有不同重要性得分的組織區(qū)域。

圖4。在BRACS測試數(shù)據(jù)集上使用不同的超參數(shù)λ值對所提出的CGT變量進(jìn)行分類性能比較。直方圖包括7類分類的加權(quán)F1得分的平均值和標(biāo)準(zhǔn)差。

圖5。利用具有不同圖結(jié)構(gòu)的輸入圖，即稀疏的圖和稀疏的圖的消融結(jié)果。這些不同類型的圖的數(shù)據(jù)分布都在中間區(qū)域提供了，包括節(jié)點(diǎn)的數(shù)量和程度。乳腺癌分類結(jié)果的區(qū)域包含三個相應(yīng)的解釋圖和一個平均f1評分直方圖。

自動分類乳腺癌亞型數(shù)字病理圖像是一個極具挑戰(zhàn)性的任務(wù),因?yàn)榻M織中細(xì)胞的空間模式極為復(fù)雜。在本文中,提出了CGT,即基于圖形轉(zhuǎn)換器的連接感知分類方法來表型數(shù)字病理圖像構(gòu)建的組織圖的拓?fù)溥B接性,從而進(jìn)行乳腺癌分類。兩個主要貢獻(xiàn)如下:

(1) CGT利用圖形轉(zhuǎn)換器架構(gòu)在每一圖轉(zhuǎn)換層加入連接嵌入,通過使用局部連接聚合來記錄組織圖的完整表達(dá),進(jìn)而映射到乳腺癌亞型。

(2) 還將空間距離編碼到注意力計(jì)算中兩個任意節(jié)點(diǎn)之間的連接偏差中,更效果地捕獲和區(qū)分節(jié)點(diǎn)之間的連接關(guān)系。

在BRACS數(shù)據(jù)集上評估了這一新穎網(wǎng)絡(luò),該數(shù)據(jù)集包含了血伊紅染色胸腺癌組織數(shù)字病理圖像區(qū)域的注釋。CGT超越了現(xiàn)有最佳方法,表明它更有效地表型組織拓?fù)鋪磉M(jìn)行乳腺癌分類。與病理醫(yī)生統(tǒng)計(jì)結(jié)果相比,CGT的標(biāo)準(zhǔn)差更低,表明其分類效果更穩(wěn)定可靠。還在公開數(shù)字病理圖像數(shù)據(jù)集BACH上進(jìn)行了各項(xiàng)實(shí)驗(yàn),證明CGT有潛力準(zhǔn)確分類前癌亞型,且計(jì)算成本較低。深入分析表明,方法的主要組成部分(即通過局部連接聚合實(shí)現(xiàn)的連接嵌入,以及注意力計(jì)算中的連接偏差)都是必要的,且相互促進(jìn)組織病理學(xué)表征的乳腺癌分類。通過從不同數(shù)字病理圖像構(gòu)建實(shí)體圖,CGT有潛在應(yīng)用前景用于其他癌種的診斷。

總的來說,提出的CGT方法在數(shù)字病理圖像分類上已得到很好結(jié)果。但目前僅在片段級圖像數(shù)據(jù)集上驗(yàn)證,而臨床應(yīng)用更需要整個切片級圖像分類。方法可以很容易地修改為任何多實(shí)例學(xué)習(xí)方法的實(shí)例級特征提取器,表明它也可以用于切片級分類。在未來研究中,將研究如何將臨床信息(如患者人口統(tǒng)計(jì)學(xué)數(shù)據(jù)、醫(yī)史和基因序列)整合到方法中,以幫助實(shí)際診斷流程和改善患者預(yù)后。

Reference

[1] Wang, K., Zheng, F., Cheng, L., Dai, H. N., Dou, Q., & Qin, J. (2024). Breast Cancer Classification from Digital Pathology Images via Connectivity-aware Graph Transformer.?IEEE Transactions on Medical Imaging.文章來源地址http://www.zghlxwxcb.cn/news/detail-849215.html

到了這里，關(guān)于文獻(xiàn)學(xué)習(xí)-27-基于連通性感知圖Transformer的數(shù)字病理圖像乳腺癌分類的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！