論文地址： https://www.semanticscholar.org/paper/A2FSeg%3A-Adaptive-Multi-modal-Fusion-Network-for-Wang-Hong/330f94e291a9b881ad14ca500f8d96e185d43b15
代碼倉庫： https://github.com/Zirui0623/A2FSeg/tree/main?tab=readme-ov-file

摘要：

磁共振成像（MRI）在多模式腦腫瘤分割中發(fā)揮著重要作用。然而，缺失模態(tài)在臨床診斷中非常常見，這將導(dǎo)致分割性能嚴(yán)重下降。在本文中，我們提出了一種用于腦腫瘤分割的簡單自適應(yīng)多模態(tài)融合網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有兩個(gè)階段的特征融合，包括簡單的平均融合和基于注意機(jī)制的自適應(yīng)融合。 兩種融合技術(shù)都能夠處理缺失模態(tài)的情況，并有助于改善分割結(jié)果，尤其是自適應(yīng)分割結(jié)果。我們?cè)?BraTS2020 數(shù)據(jù)集上評(píng)估我們的方法，與四種最新方法相比，在不完整的多模態(tài)腦腫瘤分割方面實(shí)現(xiàn)了最先進(jìn)的性能。我們的 A2FSeg（平均和自適應(yīng)融合分割網(wǎng)絡(luò)）簡單而有效，能夠處理任意數(shù)量的圖像模態(tài)以實(shí)現(xiàn)不完整的多模態(tài)分割。

引言：

從醫(yī)學(xué)圖像掃描中提取腦腫瘤在進(jìn)一步分析和臨床診斷中發(fā)揮著重要作用。通常，腦腫瘤包括瘤周水腫、增強(qiáng)腫瘤和非增強(qiáng)腫瘤核心。由于不同的模態(tài)呈現(xiàn)出腦腫瘤成分的不同清晰度，因此在腦腫瘤分割任務(wù)中我們經(jīng)常使用多模態(tài)圖像掃描，例如T1、T1c、T2和Flair。已經(jīng)開展了使用從所有四種模式收集的圖像掃描來處理腦腫瘤分割的工作。然而，在實(shí)踐中，我們面臨著同時(shí)收集所有模式的挑戰(zhàn)，往往會(huì)丟失一種或多種模式。因此，在本文中，我們考慮了在缺失圖像模式的情況下分割腦腫瘤的問題。
當(dāng)前處理缺失模態(tài)的圖像分割方法可分為三類，包括：（1）暴力方法：為每種可能的模態(tài)組合設(shè)計(jì)單獨(dú)的分割網(wǎng)絡(luò)（2）補(bǔ)全方法：合成缺失的模態(tài)以補(bǔ)全用于傳統(tǒng)圖像分割的全部模態(tài)，以及（3）基于融合的方法：將不同模態(tài)的圖像映射到相同的特征空間進(jìn)行融合，然后根據(jù)融合的特征分割腦腫瘤 第一類方法具有良好的分割性能；然而，它們是資源密集型的，并且通常需要更多的培訓(xùn)時(shí)間。第二類方法的性能受到缺失模態(tài)的合成質(zhì)量的限制。第三類通常只有一個(gè)網(wǎng)絡(luò)來處理缺失模態(tài)的不同場景，這是實(shí)踐中最常用的一種。
為了處理各種數(shù)量的模態(tài)輸入，HeMIS通過計(jì)算從不同模態(tài)提取的特征圖作為融合特征的均值和方差，將不同模態(tài)的圖像特征投影到相同的特征空間中。為了提高特征融合的表示，HVED 將每種模態(tài)的輸入視為高斯分布，并通過高斯混合模型融合來自不同模態(tài)的特征圖。另一方面，RobustSeg將模態(tài)特征分解為模態(tài)不變的內(nèi)容代碼和模態(tài)特定的外觀代碼，以實(shí)現(xiàn)更準(zhǔn)確的融合和分割?？紤]到不同模態(tài)下觀察到的腦腫瘤區(qū)域的清晰度不同，RFNet引入了一種注意力機(jī)制來自適應(yīng)地建模模態(tài)和腫瘤區(qū)域的關(guān)系?；趫D結(jié)構(gòu)和注意力機(jī)制，MFI被提出來學(xué)習(xí)不同缺失情況下模態(tài)之間的自適應(yīng)互補(bǔ)信息。
由于當(dāng)前模型的復(fù)雜性，我們傾向于開發(fā)一個(gè)簡單的模型，采用簡單的平均融合和注意力機(jī)制。這兩種技術(shù)被證明在處理缺失模態(tài)和多模態(tài)融合方面是有效的。受 MAML的啟發(fā)，我們提出了一種名為 A2FSeg（平均和自適應(yīng)融合分割網(wǎng)絡(luò)，見圖 1）的模型，該模型有兩個(gè)融合步驟，即平均融合和基于注意力的自適應(yīng)融合，以集成來自不同模態(tài)用于分割的特征。盡管我們的融合想法非常簡單，但 A2FSeg 在 BraTS2020 數(shù)據(jù)集上的不完整多模態(tài)腦腫瘤圖像分割任務(wù)中實(shí)現(xiàn)了最先進(jìn)的 (SOTA) 性能。我們?cè)诒疚闹械呢暙I(xiàn)總結(jié)如下：

1. 我們提出了一種簡單的多模態(tài)融合網(wǎng)絡(luò) A2FSeg，用于腦腫瘤分割，它是通用的，可以擴(kuò)展到任意數(shù)量的不完整模態(tài)圖像分割。
2. 我們?cè)?BraTS 2020 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)現(xiàn)了 SOTA 分割性能，整個(gè)腫瘤的平均 Dice 核心為 89.79%，腫瘤核心為 82.72%，增強(qiáng)腫瘤為 66.71%。

方法

Fig 1：我們提出的自適應(yīng)多模態(tài)融合網(wǎng)絡(luò)（A2FSeg，平均和自適應(yīng)融合分割網(wǎng)絡(luò)的縮寫）的概述。虛線表示缺失某些模態(tài)的可能性。如果是這樣，平均融合模塊和自適應(yīng)融合模塊都會(huì)忽略缺失的。最終的腫瘤掩碼是根據(jù)自適應(yīng)融合后的特征圖來預(yù)測的，如紅色實(shí)線箭頭所示。 （彩色效果最佳）（在線彩色圖）
圖 1 展示了我們的 A2FSeg 的網(wǎng)絡(luò)架構(gòu)。它由四個(gè)用于特定模態(tài)特征提取的子網(wǎng)絡(luò)，一個(gè)平均融合模塊：用于在第一階段簡單地融合來自可用模態(tài)的特征，以及一個(gè)基于注意力機(jī)制的自適應(yīng)融合模塊，用于在第二階段再次自適應(yīng)地融合這些特征。

模態(tài)特定特征提取模塊

在融合之前，我們首先使用 nnUNet 模型為每種單一模態(tài)提取特征，如圖 1 所示。特別的，MSFE模型從特定模態(tài)$m$(即${\mathbf{I}}_m\in {\mathbb{R}}^{H\times W\times D}$和 m ∈ { T 1 , ?T 2 , T 1 c,?Flair } m\in\{\text{T}1,\text{ T}2,\text{T}1\text{c, Flair}\} m∈{T1,?T2,T1c,?Flair})進(jìn)行3D圖像掃描，并輸出相應(yīng)的圖像特征${\mathbf{F}}_m\in {\mathbb{R}}^{C\times H_f\times W_f\times D_f}$，這里，通道數(shù)C=32； Hf 、Wf 和Df 是特征圖Fm 的高度、寬度和深度，它們與輸入圖像具有相同的尺寸。對(duì)于每種單一模態(tài)，每個(gè) MSFE 模塊都受到圖像分割掩模的監(jiān)督，以加快其收斂速度，并為以后的融合提供良好的特征提取。所有四個(gè) MSFE 都具有相同的架構(gòu)，但權(quán)重不同。

平均融合模塊

為了聚合來自不同模態(tài)的圖像特征并處理丟失一個(gè)或多個(gè)模態(tài)的可能性，我們使用來自不同模態(tài)的可用特征的平均值作為第一個(gè)融合結(jié)果。即，我們得到一個(gè)融合平均特征$\bar{\mathbf{F}}=\frac{1}{N_m}{\sum }_{m=1}^{N_m}{\mathbf{F}}_m$，這里$N_m$是可用模態(tài)的數(shù)目，例如，如圖1所示，如果一次迭代中只有前兩種模態(tài)可用，則$N_m=2$，我們將取這兩種模態(tài)的平均值，忽略那些缺失的模態(tài)。

自適應(yīng)融合模塊

由于每種模態(tài)對(duì)最終腫瘤分割的貢獻(xiàn)不同，與 MAML類似，我們采用注意力機(jī)制來衡量每種模態(tài)對(duì)最終分割的體素水平貢獻(xiàn)。如圖 1 所示，為了生成特定模態(tài) $m$的注意力圖，我們將 MSFE 模塊 $F_m$ 提取的特征與平均融合后的平均特征 $\bar{F}$ 串聯(lián)起來，并通過卷積層生成初始注意力權(quán)重： W m = σ ( F m ( [ F ˉ ; F m ] ; θ m ) ) , m ∈ { T 1 , ? T 1 c , ? T 2 , ? F l a i r } . ( 1 ) \mathbf{W}_{m}=\sigma\left(\mathcal{F}_{m}\left(\left[\bar{\mathbf{F}};\mathbf{F}_{m}\right];\theta_{m}\right)\right),\quad m\in\{\mathrm{T}1,\mathrm{~T}1\mathrm{c},\mathrm{~T}2,\mathrm{~Flair}\}.\quad(1) Wm?=σ(Fm?([Fˉ;Fm?];θm?)),m∈{T1,?T1c,?T2,?Flair}.(1)這里，${\mathcal{F}}_m$是該特定模態(tài)$m$的卷積層，${\theta }_m$表示該層的參數(shù)，$\sigma$是Sigmoid函數(shù)。也就是說，我們?yōu)槊糠N模態(tài)都有一個(gè)單獨(dú)的卷積層 ${\mathcal{F}}_m$ 來生成不同的權(quán)重。由于可能缺少模態(tài)，我們將有不同數(shù)量的特征圖進(jìn)行融合。為了解決這個(gè)問題，我們使用 Softmax 函數(shù)對(duì)不同的注意力權(quán)重進(jìn)行標(biāo)準(zhǔn)化：$${\hat{\mathbf{W}}}_m=\frac{\exp \left({\mathbf{W}}_m\right)}{{\sum }_m^{N_m}\exp \left({\mathbf{W}}_m\right)}.(2)$$也就是說，我們只考慮這些可用模態(tài)的特征圖，但將它們對(duì)最終融合結(jié)果的貢獻(xiàn)標(biāo)準(zhǔn)化，這樣，無論缺少多少模態(tài)，融合后的特征圖都具有一致的值范圍。然后，我們將注意力權(quán)重與相應(yīng)的模態(tài)特征圖進(jìn)行體素相乘。因此，自適應(yīng)融合的特征圖$\hat{F}$ 是通過每個(gè)模態(tài)特征的加權(quán)和來計(jì)算的：$$\hat{\mathbf{F}}=\sum _m{\hat{\mathbf{W}}}_m?{\mathbf{F}}_m.(3)$$這里，?表示體素相乘。

損失函數(shù)

我們有多個(gè)分割頭，分布在A2FSeg的每個(gè)模塊中。對(duì)于每個(gè)分割頭，我們使用交叉熵和軟Dice分?jǐn)?shù)的組合作為基本損失函數(shù)，其定義為$$\mathcal{L}(\hat{y},y)={\mathcal{L}}_{CE}(\hat{y},y)+{\mathcal{L}}_{Dice}(\hat{y},y),(4)$$其中 $\hat{y}$和 $y$ 分別表示分割預(yù)測和真實(shí)分割結(jié)果?；谶@個(gè)基本函數(shù)，我們將整體損失函數(shù)定義為$${\mathcal{L}}_{total}=\sum _m{\mathcal{L}}_m({\hat{y}}_m,y)+{\mathcal{L}}_{avg}({\hat{y}}_{avg},y)+{\mathcal{L}}_{adp}({\hat{y}}_{adp},y),(5)$$其中第一項(xiàng)是特征提取后每個(gè)模態(tài) $m$ 的基本分割損失；第二項(xiàng)是平均融合模塊的分割輸出的損失；最后一項(xiàng)是自適應(yīng)融合模塊最終輸出的分割損失。

實(shí)驗(yàn)

數(shù)據(jù)集：BraTS 2020
實(shí)驗(yàn)設(shè)置和實(shí)施細(xì)節(jié)：
Pytorch實(shí)現(xiàn)、使用RTX3090GPU進(jìn)行實(shí)驗(yàn)、使用Adam優(yōu)化器、learning rate = 0.01、使用學(xué)習(xí)率指數(shù)衰減方法：$(1?\frac{\#\text{epoch}}{\#\max \mathrm{epoch}}{)}^{0.9}$、patch = 128 x 128 x 128、訓(xùn)練300輪

Table 1：與最近的方法進(jìn)行比較(包括HeMIS、U-HVED、mmFormer、MFI)，與我們的模型在BraTS 2020上就Dice%方面進(jìn)行比較，缺失模態(tài)用o表示，可用模態(tài)用●表示，F(xiàn)表示Flair，HVED表示U-HVED，mmFormer表示為Former文章來源地址http://www.zghlxwxcb.cn/news/detail-839132.html

到了這里，關(guān)于論文閱讀筆記——A2FSeg:用于醫(yī)學(xué)圖像分割自適應(yīng)多模態(tài)融合網(wǎng)絡(luò)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！