本文介紹了一種名為“M3Care”的模型，旨在處理多模態(tài)醫(yī)療保健數(shù)據(jù)中的缺失模態(tài)問題。這個模型是端到端的，能夠補償病人缺失模態(tài)的信息，以執(zhí)行臨床分析。M3Care不是生成原始缺失數(shù)據(jù)，而是在潛在空間中估計缺失模態(tài)的任務(wù)相關(guān)信息，利用來自具有相似未缺失模態(tài)的其他病人的輔助信息。該模型通過任務(wù)引導的模態(tài)適應(yīng)性相似性度量來找到相似的病人，并據(jù)此進行臨床任務(wù)。實驗表明，M3Care在多種評估指標上超越了現(xiàn)有的基線模型，并且其發(fā)現(xiàn)與專家意見和醫(yī)學知識一致，顯示出提供有用見解的潛力?！鹃_放源碼】

一.論文概述

1. 端到端模型設(shè)計：M3Care是一個端到端的模型，能夠直接處理具有缺失模態(tài)的患者數(shù)據(jù)，補償這些缺失信息，以執(zhí)行臨床分析。

2. 任務(wù)相關(guān)信息的估計：與傳統(tǒng)方法不同，M3Care不是直接生成原始缺失數(shù)據(jù)，而是在潛在空間中估計缺失模態(tài)的任務(wù)相關(guān)信息。這種方法避免了直接處理原始數(shù)據(jù)的不穩(wěn)定性和復雜性。

3. 利用相似患者的輔助信息：M3Care模型通過任務(wù)引導的模態(tài)適應(yīng)性相似性度量來識別相似的患者，并利用這些相似患者的未缺失模態(tài)數(shù)據(jù)來估計目標患者的缺失信息。

4. 臨床任務(wù)的有效執(zhí)行：模型能夠利用估計出的任務(wù)相關(guān)信息來有效執(zhí)行臨床任務(wù)，如疾病診斷或預(yù)后預(yù)測。

5. 實驗驗證：作者通過在真實世界數(shù)據(jù)集上的實驗，展示了M3Care在各種評估指標上優(yōu)于現(xiàn)有基線模型的性能，并且其發(fā)現(xiàn)與專家意見和醫(yī)學知識一致，顯示出提供有用見解的潛力。

二.模型結(jié)構(gòu)

• Unimodal Representation Extraction：使用不同的特征抽取模型抽取各自模態(tài)特征，圖上很清楚，不贅述。

• Similar Patients Discovery and Information Aggregation：包含如下：

  • task-guided modality-semantic-adaptive similarity metric：使用特殊的核函數(shù)方法度量，而不是傳統(tǒng)的余弦相似度。

    $k_{{\omega }_m}\left({\mathrm{h}}_i^m,{\mathrm{h}}_j^m\right)=\left[\left(1?{\delta }_m\right)k\left({?}_{{\omega }_m}\left({\mathrm{h}}_i^m\right),{?}_{{\omega }_m}\left({\mathrm{h}}_j^m\right)\right)+{\delta }_m\right]q\left({\mathrm{h}}_i^m,{\mathrm{h}}_j^m\right)$

    1. 核函數(shù) $k_{{\omega }_m}\left({\mathrm{h}}_i^m,{\mathrm{h}}_j^m\right)$：這個函數(shù)用于計算兩個患者在特定模態(tài)$m$中特征表示的相似度。這里， ${\mathrm{h}}_i^m$和 ${\mathrm{h}}_j^m$分別表示第 $i$和第 $j$ 個患者在模態(tài) $m$中的特征表示。
    2. 混合項：公式中的第一個部分$\left(1?{\delta }_m\right)k\left({?}_{{\omega }_m}\left({\mathrm{h}}_i^m\right),{?}_{{\omega }_m}\left({\mathrm{h}}_j^m\right)\right)$，其中 ${?}_{{\omega }_m}$ 是一個轉(zhuǎn)換函數(shù)，將原始特征空間映射到一個新的空間，以便更好地捕捉相似度。${\delta }_m$是一個模態(tài)特定的調(diào)整參數(shù)，它決定了在核函數(shù)中保留多少原始特征空間的信息。
    3. 權(quán)重項 ${\delta }_m$：這個參數(shù)調(diào)節(jié)著在相似度計算中原始特征空間和轉(zhuǎn)換后空間的相對重要性。它的值在 0 和 1 之間，用于平衡兩種不同的相似度計算方式。
    4. 附加項$q\left({\mathrm{h}}_i^m,{\mathrm{h}}_j^m\right)$：這個項用于在相似度計算中添加額外的信息，可能是基于特定模態(tài) $m$ 的特定特征或考慮的其他因素

  • 信息聚合：

    $\begin{array}{c}\tilde{\Pi }=\frac{{\sum }_1^M{\Pi }^m?{\mathrm{mask}}^m}{{\sum }_1^M{\mathrm{mask}}^m+?}\\ {\tilde{\Pi }}_{i,j}=\{\begin{array}{cc}{\tilde{\Pi }}_{i,j}& \text{?if?}{\tilde{\Pi }}_{i,j}>\Lambda \\ 0& \text{?if?}{\tilde{\Pi }}_{i,j}\le \Lambda \end{array}\end{array}$

    1. $\tilde{\Pi }$：這代表最終聚合后的結(jié)果。
    2. ${\sum }_1^M{\Pi }^m?{\mathrm{mask}}^m$：這里，${\Pi }^m$ 表示第 $m$ 個模態(tài)的某種計算結(jié)果或特征表示，而 ${\mathrm{mask}}^m$ 是一個掩碼（mask），用于指示第 $m$個模態(tài)是否可用或重要。掩碼通常是二進制的（0或1），用于選擇性地考慮（或忽略）特定模態(tài)。
    3. ${\sum }_1^M{\mathrm{mask}}^m+?$：分母是對所有模態(tài)的掩碼求和，再加上一個小常數(shù) $?$（通常接近0）以避免除以零的情況。這種求和確保了當某些模態(tài)缺失時，計算結(jié)果仍然是有意義的。
    4. ${\tilde{\Pi }}_{i,j}$：這是聚合后的結(jié)果矩陣中的一個元素，代表第 i個樣本和第 $j$個樣本之間的某種度量。
    5. 條件語句：這里的條件語句用于應(yīng)用一個閾值 $\Lambda$。如果 ${\tilde{\Pi }}_{i,j}$的值大于閾值 $\Lambda$，它將被保留；如果小于或等于$\Lambda$，則將該值設(shè)置為0。這種方法用于過濾掉那些低于特定重要性水平的元素。

? 總體來說，這個公式描述了一個兩步過程：首先是結(jié)合多個模態(tài)的信息，然后通過應(yīng)用閾值來過濾和精細化結(jié)果。目標是通過合并來自相似患者的輔助信息來推斷模態(tài)缺失樣本。因此，為了聚合來自相似的信息，將一批患者的表示表示為每個模態(tài)中的一個圖，相似度矩陣$\tilde{\Pi }$作為圖的鄰接矩陣(即，然后使用圖卷積層(GCN)，利用結(jié)構(gòu)信息增強表示學習。

• Adaptive Modality Imputation:
• Multimodal Interaction Capture：這部分沒有什么好說，就是常規(guī)Transformer融合多模態(tài)特征。

三.數(shù)據(jù)集

Ocular Disease Intelligent Recognition (ODIR) Dataset and Ophthalmic Vitrectomy
(OV) Dataset 眼病智能識別(ODIR)數(shù)據(jù)集和眼科玻璃體切除術(shù)(OV)數(shù)據(jù)集

四 .實驗結(jié)果文章來源地址http://www.zghlxwxcb.cn/news/detail-756760.html

到了這里，關(guān)于【論文閱讀筆記】M3Care: Learning with Missing Modalities in Multimodal Healthcare Data的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！