ModDrop++: A Dynamic Filter Network with Intra-subject Co-training for Multiple Sclerosis Lesion Segmentation with Missing Modalities
摘要
多發(fā)性硬化癥（MS）是一種慢性神經(jīng)炎癥性疾病，多模態(tài)MRI通常用于監(jiān)測MS病變。已經(jīng)開發(fā)了許多自動MS病變分割模型，并且已經(jīng)達(dá)到了人類水平的性能。然而，大多數(shù)已建立的方法需要在假設(shè)訓(xùn)練期間使用的MRI模態(tài)在測試期間也可用，這在臨床實踐中無法保證。此前，一種稱為模態(tài)丟棄（ModDrop）的訓(xùn)練策略已被應(yīng)用于MS病變分割，以在缺失模態(tài)的情況下實現(xiàn)最先進(jìn)的性能。
本文方法
- 提出了一種稱為ModDrop++的新方法來訓(xùn)練一個適用于任意數(shù)量的輸入MRI序列的統(tǒng)一網(wǎng)絡(luò)
- ModDrop++在兩個關(guān)鍵方面升級了ModDrop的主要思想
- 設(shè)計了一個即插即用的動態(tài)頭，并采用了濾波器縮放策略來提高網(wǎng)絡(luò)的表現(xiàn)力
- 設(shè)計了一種協(xié)同訓(xùn)練策略，以利用全模態(tài)之間的主體內(nèi)關(guān)系
代碼地址
本文方法
ModDrop++中的兩個關(guān)鍵升級：即插即用動態(tài)頭部（左）和主體內(nèi)聯(lián)合訓(xùn)練策略（右）。動態(tài)頭旨在通過學(xué)習(xí)一組濾波器縮放矩陣來提高網(wǎng)絡(luò)表現(xiàn)力，以針對每個缺失條件自適應(yīng)地調(diào)整第一卷積層。受試者內(nèi)部聯(lián)合訓(xùn)練旨在在同一受試者的完整模態(tài)數(shù)據(jù)和缺失模態(tài)數(shù)據(jù)之間轉(zhuǎn)移知識，即使在缺乏多個模態(tài)的情況下，也可以引導(dǎo)動態(tài)頭部產(chǎn)生相似的特征表示
Dynamic Head with Filter Scaling
在ModDrop中，學(xué)習(xí)一組模型參數(shù)θ來處理所有可能的缺失條件。這可能會限制網(wǎng)絡(luò)的表現(xiàn)力，并導(dǎo)致針對競爭缺失條件的次優(yōu)性能。隨著總模態(tài)數(shù)量的增加，這種情況可能會變得嚴(yán)重，因為K模態(tài)會導(dǎo)致2K?1缺失
為了提高網(wǎng)絡(luò)的表現(xiàn)力，我們設(shè)計了一個動態(tài)頭D，以自適應(yīng)地生成以輸入模態(tài)的可用性為條件的模型參數(shù)。我們使用二進(jìn)制模態(tài)代碼m∈RK，其中0/1表示每個模態(tài)的不存在/存在
為了減輕由人為歸零信道引起的大輸入變化，我們使用動態(tài)頭來生成第一卷積層Fd的參數(shù)。假設(shè)輸入通道和輸出通道的數(shù)量為u和v，內(nèi)核大小為p×q。通常，動態(tài)卷積層中的所有參數(shù)都是基于給定的先驗單獨生成的。在我們的場景中，要求動態(tài)頭部學(xué)習(xí)從模態(tài)代碼m生成總數(shù)量的uvpq+b參數(shù)（b個參數(shù)用于偏差）。然而，對于動態(tài)頭部來說，這種映射可能太難學(xué)習(xí)了，而且我們的網(wǎng)絡(luò)在初步實驗中無法收斂。
為了解決這個問題，我們建議使用濾波器縮放策略更新我們的動態(tài)濾波器，該策略最初是為無監(jiān)督的圖像到圖像轉(zhuǎn)換而設(shè)計的[2]。我們的目標(biāo)是，內(nèi)核應(yīng)該為具有不同退出模式的輸入做出不同的貢獻(xiàn)。然后，我們的動態(tài)頭的任務(wù)變成學(xué)習(xí)為每個缺失條件生成濾波器縮放矩陣M∈Ru×v，其中M中的每個元素表示對應(yīng)核在每個缺失條件下的貢獻(xiàn)（縮放）。Fd中的核權(quán)重通過標(biāo)量乘法用相應(yīng)的比例因子更新。內(nèi)核偏差以相同的方式更新。這種濾波器縮放策略將可學(xué)習(xí)參數(shù)的數(shù)量從uvpq+b減少到uv+b，這保留了我們網(wǎng)絡(luò)的動態(tài)性質(zhì)，但學(xué)習(xí)任務(wù)要簡單得多。
Intra-subject Co-training
文章來源：http://www.zghlxwxcb.cn/news/detail-471065.html
實驗結(jié)果
文章來源地址http://www.zghlxwxcb.cn/news/detail-471065.html
到了這里，關(guān)于ModDrop++：一種具有受試者內(nèi)部協(xié)同訓(xùn)練的動態(tài)濾波網(wǎng)絡(luò)，用于具有缺失模態(tài)的多發(fā)性硬化病變分割的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
