1、What is the best data augmentation approach for brain tumor segmentation using 3D U-Net?

實(shí)驗(yàn)

數(shù)據(jù)集

BraTS 2020

數(shù)據(jù)增強(qiáng)方法

? Flipping翻轉(zhuǎn): 以1/3的概率隨機(jī)沿著三個(gè)軸之一翻轉(zhuǎn)
? Rotation旋轉(zhuǎn): 從限定范圍（0到 15?或到30?或到60?或到90?）的均勻分布中隨機(jī)選擇角度旋轉(zhuǎn)
? Scale縮放: 通過(guò)從范圍為±10%或?yàn)椤?0%的均勻分布中隨機(jī)選擇的因子，對(duì)每個(gè)軸進(jìn)行縮放
? Brightness亮度調(diào)整: 冪律γ強(qiáng)度變換，其參數(shù)增益(g)和γ從均勻分布的0.8-1.2之間隨機(jī)選擇。亮度(I)根據(jù)公式：Inew=g·I^γ隨機(jī)改變
? Elastic deformation彈性變形: 帶正方形變形網(wǎng)格的彈性變形，位移采樣來(lái)自標(biāo)準(zhǔn)差σ=2、4、6或8體素的正態(tài)分布，其中平滑由每個(gè)維的3階樣條濾波器完成

實(shí)驗(yàn)結(jié)果

PE：Patch extraction

結(jié)論

數(shù)據(jù)增強(qiáng)在許多情況下顯著提高了分割網(wǎng)絡(luò)的性能，且亮度增強(qiáng)和彈性形變的效果最好，并且與僅使用一種增強(qiáng)技術(shù)相比，不同的增強(qiáng)技術(shù)的組合并不能提供進(jìn)一步的改進(jìn)。

代碼
（作者的EVALUATION OF AUGMENTATION METHODS IN CLASSIFYING AUTISM SPECTRUM DISORDERS FROM FMRI DATA WITH 3D CONVOLUTIONAL NEURAL NETWORKS表明，數(shù)據(jù)增強(qiáng)對(duì)分類(lèi)的準(zhǔn)確性只提供了微小的改進(jìn)）

2、TransBTS: Multimodal Brain Tumor Segmentation Using Transformer

代碼：https://github.com/Wenxuan-1119/TransBTS
論文：https://arxiv.org/abs/2103.04430

創(chuàng)新點(diǎn)

使用卷積提取局部特征，使用transformer得到全局特征；

網(wǎng)絡(luò)結(jié)構(gòu)

類(lèi)似于3d U-net，有收縮路徑和展開(kāi)路徑，但是用跨步卷積取代了雙卷積+最大池化

實(shí)驗(yàn)

數(shù)據(jù)集

BraTS2019： 335 cases of patients for training and 125 cases for validation
BraTS2020： 369 cases for training, 125 cases for validation and 166 cases for testing

標(biāo)簽

標(biāo)簽具有四個(gè)類(lèi)別：背景（0),壞死性和非增強(qiáng)性腫瘤（標(biāo)記1），腫瘤周?chē)[（2）和GD增強(qiáng)性腫瘤（4）。

評(píng)價(jià)指標(biāo)

通過(guò)Dice系數(shù)和Hausdirff距離（95%）指標(biāo)來(lái)測(cè)量分割的準(zhǔn)確性，以增強(qiáng)區(qū)域（ET，1），腫瘤核心區(qū)域（TC，1，4）以及整個(gè)腫瘤區(qū)域（WT,1,2,4)。

數(shù)據(jù)增強(qiáng)

(1) random cropping： from 240 × 240 × 155 to 128 × 128 × 128
(2) random mirror flipping across the axial, coronal and sagittal planes by a probability of 0.5
(3) random intensity shift between [-0.1, 0.1] and scale between [0.9, 1.1].

訓(xùn)練細(xì)節(jié)

softmax Dice損失用于訓(xùn)練網(wǎng)絡(luò)，L2 Norm用于正則化，權(quán)重衰減率為10^-5

實(shí)驗(yàn)結(jié)果

（在評(píng)論區(qū)看到復(fù)現(xiàn)效果差，存疑）

3、TransBTSV2: Wider Instead of Deeper Transformer for Medical Image Segmentation

代碼：https://github.com/Wenxuan-1119/TransBTS
論文：https://arxiv.org/abs/2201.12785

創(chuàng)新點(diǎn)

(1)Transformer中原始的自注意機(jī)制導(dǎo)致了關(guān)于序列長(zhǎng)度的O(n²)時(shí)間和空間復(fù)雜度。同時(shí)Transformer的性能在很大程度上取決于數(shù)據(jù)集的規(guī)模，為了緩解這個(gè)問(wèn)題，許多最先進(jìn)的方法轉(zhuǎn)向大規(guī)模數(shù)據(jù)集的預(yù)訓(xùn)練。然而，醫(yī)學(xué)圖像數(shù)據(jù)集普遍缺乏可用的訓(xùn)練樣本，使得Transformer對(duì)醫(yī)學(xué)圖像的預(yù)訓(xùn)練變得不切實(shí)際
inspired by the inverted design in MobileNetV2, we propose a
novel insight to pursue wider instead of deeper Transformer
architecture.
采取這種方法，與最初的TransBTS相比，模型復(fù)雜性顯著降低（參數(shù)減少了53.62%，F(xiàn)LOPs減少了27.75%）
(2)不規(guī)則形病變給醫(yī)學(xué)圖像分割帶來(lái)了巨大的挑戰(zhàn)。在U-Net體系結(jié)構(gòu)中，編碼器中的特征圖對(duì)幾何信息更為敏感，對(duì)目標(biāo)區(qū)域的識(shí)別也至關(guān)重要。
為此，提出了一個(gè)有效的和高效的可變形瓶頸模塊（DBM），它可以從編碼器特征學(xué)習(xí)體積空間偏移，并適應(yīng)分割目標(biāo)的各種轉(zhuǎn)換。

網(wǎng)絡(luò)結(jié)構(gòu)

Transformer部分由L個(gè)重新設(shè)計(jì)的Transformer模塊組成，每個(gè)模塊包含flexibly widened multihead self-attention (FW-MHSA) block和feed-forward
Network (FFN)
第l個(gè)模塊的輸出可以表示為：（LN(?) is the layer normalization）

在最初的TransBTS中，transformer層的數(shù)量為L(zhǎng)=4，Transformer部分占模型參數(shù)的70.81%。在本文章中，把transformer層數(shù)減為1，但是寬度變?yōu)?。

DBM模塊

每個(gè)DBM由兩個(gè)1×1×1卷積、一個(gè)3×3×3可變形卷積和傳統(tǒng)殘差連接組成。為了最大限度地減少提出的DBM帶來(lái)的計(jì)算開(kāi)銷(xiāo)，作者部署了兩個(gè)1 × 1 × 1卷積(即上圖所示的Reduction和Restoration layer)來(lái)降低和恢復(fù)信道維數(shù)

實(shí)驗(yàn)

數(shù)據(jù)集和對(duì)應(yīng)的數(shù)據(jù)增強(qiáng)方法

(1)BraTS 2019 and BraTS 2020
灰度強(qiáng)度歸一化、
(2)LiTS 2017
(3)KiTS 2019
在LiTS2017和KiTS2019數(shù)據(jù)集上，由于這兩個(gè)CT數(shù)據(jù)集的體素間隔是不均勻的，因此需要將所有情況重新采樣到一個(gè)共同的體素間距。
random cropping, random mirror flipping and random intensity shift

實(shí)驗(yàn)結(jié)果

B, TR, FEM, DBM, QK↑ REFERS TO BASELINE, TRANSFORMER, FEATURE EXPANSION MODULE, DEFORMABLE BOTTLENECK MODULE, THE PROPOSED FW-MHSA IN REDESIGNED TRANSFORMER BLOCK.

TransBTS是一個(gè)中等大小的模型，具有32.99M參數(shù)和333G FLOPs。通過(guò)本文提出的改進(jìn)架構(gòu)設(shè)計(jì)，TransBTSV2只有15.30M參數(shù)和241G FLOPs，與作者原來(lái)的TransBTS相比，追求更寬而不是更深的Transformer可以大大降低復(fù)雜度(參數(shù)減少53.62%，F(xiàn)LOPs減少27.63%)，但同時(shí)顯著提高了模型性能。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-409236.html

4、Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images

5、Robust Semantic Segmentation of Brain Tumor Regions from 3D MRIs

6、Fully Transformer Networks for Semantic Image Segmentation

到了這里，關(guān)于3D卷積網(wǎng)絡(luò)論文閱讀筆記的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！