目錄
一、背景
二、問題
三、解決問題
四、Attention U-Net網(wǎng)絡(luò)結(jié)構(gòu)
? ? ? ? 簡單總結(jié)Attention U-Net的操作：增強(qiáng)目標(biāo)區(qū)域的特征值，抑制背景區(qū)域的目標(biāo)值。抑制也就是設(shè)為了0。
一、背景
? ? ? ? 為了捕獲到足夠大的、可接受的范圍和語義上下文信息，在標(biāo)準(zhǔn)的CNN結(jié)構(gòu)中，特征圖被逐步下采樣，以獲得粗粒度的特征圖，擴(kuò)大感受野范圍。粗粒度特征圖能反應(yīng)空間信息。雖然粗粒度特征圖能在全局尺度上進(jìn)行模型定位，反應(yīng)組織間的關(guān)系，但是當(dāng)目標(biāo)是不同形狀的小目標(biāo)時，減少錯正率保持著困難。所以要提高分割精度。
二、問題
- 為提升精度，當(dāng)前的分割框架依賴額外的預(yù)先定位模型，將任務(wù)分為目標(biāo)定位和后續(xù)分割。
- 全卷機(jī)網(wǎng)絡(luò)FCNs和U-Net是常見的網(wǎng)絡(luò)架構(gòu)。盡管他們有很好的表征性能，但是他們的結(jié)構(gòu)是多級級聯(lián)CNN，級聯(lián)框架提取ROI，對特定的ROI進(jìn)行稠密預(yù)測。這種方式會導(dǎo)致計(jì)算資源和模型參數(shù)的冗余使用。使用級聯(lián)的所有模型都會重復(fù)提取相似的低級特征。
三、解決問題
? ? ? ? 為解決以上兩個現(xiàn)狀問題，本文提出了注意力門Attention Gate(AG)。本文將AG加入到U-Net的跳躍連接中，通過較粗粒度的特征圖，獲得語義上下文信息，進(jìn)而對來自同層的encoder的特征圖中不相關(guān)的特征進(jìn)行抑制，提高模型對目標(biāo)區(qū)域的靈敏度和準(zhǔn)確性。（沒有提取ROI，也實(shí)現(xiàn)了目標(biāo)定位）
四、Attention U-Net網(wǎng)絡(luò)結(jié)構(gòu)
圖1 AG的簡圖?
圖2 AttentionU-Net網(wǎng)絡(luò)結(jié)構(gòu)
? ? ? ? Attention U-Net網(wǎng)絡(luò)結(jié)構(gòu)，即在U-Net的跳躍連接上加入了Attention Gate模塊，通過跳躍連接提高顯示特征。從粗粒度尺度上提取信息用在門控中，以消除跳躍連接中的無關(guān)的和噪聲響應(yīng)。AGs在前向過程和反向過程期間過濾神經(jīng)元激活。背景區(qū)域的梯度在反向過程中向下加權(quán)，較淺區(qū)域的模型參數(shù)被更新。為減少AGs的訓(xùn)練參數(shù)量和計(jì)算復(fù)雜度，執(zhí)行了線性變換。在較粗尺度上，AG提供器官的粗略輪廓。
? ? ? ? 編碼層和U-Net的編碼層操作一樣，此處不再過多講解。詳情見另一篇U-Net博客。
????????解碼層：拿D3舉例子，來介紹每層的具體實(shí)現(xiàn)：
- （對D4上采樣，達(dá)到E3的分辨率）先D4上采樣，得到de4，此時de4的特征數(shù)量由512至256；
- （將D4、E3輸入到AG中，即跳躍連接處的操作）然后將de4與E3輸入到AG中，通過卷積操作，將de4的特征數(shù)量256降至128，E3的特征數(shù)量由256降至128，然后將de4與E3相加，得到psi，相加是為了對目標(biāo)區(qū)域做增強(qiáng)操作，即將目標(biāo)區(qū)域的特征值變大；然后對psi做relu操作，特征數(shù)量變?yōu)?56，此時還稱為psi。然后對psi通過卷積操作實(shí)現(xiàn)線性變換，特征數(shù)量由256變?yōu)?，做sigmoid操作，sigmoid的操作即結(jié)果非0即1，也就是將背景設(shè)為0，目標(biāo)區(qū)域設(shè)為1, 即實(shí)現(xiàn)了背景抑制的目的，消除跳躍連接中無關(guān)的和噪聲干擾，此時也實(shí)現(xiàn)了減少AG的訓(xùn)練參數(shù)量和計(jì)算復(fù)雜度，進(jìn)一步得到psi。然后將最初的E3與此時的psi相乘，就得到了對最初的E3做了背景抑制的處理，此時的結(jié)果稱為en3。（此步驟為AG的操作）
- （此時是D3出的操作）將通過AG處理的en3與上采樣后的de4進(jìn)行拼接操作，此時特征數(shù)量由256變?yōu)?12；之后做兩次conv3*3，特征通道變?yōu)?56，完成D3部分的操作。
?????????D1的最后，還有一個conv1*1，用來實(shí)現(xiàn)將特征數(shù)量由64變?yōu)樾枰臄?shù)量num_classes。
Attention U-Net的優(yōu)勢：文章來源：http://www.zghlxwxcb.cn/news/detail-431407.html
? ? ? ? 沒有多模型訓(xùn)練和大量的額外模型參數(shù)。文章來源地址http://www.zghlxwxcb.cn/news/detail-431407.html
到了這里，關(guān)于醫(yī)學(xué)圖像分割之Attention U-Net的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
