論文地址:https://arxiv.org/abs/1505.04597
學(xué)習(xí)視頻:U-Net網(wǎng)絡(luò)結(jié)構(gòu)講解(語義分割)_嗶哩嗶哩_bilibili
整體結(jié)構(gòu)
如下圖,U-net結(jié)構(gòu)為Encoder-Decoder,左邊為Encoder部分,作用是下采樣,右邊為Decoder部分,作用為上采樣
在圖中每一個(gè)長條代表一個(gè)特征層,每一個(gè)箭頭對應(yīng)于一種操作

Encoder部分也即下采樣部分
第一步
如下圖,來看左邊部分第一層,藍(lán)色箭頭代表卷積層,卷積核大小為3*3,padding = 0,步長為1,經(jīng)過兩層卷積層大小每經(jīng)過一層減小2,高和寬變成了568*568通道大小變成了64

之后經(jīng)過紅色箭頭,表示最大池化層,大小縮小為一半為284*284
第二步
此時(shí)再進(jìn)行2次卷積,將channel翻倍,如下圖得到280*280*128的特征圖

然后再經(jīng)過一個(gè)最大池化層得到128*128
第三步
對上面280*280的特征圖繼續(xù)進(jìn)行卷積,得到136*136*256,如下圖

再經(jīng)過最大池化層得到68*68的特征圖
第四步
對68*68*256的特征圖繼續(xù)進(jìn)行卷積操作得到64*64*512的特征圖,如下

再經(jīng)過最大池化層得到32*32的特征圖
第五步
對32*32*512的特征層進(jìn)行卷積得到28*28*1024的特征層

Decoder部分也即上采樣部分
至此下采樣結(jié)束接下來是上采樣,這里上采樣使用的是轉(zhuǎn)置卷積
第一步
圖中綠色箭頭代表上采樣,每一次上采樣會將高和寬擴(kuò)大兩倍,通道數(shù)減半,變成56*56*512,同時(shí)灰色箭頭表示將左邊對應(yīng)部分的特征圖進(jìn)行中心裁剪出一塊與右邊一樣大小,與右邊進(jìn)行拼接,得到56*56*1024的特征圖,然后經(jīng)過3*3大小的卷積,將特征圖通道數(shù)減半,同時(shí)會繼續(xù)縮小高和寬為52*52,最終經(jīng)過這一步的decoder得到52*52*512大小的特征圖

接下來進(jìn)行轉(zhuǎn)置卷積將特征圖大小調(diào)整為104*104*256
第二步
此時(shí)與剛剛上采樣的第一步類似,對左邊部分進(jìn)行中心裁剪拼接得到104*104*512,如圖,再進(jìn)行兩層卷積操作得到100*100*256的特征圖

接下來進(jìn)行轉(zhuǎn)置卷積將特征圖大小調(diào)整為200*200*128
第三步
此時(shí)與剛剛上采樣的第二步類似,對左邊部分進(jìn)行中心裁剪拼接得到200*200*256,如圖,再進(jìn)行兩層卷積操作得到196*196*128的特征圖

接下來繼續(xù)上采樣,使用轉(zhuǎn)置卷積得到392*392*64大小的特征圖
第四步
此時(shí)與剛剛上采樣的第三步類似,對對應(yīng)左邊部分進(jìn)行中心裁剪拼接得到392*392*128,如圖,再進(jìn)行兩層卷積操作得到388*388*64的特征圖,如圖

最后進(jìn)行一個(gè)1*1的卷積操作,原論文只有兩個(gè)類別一個(gè)背景一個(gè)是要分割的物體,卷積核個(gè)數(shù)因此為2,最終得到的輸出是388*388*2的分割圖
實(shí)際U-net網(wǎng)絡(luò)
可以看到在原文中,輸入和輸出大小不一樣

如圖對于這個(gè)細(xì)胞分割,實(shí)際上要黃色部分的分割圖要用到藍(lán)色框區(qū)域的信息,但是在圖像邊緣往往是沒有這些信息,這時(shí)圖像邊緣信息缺失了,這時(shí)需要鏡像對應(yīng)部分補(bǔ)全缺失信息,才能進(jìn)行分割。而且對于大分辨率的圖像分割時(shí),往往分割時(shí)要有overlap部分,如下圖。文章來源:http://www.zghlxwxcb.cn/news/detail-433329.html

然而,事實(shí)上,當(dāng)今主流U-net網(wǎng)絡(luò)在卷積的時(shí)候會有padding,來保證輸入特征圖大小與輸出特征圖大小一樣,這樣就不需要考慮邊緣缺失問題了。文章來源地址http://www.zghlxwxcb.cn/news/detail-433329.html
到了這里,關(guān)于U-net網(wǎng)絡(luò)詳解的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!