一、介紹
ECANet（CVPR 2020）作為一種輕量級的注意力機(jī)制，其實也是通道注意力機(jī)制的一種實現(xiàn)形式。其論文和開源代碼為：
論文地址：https://arxiv.org/abs/1910.03151
代碼：https://github.com/BangguWu/ECANet
ECA模塊，去除了原來SE模塊中的全連接層，直接在全局平均池化之后的特征上通過一個1D卷積進(jìn)行學(xué)習(xí)。
具體的講：通過共享相同的學(xué)習(xí)參數(shù)，通過內(nèi)核大小為k的1維卷積來實現(xiàn)通道之間的信息交互：（一維卷積和1 × 1 卷積是不同的，一維指的是1 × k 的卷積）
ECA-Net可以插入到其他CNN網(wǎng)絡(luò)中來增強(qiáng)其性能，比如：插入到ResNet、MobileNetV2中。本文主要將ECA模塊加入到Mobilenetv2的殘差堆疊塊中。
文中同樣附上SENet的嵌入代碼（已注釋），如有需要，可進(jìn)行比較；因項目需要轉(zhuǎn)換caffe模型（具體torch如何轉(zhuǎn)，請看之前的博文），經(jīng)測試SENet雖然轉(zhuǎn)換成功，但測試時所需的caffe庫不支持，所以換成ECA-Net，經(jīng)轉(zhuǎn)換測試，可正常出結(jié)果，且效果提升大約五個點(diǎn)左右。
ReLU6替換為Leakyrelu，同樣是因為不支持的原因（板子太老）
二、代碼
eca_module.py文章來源地址http://www.zghlxwxcb.cn/news/detail-571377.html
import torch
文章來源：http://www.zghlxwxcb.cn/news/detail-571377.html
到了這里，關(guān)于注意力機(jī)制——ECANet及Mobilenetv2模型應(yīng)用的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
![[ 注意力機(jī)制 ] 經(jīng)典網(wǎng)絡(luò)模型1——SENet 詳解與復(fù)現(xiàn)](https://imgs.yssmx.com/Uploads/2024/01/807521-1.png)
