將注意力的階段大改分成了4個(gè)階段

1.將深度神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制相結(jié)合，代表性方法為RAM

⒉.明確預(yù)測(cè)判別性輸入特征，代表性方法為STN

3.隱性且自適應(yīng)地預(yù)測(cè)潛在的關(guān)鍵特征，代表方法為SENet

4.自注意力機(jī)制

通道注意力

在深度神經(jīng)網(wǎng)絡(luò)中，每個(gè)卷積層通常包含多個(gè)通道，每個(gè)通道對(duì)應(yīng)一個(gè)特定的特征。

通道注意力的目標(biāo)是根據(jù)每個(gè)通道的重要性，動(dòng)態(tài)地調(diào)整通道的權(quán)重,

以便在網(wǎng)絡(luò)中更好地捕捉和利用重要的特征。
?

通過(guò)顯示建模通道之間的相互依賴性，重新校準(zhǔn)通道方面的特征響應(yīng)

在squeeze階段，通過(guò)全局平均池化操作，將卷積層的輸出特征圖壓縮成一個(gè)特征向量

然后再excitation階段，通過(guò)使用全連接層和非線性激活函數(shù)

學(xué)習(xí)生成一個(gè)通道的權(quán)重向量（被應(yīng)用于原始特征圖的每個(gè)通道），已對(duì)不同通道的特征進(jìn)行加權(quán)

空間注意力

空間注意力可以被看作是一種自適應(yīng)的空間區(qū)域選擇機(jī)制。

空間注意機(jī)制允許神經(jīng)網(wǎng)絡(luò)在處理輸入數(shù)據(jù)時(shí)，有選擇性地關(guān)注特定的空間位置或區(qū)域，

以便更好地提取有用的特征。

可以幫助網(wǎng)絡(luò)集中注意力在重要的區(qū)域上，忽略或減少對(duì)不相關(guān)區(qū)域的處理。
其應(yīng)用范圍比通道注意力多出了精細(xì)分類(FGCls)和圖像字幕(ICap)。

它通過(guò) 策略梯度 以 端到端的方式循環(huán)預(yù)測(cè)重要區(qū)域， 并更新整個(gè)網(wǎng)絡(luò)

明確預(yù)測(cè) 相關(guān)區(qū)域

引入空間變換器模塊的方法

該模塊可以對(duì)輸入數(shù)據(jù)進(jìn)行幾何變換 平移旋轉(zhuǎn)縮放

核心思想 是通過(guò)一個(gè)空間變換器? 使得網(wǎng)絡(luò)可以自動(dòng)學(xué)習(xí) 對(duì)輸入數(shù)據(jù)進(jìn)行合適的幾何變換

從而提升網(wǎng)絡(luò)的魯棒性和泛化能力

隱式的進(jìn)行softmask的預(yù)測(cè)

該篇paper 提出了一種新的特征上下文利用方法

gather excite 通過(guò)在卷積神經(jīng)網(wǎng)絡(luò)的不同層之間收集特征信息，

并在每個(gè)層中激活重要的特征，從而提升網(wǎng)絡(luò)的性能

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在處理圖像時(shí)，通常只考慮局部的特征

然而在某些任務(wù)重，全局上下文信息對(duì)于準(zhǔn)確的預(yù)測(cè)非常重要

Non-local Neural Networks 非局部神經(jīng)網(wǎng)絡(luò) 通過(guò) 引入非局部操作

使得網(wǎng)絡(luò)能夠在任意位置上對(duì)全局信息進(jìn)行交互

時(shí)間注意力

時(shí)間注意力可以被看作是一種動(dòng)態(tài)的時(shí)間選擇機(jī)制，決定了何時(shí)進(jìn)行注意，因此通常用于視頻處理。
?

本文提出了全局局部時(shí)間表示? 來(lái)利用視頻序列中的多尺度時(shí)間線索

進(jìn)行視頻人物重新識(shí)別

本篇Method 為 首先對(duì)相鄰幀之間的短期時(shí)間線索，進(jìn)行建模

然后捕獲 不連續(xù)幀之間的長(zhǎng)期關(guān)系

tam模塊的核心思想是 引入一個(gè)自適應(yīng)的時(shí)間注意力模塊

他通過(guò) 學(xué)習(xí)得到每個(gè)時(shí)間步驟的注意力權(quán)重 從而決定那些時(shí)間步驟對(duì)于當(dāng)前任務(wù)更加重要

這樣模型在不同視頻中 動(dòng)態(tài)選擇時(shí)間窗口的長(zhǎng)度 以適應(yīng)不同的時(shí)間尺度

分支注意力

分支注意力通常用于多分支的神經(jīng)網(wǎng)絡(luò)中，其中每個(gè)分支都專注于不同的特征子集。
這些分支可以是不同層級(jí)的特征提取器，也可以是不同任務(wù)的子模型。

通過(guò)引入分支注意力，模型可以自動(dòng)學(xué)習(xí)每個(gè)分支的權(quán)重, 以便更好地利用不同分支的特征。
?

提出了全新的高速網(wǎng)絡(luò)架構(gòu) 用于優(yōu)化深度神經(jīng)網(wǎng)絡(luò) 由于梯度爆炸和梯度消失而導(dǎo)致的訓(xùn)練苦難的問(wèn)題

引入門控機(jī)制來(lái)控制 信息的流動(dòng) 從而允許網(wǎng)絡(luò)更好地學(xué)習(xí)輸入數(shù)據(jù)中的非線性關(guān)系

提出一種條件參數(shù)卷積

他可以為每個(gè)樣例學(xué)習(xí)一個(gè)特定的卷積kernel參數(shù) 通過(guò)替換標(biāo)準(zhǔn)卷積

通道空間注意力

CBAM小陳讀paper系列-CSDN博客

channel attention 學(xué)習(xí)通道間的依賴關(guān)系 來(lái)調(diào)整通道的重要性 以增強(qiáng)網(wǎng)絡(luò)對(duì)不同通道的感知能力

spatial attention? ? ? ? ? ?空間上? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 空間?

時(shí)空注意力

結(jié)合了空間注意力和時(shí)間注意力的優(yōu)點(diǎn),能夠自適應(yīng)地選擇重要區(qū)域和關(guān)鍵幀。

1.Attention Mechanisms in Computer Vision: A Survey（https://arxiv.org/abs/2111.07624）

2.Squeeze-and-Excitation Networks（https://arxiv.org/abs/1709.01507）

3.Recurrent Models of Visual Attention（https://arxiv.org/abs/1406.6247）

4.Spatial Transformer Networks（https://arxiv.org/abs/1506.02025）

5.Gather-Excite: Exploiting Feature Context in Convolutional Neural Networks（https://arxiv.org/abs/1810.12348）

6.Non-local Neural Networks（https://arxiv.org/abs/1711.07971）

7.Global-Local Temporal Representations For Video Person Re-Identification（https://arxiv.org/abs/1908.10049）

8.TAM: Temporal Adaptive Module for Video Recognition（https://arxiv.org/abs/2005.06803） 9.Training Very Deep Networks（https://arxiv.org/abs/1507.06228）

10.CondConv: Conditionally Parameterized Convolutions for Efficient Inference（https://arxiv.org/abs/1904.04971）

11.CBAM: Convolutional Block Attention Module（https://arxiv.org/abs/1807.06521） 12.Residual Attention Network for Image Classification（https://arxiv.org/abs/1704.06904）

13.Recurrent Spatial-Temporal Attention Network for Action Recognition in Videos（https://ieeexplore.ieee.org/document/8123939）

14.STA: Spatial-Temporal Attention for Large-Scale Video-based Person Re-Identification（https://arxiv.org/abs/1811.04129）

15.Spatial-Temporal Graph Convolutional Network for Video-Based Person Re-Identification

本期內(nèi)容 為b站學(xué)習(xí)筆記

計(jì)算機(jī)視覺(jué)注意力機(jī)制大盤點(diǎn)！Attention is all you need！_嗶哩嗶哩_bilibili文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-717808.html

到了這里，關(guān)于計(jì)算機(jī)視覺(jué)注意力機(jī)制小盤一波 （學(xué)習(xí)筆記）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！