深度學習小白，個人理解，有錯誤請友友們糾正QAQ

注意力機制是什么？

官方解釋：注意力機制（Attention Mechanism）源于對人類視覺的研究。在認知科學中，由于信息處理的瓶頸，人類會選擇性地關注所有信息的一部分，同時忽略其他可見的信息。上述機制通常被稱為注意力機制。

大白話怎么理解：

假設你正在準備一頓晚餐，需要用到多種食材和調料。你的廚房里有各種各樣的物品，包括鍋碗瓢盆、食材、調料等。在這個場景下，你的注意力機制是如何工作的呢？

首先，你會根據(jù)晚餐的菜譜，將注意力集中在需要使用的食材和調料上。你會忽略掉那些與晚餐無關的物品，比如已經(jīng)用過的餐具或者未開封的食材。

接著，當你開始烹飪時，你會專注于當前正在處理的食材或調料。例如，當你正在切洋蔥時，你的注意力會完全集中在洋蔥上，而忽略掉其他正在廚房里的物品或聲音。

這種注意力的集中和選擇性的忽略，就是注意力機制在起作用。它幫助你在處理復雜任務時，能夠更有效地利用有限的資源，即你的精力。

注意力機制分類？

注意力一般分為兩種：一種是自上而下的有意識的注意力，稱為聚焦式（focus）注意力。聚焦式注意力是指有預定目的、依賴任務的、主動有意識地聚焦于某一對象的注意力；另一種是自下而上的無意識的注意力，稱為基于顯著性（saliency-based）的注意力。基于顯著性的注意力是由外界刺激驅動的注意，不需要主動干預，也和任務無關。

大白話怎么理解？

聚焦式注意力就像拿著一個放大鏡在尋找東西。我有一個明確的目的，比如找一顆特定的寶石，所以我會主動、有意識地調整放大鏡的焦距，把焦點對準可能藏有寶石的地方，忽略掉其他無關的區(qū)域。這就是聚焦式注意力的特點它有預定目的，有依賴任務還會主動聚焦。

顯著性的注意力則更像是我走進一個花園。我的目光會不由自主地被那些顏色鮮艷、形狀奇特的花朵吸引，而不需要我主動去尋找或干預。這就是顯著性注意力的特點：它是由外界刺激驅動，它不需要我主觀意識主動干預，與任務無關。

注意力機制思想是什么？

注意力的思想，類似于尋址。給定 Query，去 Source 中計算 Query和不同 Key 的相關性，即計算 Source 中不同 Value 值的權重系數(shù)；Value 的加權平均結果可以作為注意力值。

圖1

?大白話怎么理解？

輸入的Query值假設是我想看的電視劇的一個片段比如說甄嬛傳熹妃回宮的這個劇情，電視劇它很長它有很多集，我不知道它在具體哪一集哪一分鐘，我不想從頭到尾的看完。我可以像上圖1一樣給它劃key1和key2，key1,key2有點像我們看電視劇那個進度條的每一個間斷點的劇情梗概，就會簡單介紹那段時間里發(fā)生了什么(圖2圈起來的部分)

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 圖2

value1和value2就是不同時間段里的對應的劇情的全部的內容，我想找到我想看的熹妃回宮劇情怎么找到呢？是不是可以輸入Query值（熹妃回宮劇情）對應上每個key的劇情梗概，我去分析他們相似度就可以知道哪一個大段的劇情里面可能有熹妃回宮這個劇情。然后我就給他們分配不同的關注度，這個在深度學習里面應該是權重。然后我根據(jù)關注度（權重）去對每個片端的所有劇情（就是不同的value1value2進行處理）比如說一個片段它非常有可能是我想看的劇情，那我對他關注度就大一點我開0.5倍速慢慢看，然后不是我想看的劇情我就忽略，我開倍速或者直接拉進度條。

什么是通道注意力機制？

通道注意力機制的代表模型是：壓縮和激勵網(wǎng)絡（Squeeze-and-Excitation Networks，SENet）。SENet 分為壓縮和激勵兩個部分，其中壓縮部分的目的是對全局空間信息進行壓縮，然后在通道維度進行特征學習，形成各個通對道的重要性，最后通過激勵部分對各個通道進行分配不同權重的。

上圖是SE模塊的結構，?在壓縮部分，輸入的元素特征圖的維度是 H×W×C，H、W 和 C 分別代表高度、寬度和通道數(shù)。壓縮部分的功能是將維數(shù)從 H×W×C 壓縮至1×1×C，即把 H×W 壓縮為 1×1 維，這個過程由全局平均池化實現(xiàn)。在激勵部分，需要將壓縮部分得到的 1×1×C 的維度融入全連接層，預測各個通道的重要程度，然后再激勵到前面特征圖對應通道上進行操作。采用簡單的門控機制與Sigmoid 激活函數(shù)。

大白話怎么理解？

想象一下你正在拍攝一張照片，并且需要后期調色來增強畫面的視覺效果。在這個過程中，每個顏色通道（如紅、綠、藍等）都扮演著重要的角色，但它們對畫面的貢獻可能并不相同。

SENet的壓縮部分就像是一個全局的調色師觀察員。它會對整個畫面進行快速掃描，壓縮全局空間信息，得到一個關于各個顏色通道的整體印象。這個觀察員并不關注具體的像素細節(jié)，而是關注整體的顏色分布和強度。

接下來，壓縮后的信息會進入激勵部分，這就像是調色師的工作室。在這個工作室里，調色師會根據(jù)觀察到的全局信息，學習各個顏色通道的重要性。他們會判斷哪些顏色通道對畫面更為重要，哪些可能相對次要。

最后，調色師會根據(jù)學習到的通道重要性，對各個顏色通道進行權重的分配。重要的通道會得到更多的強調，而次要的通道可能會被適當減弱。這樣，經(jīng)過SENet處理的畫面，在色彩表現(xiàn)上會更加和諧、突出。

鼠鼠我再舉個生活栗子QwQ,我在學校里，班級里有H行W列的座位，每個座位上坐著一個學生（代表特征圖的每個像素點），每個學生都有一個科目（代表不同的通道C）?，F(xiàn)在，老師想要知道每個科目（通道）在整個班級中的重要性。

壓縮部分（全局平均池化）：投票

1. 全局平均池化：在這個場景中，老師決定讓每個學生（每個像素點）為他們所在的科目（通道）投票。投票的方式是，每個學生評估他們在該科目上的表現(xiàn)，并給出一個分數(shù)。最后，老師會計算每個科目（通道）的平均分。

2. 從H×W×C到1×1×C：老師收集了所有的投票結果，并整理成一個列表，其中每個科目的平均分代表該科目的“重要性”或“強度”。這個列表的維度就是1×1×C，其中C是科目的數(shù)量（通道數(shù)）。

激勵部分：決策

1. 全連接層：老師拿到這個列表后，想要更深入地了解每個科目的重要性。于是，老師使用了一個“全連接層”（或稱為“決策層”），這實際上是一個復雜的分析過程，它考慮了科目之間的相互影響。

2. 預測通道重要程度：通過這個全連接層，老師預測了每個科目（通道）的重要程度。像是老師根據(jù)所有學生的投票結果和其他因素，為每個科目（通道）打了一個分數(shù)。

3. Sigmoid激活函數(shù)：老師使用了一個叫做“Sigmoid”的激活函數(shù)來轉換這些分數(shù)。這個函數(shù)的作用是將分數(shù)轉換成一個介于0和1之間的值，這樣老師就能更容易地理解每個科目的相對重要性。

4. 激勵操作：最后，老師根據(jù)這些重要性分數(shù)來調整每個科目（通道）的教學方式。對于得分較高的科目，老師可能會給予更多的關注；而對于得分較低的科目，老師可能會減少一些教學資源。這就像是“激勵”操作，根據(jù)預測的重要性來調整不同通道的特征圖。

?什么是空間注意力機制？

空間注意力機制的代表模型是：空間變換神經(jīng)網(wǎng)絡（Spatial Transformer Networks，STN），STN 能夠對各種形變數(shù)據(jù)在空間中進行轉換并自動捕獲重要區(qū)域特征。它能夠保證圖像在經(jīng)過裁剪、平移或者旋轉等操作后，依然可以獲得和操作前的原始圖像相同的結果。

大白話怎么理解？

假設我正在拍攝一個打籃球的帥哥照片emm，但攝像機的角度或位置并不總是理想的，可能會被其他物體遮擋，或者畫面過于傾斜。STN就像是一個智能的攝像師助手，它能夠實時觀察畫面的內容，并自動檢測重要區(qū)域（如球員）的特征。當檢測到畫面存在問題時，比如球員被遮擋或畫面傾斜，STN會指導攝像機進行相應的空間變換。它可能會告訴攝像機稍微移動一下位置，以便更好地捕捉球員的動作；或者調整攝像機的角度，讓畫面變得更加穩(wěn)定和平正。經(jīng)過STN處理后的畫面，即使經(jīng)歷了裁剪、平移或旋轉等操作，依然能夠保持對重要區(qū)域的準確捕捉，確保我能夠清晰地看到比賽的關鍵瞬間（帥哥投三分球瞬間www）。

什么是混合注意力機制？

混合注意力機制是通道注意力和空間注意力通過串聯(lián)、或者并聯(lián)的方式進行組合?；旌献⒁饬C制的代表模型是：卷積注意力模塊（Convolutional Block Attention Module，CBAM），它包括通道注意力模塊CAM、和空間注意力模塊SAM。CBAM的模型結構如下，它對輸入的特征圖，首先進行通道注意力模塊處理；得到的結果，再經(jīng)過空間注意力模塊處理，最后得到調整后特征。

通道注意力模塊CAM

CAM的輸入是特征圖，維度設為HxWxC；其中H是指特征圖的高度，W是指寬度，C是指通道數(shù)。它的思路流程是：首先對輸入的特征圖，進行全局池化和平均池化；（在空間維度進行池化，壓縮空間尺寸；便于后面學習通道的特征）然后將得到全局和評價池化的結果，送入到多層感知機中MLP學習；（基于MLP學習通道維度的特征，和各個通道的重要性）最后將MLP輸出結果，進行“加”操作，接著經(jīng)過Sigmoid函數(shù)的映射處理，得到最終的“通道注意力值”。

大白話怎么理解這個過程？

我們將特征圖想象成學校里的學生，每個學生都有自己的學科成績（通道），而輔導員老師則需要評估每個學科（通道）的重要性。（大家應該都弄過課設吧類似于一個教學評估系統(tǒng)www）

第一步：全局和平均池化
全局池化：老師想要了解每個學生在所有學科上的整體表現(xiàn)。因此，她收集每個學生的所有學科成績，并計算每個學生的平均分。這樣，老師就能得到一個關于每個學生整體學業(yè)水平。

平均池化：除了全局池化，老師可能還想要了解每個學科內所有學生的平均表現(xiàn)。這樣，她就能知道哪些學科普遍表現(xiàn)較好，哪些學科需要更多的關注。

第二步：多層感知機（MLP）
老師拿到這些成績數(shù)據(jù)后，不會直接做出判斷。她會將這些數(shù)據(jù)輸入到一個復雜的分析系統(tǒng)（多層感知機MLP）中。這個系統(tǒng)會考慮學生之間的個體差異、學科之間的相互影響(比如高數(shù)沒學好概率論也會被影響hhh)以及學校的整體教育策略，來預測每個學科的重要性。

第三步：“加”操作和Sigmoid函數(shù)
“加”操作：MLP的輸出可能包含多個與學科相關的特征或評分。這些特征或評分首先會經(jīng)過一個“加”操作，這就像是老師綜合考慮各種因素，對每個學科進行初步評估。

Sigmoid函數(shù)：接下來，這些初步評估的分數(shù)會通過Sigmoid函數(shù)進行轉換。Sigmoid函數(shù)的作用是將任何實數(shù)映射到0和1之間，這樣老師就能得到一個直觀的、標準化的學科重要性評分。這些評分表示每個學科在學校教育中的相對重要程度。

第四步：通道注意力值
最后，這些學科注意力值會被用來指導教學資源的分配和教學方法的調整。對于得分較高的學科，老師可能會給予更多的關注和優(yōu)質的教學資源；而對于得分較低的學科，老師可能會采取一些針對性的教學策略來提高學生的表現(xiàn)。

空間注意力模塊SAM

SAM的輸入是CAM輸出的特征圖。它的思路流程是：首先對輸入的特征圖，進行全局池化和平均池化；（在通道維度進行池化，壓縮通道大??；便于后面學習空間的特征）然后將全局池化和平均池化的結果，按照通道拼接；得到特征圖維度是HxWx2，最后對拼接的結果，進行卷積操作，得到特征圖維度是HxWx1；接著通過激活函數(shù)處理。

大白話怎么理解？

比如我比較愛看帥哥emm我想要拍攝籃球場上的帥哥們打籃球的精彩瞬間，捕捉到他們在空間中的動態(tài)和重要性，這就好比是SAM（空間注意力模塊）在特征圖上的工作。

第一步：挑選關鍵照片和平均表現(xiàn)

1. 挑選關鍵照片：首先，我會從整場籃球比賽的照片中挑選出一些關鍵瞬間，比如球員的精彩三分球、防守、團隊配合等。這就像是對CAM輸出的特征圖進行全局池化，從眾多特征中挑選出最重要的幾個。

2. 平均表現(xiàn)：除了關鍵瞬間，還會考慮整場比賽中球員的平均表現(xiàn)，比如某個球員在整場比賽中都表現(xiàn)出色。這就像是對特征圖進行平均池化，了解每個特征在空間上的普遍強弱。

第二步：整合照片和信息

接下來，會把挑選出的關鍵照片和平均表現(xiàn)整合在一起?？梢园堰@些照片按照一定的順序或者重要性進行排列，形成一個初步的合成圖。這就像是將全局池化和平均池化的結果按照通道拼接在一起，形成一個新的特征圖。

第三步：強調關鍵元素

在有了初步的合成圖之后，需要突出顯示那些最重要的元素?？梢哉{整圖片的大小、位置、透明度等，以便讓關鍵瞬間更加突出（比如說我給投三分球的帥哥來個特寫鏡頭QAQ）這就像是對拼接后的特征圖進行卷積操作，學習不同特征在空間上的相關性，并強調出關鍵的位置。

第四步：最終處理和展示

我通過相機的設置和后期處理，將這些關鍵元素突出顯示出來。調整焦距等參數(shù),這就像是通過激活函數(shù)處理得到的空間注意力值，用于強調關鍵位置并調整模型的輸出。

混合注意力機制綜合應用

這里舉一下我在我們學校拍到的小貓為例hhh

在這張圖里我想要識別這個貓貓，但是這個背景花花綠綠的。我該怎么辦捏（）

我可以用空間注意力機制幫助我定位貓可能出現(xiàn)的區(qū)域（類似于我給貓一個特寫鏡頭），而通道注意力機制則幫助我選擇性地關注與貓最相關的顏色或特征通道。（類似于我給貓加個濾鏡讓貓顏色更加突出）。具體流程過程如下圖

參考博客：

空間注意力模塊與通道注意力模塊實現(xiàn)：

【Transformer系列（2）】注意力機制、自注意力機制、多頭注意力機制、通道注意力機制、空間注意力機制超詳細講解：文章來源地址http://www.zghlxwxcb.cn/news/detail-854488.html

到了這里，關于大白話分析注意力機制和空間和通道注意力機制的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！