国产无码综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

【科研】淺學(xué)Cross-attention？

2年前作者：MengYa_DreamZ分類：Toy博客閱讀(61)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了【科研】淺學(xué)Cross-attention？。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

Cross-Attention in Transformer Architecture?

最近，CrossViT讓我所有思考，這種能過夠跨膜態(tài)的模型構(gòu)建？淺學(xué)一下吧!

1.Cross attention概念

2.Cross-attention vs Self-attention?

3.Cross-attention算法?

4.Cross-Attention 案例-感知器IO

1.Cross attention概念

Transformer架構(gòu)中混合兩種不同嵌入序列的注意機(jī)制
兩個(gè)序列必須具有相同的維度
兩個(gè)序列可以是不同的模式形態(tài)（如：文本、聲音、圖像）
一個(gè)序列作為輸入的Q，定義了輸出的序列長(zhǎng)度，另一個(gè)序列提供輸入的K&V
ps:不知道QKV的先去普及一下Attention的基礎(chǔ)、更專業(yè)的學(xué)習(xí)資源here吧！

2.Cross-attention vs Self-attention?

Cross-attention的輸入來自不同的序列，Self-attention的輸入來自同序列，也就是所謂的輸入不同，但是除此之外，基本一致。

具體而言，

self-attention輸入則是一個(gè)單一的嵌入序列。

Cross-attention將兩個(gè)相同維度的嵌入序列不對(duì)稱地組合在一起，而其中一個(gè)序列用作查詢Q輸入，而另一個(gè)序列用作鍵K和值V輸入。當(dāng)然也存在個(gè)別情況，在SelfDoc的cross-attention，使用一個(gè)序列的查詢和值，另一個(gè)序列的鍵?？偠灾?span style="color:#be191c;">QKV是由兩序列拼湊的，不單一。

3.Cross-attention算法?

擁有兩個(gè)序列S1、S2
計(jì)算S1的K、V
計(jì)算S2的Q
根據(jù)K和Q計(jì)算注意力矩陣
將V應(yīng)用于注意力矩陣
輸出的序列長(zhǎng)度與S2一致

4.Cross-Attention 案例-感知器IO

【科研】淺學(xué)Cross-attention？

?感知器IO是一個(gè)通用的跨域架構(gòu)，可以處理各種輸入和輸出，廣泛使用交叉注意:

將非常長(zhǎng)的輸入序列(如圖像、音頻)合并到低維潛在嵌入序列中
合并“輸出查詢”或“命令”來解碼輸出值，例如我們可以讓模型詢問一個(gè)掩碼詞

這樣做的好處是，通?？梢蕴幚砗荛L(zhǎng)的序列。層次感知器能夠處理更長(zhǎng)的序列，將它們分解成子序列，然后合并它們。層次感知器也學(xué)習(xí)位置編碼與一個(gè)單獨(dú)的訓(xùn)練步驟，重建的損失。文章來源地址http://www.zghlxwxcb.cn/news/detail-443659.html

到了這里，關(guān)于【科研】淺學(xué)Cross-attention？的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

cross attention輸入不同維度的矩陣
在學(xué)習(xí)使用cross attention的時(shí)候我查閱了很多資料，發(fā)現(xiàn)里面說的都是cross attention的輸入需要是相同維度的矩陣，但是我所需要的是可以處理不同維度數(shù)據(jù)的cross attention。 cross attention 看了關(guān)于cross attention的一些介紹和代碼，發(fā)現(xiàn)大多都是這樣這里的x和y所輸入的維度需要一致
2024年02月04日
瀏覽(21)
What the DAAM: Interpreting Stable Diffusion Using Cross Attention
論文鏈接：https://arxiv.org/pdf/2210.04885.pdf Background 在讀本篇文章之前先來了解深度學(xué)習(xí)的可解釋性，可解釋性方法有類激活映射CAM、基于梯度的方法、反卷積等，在diffusion模型出來之后，本篇文章就對(duì)擴(kuò)散模型中的交叉注意力做了探究，主要做的工作是用交叉注意力來解釋擴(kuò)散
2024年02月09日
瀏覽(20)
Cross-Modal Learning with 3D Deformable Attention for Action Recognition
標(biāo)題：基于三維可變形注意力的跨模態(tài)學(xué)習(xí)用于動(dòng)作識(shí)別發(fā)表：ICCV2023 在基于視覺的動(dòng)作識(shí)別中，一個(gè)重要的挑戰(zhàn)是將具有兩個(gè)或多個(gè)異構(gòu)模態(tài)的時(shí)空特征嵌入到單個(gè)特征中。在這項(xiàng)研究中，我們提出了一種新的三維變形變壓器，用于動(dòng)作識(shí)別，具有自適應(yīng)時(shí)空感受野和跨
2024年03月24日
瀏覽(34)
?目標(biāo)檢測(cè)算法——YOLOv5/YOLOv7改進(jìn)之結(jié)合Criss-Cross Attention
論文題目： CCNet: Criss-Cross Attention for Semantic Segmentation 論文地址： https://arxiv.org/pdf/1811.11721.pdf 代碼地址：https://github.com/shanglianlm0525/CvPytorch 本文是ICCV2019的語義分割領(lǐng)域的文章，旨在解決long-range dependencies問題，提出了基于十字交叉注意力機(jī)制（Criss-Cross Attention）的模塊，利
2024年02月02日
瀏覽(32)
第二十一章：CCNet:Criss-Cross Attention for Semantic Segmentation ——用于語義分割的交叉注意力
原文題目：《CCNet:Criss-Cross Attention for Semantic Segmentation?》原文引用：Huang Z, Wang X, Huang L, et al. Ccnet: Criss-cross attention for semantic segmentation[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 603-612. 原文鏈接： https://openaccess.thecvf.com/content_ICCV_2019/papers/Huang_CCNet_Criss
2024年02月16日
瀏覽(27)
層層剖析，讓你徹底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的機(jī)制和原理
本文基于李宏毅老師對(duì) Self-Attention 的講解，進(jìn)行理解和補(bǔ)充，并結(jié)合Pytorch代碼，最終目的是使得自己和各位讀者更好的理解 Self-Attention 李宏毅Self-Attention鏈接: https://www.youtube.com/watch?v=hYdO9CscNes PPT鏈接見視頻下方通過本文的閱讀，你可以獲得以下知識(shí)：什么是Self-Attention，為
2024年02月02日
瀏覽(24)
學(xué)習(xí)Transformer前言（Self Attention Multi head self attention）
一直在做項(xiàng)目，也比較懶沒有擠出時(shí)間去學(xué)習(xí)新的東西，感覺停滯很久了，好長(zhǎng)一段時(shí)間都沒有新的知識(shí)輸入，早就需要就去學(xué)習(xí)transformer了，因此先來學(xué)習(xí)注意力機(jī)制，本文為個(gè)人的一個(gè)筆記總結(jié)。主要是基于李宏毅老師的一個(gè)課程視頻筆記，論文原文，加上B站UP主的霹靂
2024年02月02日
瀏覽(33)
MultiHead-Attention和Masked-Attention的機(jī)制和原理
看本文前，需要先徹底搞懂Self-Attention。推薦看我的另一篇博文層層剖析，讓你徹底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的機(jī)制和原理。本篇文章內(nèi)容在上面這篇也有，可以一起看。在Transformer中使用的是MultiHead Attention，其實(shí)這玩意和Self Attention區(qū)別并不是很大。先
2024年01月23日
瀏覽(51)
【深度學(xué)習(xí)】Transformer，Self-Attention，Multi-Head Attention
必讀文章： https://blog.csdn.net/qq_37541097/article/details/117691873 論文名：Attention Is All You Need Query（Q）表示當(dāng)前時(shí)間步的輸入信息，它與Key（K）進(jìn)行點(diǎn)積操作，用于計(jì)算注意力權(quán)重。 Key（K）表示序列中所有時(shí)間步的信息，與Query（Q）進(jìn)行點(diǎn)積操作，用于計(jì)算注意力權(quán)重。 Value（
2024年02月12日
瀏覽(40)
自注意力(Self-Attention)與Multi-Head Attention機(jī)制詳解
? 自注意力機(jī)制屬于注意力機(jī)制之一。與傳統(tǒng)的注意力機(jī)制作用相同，自注意力機(jī)制可以更多地關(guān)注到輸入中的關(guān)鍵信息。self-attention可以看成是multi-head attention的輸入數(shù)據(jù)相同時(shí)的一種特殊情況。所以理解self attention的本質(zhì)實(shí)際上是了解multi-head attention結(jié)構(gòu)。 ? 對(duì)于一個(gè)mul
2024年02月02日
瀏覽(23)