摘要
漲點(diǎn)效果:在我自己的數(shù)據(jù)集上,mAP50 由0.986漲到了0.991,mAP50-95由0.737漲到0.753,漲點(diǎn)明顯!
本文提出了一種新型的注意力機(jī)制——Agent Attention,旨在平衡計(jì)算效率和表示能力。該機(jī)制在傳統(tǒng)的注意力模塊中引入了額外的agent tokens A,這些agent tokens首先為query tokens Q聚合信息,然后將其廣播回Q。由于agent tokens的數(shù)量可以設(shè)計(jì)得遠(yuǎn)小于query tokens,因此Agent Attention在保持全局上下文建模能力的同時(shí),顯著提高了計(jì)算效率。有趣的是,所提出的agent attention等價(jià)于一種廣義線性注意力,Agent Attention在各種視覺Transformer和各種視覺任務(wù)中都表現(xiàn)出了有效性,包括圖像分類、目標(biāo)檢測(cè)、語義分割和圖像生成。特別是在高分辨率場(chǎng)景中,由于其線性注意力的特性,Agent Attention表現(xiàn)出卓越的性能。當(dāng)應(yīng)用于Stable Diffusion時(shí),我們的agent attention加速了生成過程,并顯著提高了圖像生成質(zhì)量,而無需任何額外訓(xùn)練。
我嘗試將Agent Attention加入到Y(jié)oloV8中,實(shí)現(xiàn)了高效的漲點(diǎn)。文章來源:http://www.zghlxwxcb.cn/news/detail-800394.html
論文《Agent Attention:Softmax與線性注意力的融合研究》
https://arxiv.org/pdf/2312.08874.pdf
在Transformer中,注意力模塊是其關(guān)鍵組件。雖然全局注意力機(jī)制提供了高度的表達(dá)能力,但其過高的計(jì)算成本限制了其在各種場(chǎng)景下的應(yīng)用。本文提出了一種新穎的注意力范式?文章來源地址http://www.zghlxwxcb.cn/news/detail-800394.html
到了這里,關(guān)于YoloV8改進(jìn)策略:Agent Attention|Softmax與線性注意力的融合研究|有效漲點(diǎn)|代碼注釋與改進(jìn)|全網(wǎng)首發(fā)(唯一)的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!