【論文閱讀】基于深度學(xué)習(xí)的時(shí)序預(yù)測(cè)——Crossformer

2年前作者：`AllureLove分類：Toy博客閱讀(27)違法舉報(bào)

這篇具有很好參考價(jià)值的文章主要介紹了【論文閱讀】基于深度學(xué)習(xí)的時(shí)序預(yù)測(cè)——Crossformer。希望對(duì)大家有所幫助。如果存在錯(cuò)誤或未考慮完全的地方，請(qǐng)大家不吝賜教，您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問(wèn)。

系列文章鏈接
論文一：2020 Informer：長(zhǎng)時(shí)序數(shù)據(jù)預(yù)測(cè)
論文二：2021 Autoformer：長(zhǎng)序列數(shù)據(jù)預(yù)測(cè)
論文三：2022 FEDformer：長(zhǎng)序列數(shù)據(jù)預(yù)測(cè)
論文四：2022 Non-Stationary Transformers：非平穩(wěn)性時(shí)序預(yù)測(cè)
論文五：2022 Pyraformer：基于金字塔圖結(jié)構(gòu)的時(shí)序預(yù)測(cè)
論文六：2023 Crossformer：多變量時(shí)序預(yù)測(cè)
論文七：2023 LTSF-Linear：質(zhì)疑transformer能力的線性預(yù)測(cè)模型

論文鏈接：https://openreview.net/forum?id=vSVLM2j9eie
github鏈接：https://github.com/Thinklab-SJTU/Crossformer
參考解讀：https://blog.csdn.net/qq_33431368/article/details/129483613

上海交通大學(xué)發(fā)表的論文，主要是解決多個(gè)變量之間時(shí)序關(guān)系的建模，解決基于多變量指標(biāo)的時(shí)序數(shù)據(jù)處理，本文的創(chuàng)新點(diǎn)主要提現(xiàn)在以下幾點(diǎn)：

Dimension-Segment-Wise Embedding：對(duì)于多維時(shí)間序列，應(yīng)該對(duì)每個(gè)維度的數(shù)據(jù)進(jìn)行單獨(dú)的數(shù)據(jù)表征，而不是在每個(gè)點(diǎn)位基于所有維度的數(shù)據(jù)進(jìn)行數(shù)據(jù)表征，因此本文針對(duì)每個(gè)維度的指標(biāo)進(jìn)行獨(dú)立向量化表征（線性轉(zhuǎn)換+位置編碼），更好地捕捉單變量的數(shù)據(jù)信息；
Two-Stage注意力模塊：第一步是時(shí)間維度的注意力機(jī)制，采用傳統(tǒng)的時(shí)序transformer思想進(jìn)行單維度內(nèi)的時(shí)序數(shù)據(jù)建模；然后第二步再進(jìn)行空間維度的建模，也就是提取多個(gè)變量之間的關(guān)聯(lián)信息，也就是在變量維度進(jìn)行attention計(jì)算，但是這樣計(jì)算復(fù)雜度會(huì)很高，本文設(shè)計(jì)了中間變量運(yùn)算簡(jiǎn)化了計(jì)算；
多層級(jí)Encoder-Decoder：由于上一步會(huì)進(jìn)行two-stage的注意力運(yùn)算，因此在Decoder中會(huì)分別對(duì)不同階段的結(jié)果進(jìn)行解碼，模型的輸入最開(kāi)始是細(xì)粒度patch，隨著層數(shù)增加逐漸聚合成更粗粒度的patch。這種形式可以讓模型從不同的粒度提取信息，也有點(diǎn)像空洞卷積的架構(gòu)。Decoder會(huì)利用不同層次的編碼進(jìn)行預(yù)測(cè)，各層的預(yù)測(cè)結(jié)果加和到一起，得到最終的預(yù)測(cè)結(jié)果（參考描述）。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-642545.html

到了這里，關(guān)于【論文閱讀】基于深度學(xué)習(xí)的時(shí)序預(yù)測(cè)——Crossformer的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！

本文來(lái)自互聯(lián)網(wǎng)用戶投稿，該文觀點(diǎn)僅代表作者本人，不代表本站立場(chǎng)。本站僅提供信息存儲(chǔ)空間服務(wù)，不擁有所有權(quán)，不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載，請(qǐng)注明出處：如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符，請(qǐng)點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋，一經(jīng)查實(shí)，立即刪除！

分享到：

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

【論文閱讀】基于深度學(xué)習(xí)的時(shí)序異常檢測(cè)——TimesNet
系列文章鏈接參考數(shù)據(jù)集講解：數(shù)據(jù)基礎(chǔ)：多維時(shí)序數(shù)據(jù)集簡(jiǎn)介論文一：2022 Anomaly Transformer：異常分?jǐn)?shù)預(yù)測(cè) 論文二：2022 TransAD：異常分?jǐn)?shù)預(yù)測(cè) 論文三：2023 TimesNet：基于卷積的多任務(wù)模型論文鏈接：TimesNet.pdf 代碼庫(kù)鏈接：https://github.com/thuml/Time-Series-Library 項(xiàng)目介紹：https
2024年02月13日
瀏覽(28)
【論文閱讀】基于深度學(xué)習(xí)的時(shí)序異常檢測(cè)——TransAD
系列文章鏈接數(shù)據(jù)解讀參考：數(shù)據(jù)基礎(chǔ)：多維時(shí)序數(shù)據(jù)集簡(jiǎn)介論文一：2022 Anomaly Transformer：異常分?jǐn)?shù)預(yù)測(cè) 論文二：2022 TransAD：異常分?jǐn)?shù)預(yù)測(cè) 論文三：2023 TimesNet：基于卷積的多任務(wù)模型論文鏈接：TransAD.pdf 代碼庫(kù)鏈接：https://github.com/imperial-qore/TranAD 這篇文章是基于多變量數(shù)
2024年02月14日
瀏覽(36)
【論文閱讀】基于深度學(xué)習(xí)的時(shí)序異常檢測(cè)——Anomaly Transformer
系列文章鏈接數(shù)據(jù)解讀參考：數(shù)據(jù)基礎(chǔ)：多維時(shí)序數(shù)據(jù)集簡(jiǎn)介論文一：2022 Anomaly Transformer：異常分?jǐn)?shù)預(yù)測(cè) 論文二：2022 TransAD：異常分?jǐn)?shù)預(yù)測(cè) 論文三：2023 TimesNet：基于卷積的多任務(wù)模型論文鏈接：Anomaly Transformer.pdf 代碼鏈接：https://github.com/thuml/Anomaly-Transformer 視頻講解（原
2024年02月14日
瀏覽(30)
論文閱讀——基于深度學(xué)習(xí)智能垃圾分類
B. Fu, S. Li, J. Wei, Q. Li, Q. Wang and J. Tu, “A Novel Intelligent Garbage Classification System Based on Deep Learning and an Embedded Linux System,” in IEEE Access, vol. 9, pp. 131134-131146, 2021, doi: 10.1109/ACCESS.2021.3114496. 垃圾數(shù)量的急劇增加和垃圾中物質(zhì)的復(fù)雜多樣性帶來(lái)了嚴(yán)重的環(huán)境污染和資源浪費(fèi)問(wèn)題。回收
2024年02月11日
瀏覽(20)
論文閱讀-基于深度學(xué)習(xí)的多模態(tài)情感分析研究綜述
非核心原文鏈接：基于深度學(xué)習(xí)的多模態(tài)情感分析研究綜述 - 中國(guó)知網(wǎng) (cnki.net) 深度學(xué)習(xí)完成多模態(tài)情感分析綜述。主要介紹多模態(tài)情感分析的概念、背景、意義?？偨Y(jié)了多模態(tài)融合技術(shù)和交互技術(shù) ，討論多模態(tài)情感分析未來(lái)發(fā)展。目前經(jīng)典的多模態(tài)情感分析研究已經(jīng)
2024年02月04日
瀏覽(39)
論文閱讀：基于深度學(xué)習(xí)的大尺度遙感圖像建筑物分割研究
一、該網(wǎng)絡(luò)中采用了上下文信息捕獲模塊。通過(guò)擴(kuò)大感受野，在保留細(xì)節(jié)信息的同時(shí)，在中心部分進(jìn)行多尺度特征的融合，緩解了傳統(tǒng)算法中細(xì)節(jié)信息丟失的問(wèn)題；通過(guò)自適應(yīng)地融合局部語(yǔ)義特征，該網(wǎng)絡(luò)在空間特征和通道特征之間建立長(zhǎng)距離的依賴關(guān)系；二、分割網(wǎng)絡(luò)：邊
2024年02月15日
瀏覽(28)
論文閱讀-2：基于深度學(xué)習(xí)的大尺度遙感圖像建筑物分割研究
一、該網(wǎng)絡(luò)中采用了上下文信息捕獲模塊。通過(guò)擴(kuò)大感受野，在保留細(xì)節(jié)信息的同時(shí)，在中心部分進(jìn)行多尺度特征的融合，緩解了傳統(tǒng)算法中細(xì)節(jié)信息丟失的問(wèn)題；通過(guò)自適應(yīng)地融合局部語(yǔ)義特征，該網(wǎng)絡(luò)在空間特征和通道特征之間建立長(zhǎng)距離的依賴關(guān)系；二、分割網(wǎng)絡(luò)：邊
2024年02月16日
瀏覽(20)
【論文閱讀】一種基于圖深度學(xué)習(xí)的互聯(lián)網(wǎng)通信故障檢測(cè)與定位方法
論文原文：A Graph Deep Learning-Based Fault Detection and Positioning Method for Internet Communication Networks 一種基于圖深度學(xué)習(xí)的互聯(lián)網(wǎng)通信故障檢測(cè)與定位方法 ????????新一代互聯(lián)網(wǎng)在現(xiàn)代社會(huì)中，互聯(lián)網(wǎng)接入的規(guī)模正在逐漸擴(kuò)大。根據(jù)深度學(xué)習(xí)IC發(fā)布的最新報(bào)告，近一半已經(jīng)成為網(wǎng)民
2024年04月08日
瀏覽(21)
【論文閱讀】xNIDS：可解釋的基于深度學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)的主動(dòng)入侵響應(yīng)（USENIX-2023）
??基于深度學(xué)習(xí)的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)（DL-NIDS）得到了顯著的探索，并顯示出卓越的性能，但存在兩個(gè)問(wèn)題：檢測(cè)結(jié)果和可操作的解釋之間存在語(yǔ)義差距，不足以對(duì)檢測(cè)到的入侵作出積極的回應(yīng) 高錯(cuò)誤成本使網(wǎng)絡(luò)運(yùn)營(yíng)商不愿意僅僅根據(jù)檢測(cè)結(jié)果做出反應(yīng)（即高誤報(bào)帶來(lái)的警
2024年02月05日
瀏覽(54)
[論文閱讀]CWD——基于稠密預(yù)測(cè)的通道式知識(shí)蒸餾
基于稠密預(yù)測(cè)的通道式知識(shí)蒸餾論文網(wǎng)址：CWD 這篇論文「Channel-wise Knowledge Distillation for Dense Prediction」提出了一種針對(duì)密集預(yù)測(cè)任務(wù)的基于通道的知識(shí)蒸餾方法。下面我詳細(xì)講解該方法的主要內(nèi)容: 問(wèn)題背景在計(jì)算機(jī)視覺(jué)任務(wù)中,圖像分類只需要預(yù)測(cè)整張圖像的類別,而密集預(yù)
2024年01月16日
瀏覽(56)