系列文章鏈接
數(shù)據(jù)解讀參考：數(shù)據(jù)基礎(chǔ)：多維時序數(shù)據(jù)集簡介
論文一：2022 Anomaly Transformer：異常分數(shù)預測
論文二：2022 TransAD：異常分數(shù)預測
論文三：2023 TimesNet：基于卷積的多任務(wù)模型
論文鏈接：TransAD.pdf
代碼庫鏈接：https://github.com/imperial-qore/TranAD文章來源：http://www.zghlxwxcb.cn/news/detail-634698.html
這篇文章是基于多變量數(shù)據(jù)的異常檢測，也是基于transformer的一種深度學習方法，作者對前人的工作存在以下兩點思考：文章來源地址http://www.zghlxwxcb.cn/news/detail-634698.html
- 在常用的基于深度學習的異常檢測方案中，都是采用一定的固定窗口進行樣本數(shù)據(jù)提取，如對于一個時間點位，會提取歷史窗口長度為100的數(shù)據(jù)作為當前點位的數(shù)據(jù)，然后采用LSTM編碼進行數(shù)據(jù)向量化表征，但是這種表征方式存在缺陷，就是忽略了數(shù)據(jù)的長期周期性、季節(jié)性等規(guī)律特性。但是如果要加入這些數(shù)據(jù)，時序原始數(shù)據(jù)表征長度就會過長，很難進行建模。
- 真實數(shù)據(jù)和重構(gòu)的數(shù)據(jù)差異比較大時有兩種情況：（1）原始數(shù)據(jù)的噪聲；（2）異常事件引起數(shù)據(jù)異常；而模型需要關(guān)注的應該是這些時候的差異性；
針對上述思考，論文作者提出了兩個創(chuàng)新模塊： - 基于Transformer的時序數(shù)據(jù)建模；
- 基于two-phase inference的數(shù)據(jù)重構(gòu)；
整體架構(gòu)如上圖所示，通過編解碼的結(jié)構(gòu)進行網(wǎng)絡(luò)架構(gòu)搭建，具體的模塊細節(jié)包含下面幾個：
- Phase1對應的粗略重建：如下圖所示，其中
W
W
W表示時序數(shù)據(jù)鄰近窗口點位的時序數(shù)據(jù)，
C
C
C表示能夠獲取周期性、季節(jié)性特性的長時段時間序列，截至點為當前時間點，
0
?
\vec 0
0表示的是趨勢序列輸入的數(shù)據(jù)權(quán)重，在第一個階段中是和完整序列
C
C
C大小相匹配的全0向量。在對窗口數(shù)據(jù)
W
W
W和完整序列
C
C
C采用多頭注意力進行編碼后，將完整序列的編碼結(jié)果和窗口編碼結(jié)果采用注意力機制進行計算，并進行解碼，重構(gòu)出兩個輸出結(jié)果
O
1
O_1
O1?和
O
2
O_2
O2?。關(guān)于如何進行多頭注意力機制的建模就不展開了，可以參考原文。
- Phase2對應的引導重構(gòu)：對于輸出結(jié)果
O
1
O_1
O1?、
O
2
O_2
O2?而言，構(gòu)建重構(gòu)損失
∣
∣
O
1
?
W
∣
∣
2
||O_1-W||_2
∣∣O1??W∣∣2?
∣
∣
O
2
?
W
∣
∣
2
||O_2-W||_2
∣∣O2??W∣∣2?用于反饋給網(wǎng)絡(luò)，
O
1
O_1
O1?反饋用于更新網(wǎng)絡(luò)的focus score。更新好focus score后，對于Decoder1而言，目標是使得重構(gòu)結(jié)果和目標間的差距更小，對于Decoder2而言，目標是使得重構(gòu)結(jié)果和目標間的差距更大，所以對于兩個解碼器的兩個階段而言，設(shè)計了以下?lián)p失構(gòu)建方式：
L
1
=
?
?
n
∣
∣
O
1
?
W
∣
∣
2
+
(
1
?
?
?
n
)
∣
∣
O
^
2
?
W
∣
∣
2
L_1=\epsilon^{-n}||O_1-W||_2+(1-\epsilon^{-n})||\hat O_2-W||_2
L1?=??n∣∣O1??W∣∣2?+(1???n)∣∣O^2??W∣∣2?
L
2
=
?
?
n
∣
∣
O
2
?
W
∣
∣
2
+
(
1
?
?
?
n
)
∣
∣
O
^
2
?
W
∣
∣
2
L_2=\epsilon^{-n}||O_2-W||_2+(1-\epsilon^{-n})||\hat O_2-W||_2
L2?=??n∣∣O2??W∣∣2?+(1???n)∣∣O^2??W∣∣2?
- 異常得分計算： 1 2 ∣ ∣ O 1 ? W ^ ∣ ∣ 2 + 1 2 ∣ ∣ O ^ 2 ? W ^ ∣ ∣ 2 \frac{1}{2}||O_1-\hat W||_2+\frac{1}{2}||\hat O_2-\hat W||_2 21?∣∣O1??W^∣∣2?+21?∣∣O^2??W^∣∣2?超過閾值的則認為是異常；
到了這里，關(guān)于【論文閱讀】基于深度學習的時序異常檢測——TransAD的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
