【論文閱讀】RevIN - Reversible Instance Normalization for Accurate Time-Series Forecasting Against Distribution Shift
0. 論文基本信息
發(fā)表信息：ICLR 2022
論文地址：https://openreview.net/forum?id=cGDAkQo1C0p
1. 簡介
時間序列預(yù)測中的主要挑戰(zhàn)之一是數(shù)據(jù)分布漂移問題（distribution shift problem），即數(shù)據(jù)分布，比如數(shù)據(jù)的均值方差等，會隨著時間而變化，這會給時序預(yù)測問題造成一定的難度（這類數(shù)據(jù)也成為非平穩(wěn)數(shù)據(jù)non-stationary）。而在時序預(yù)測任務(wù)中，訓(xùn)練集和測試集往往是時間來劃分的，這天然會引入訓(xùn)練集和測試集分布不一致的問題，此外，不同輸入序列也會有數(shù)據(jù)分布不一致的問題。這兩個不一致的問題都可能會導(dǎo)致模型效果的下降。
為了解決上述問題，可以想辦法去除數(shù)據(jù)中的非平穩(wěn)信息，但是如果只是簡單的消除非平穩(wěn)信息，會導(dǎo)致非平穩(wěn)信息丟失，這可能會影響到模型無法學(xué)習(xí)到這部分信息，進(jìn)而影響到模型效果。因此，論文提出了在模型輸出后顯式恢復(fù)非平穩(wěn)信息的思路，這樣既使模型在學(xué)習(xí)時忽略了數(shù)據(jù)漂移的問題，又避免了非平穩(wěn)信息的丟失。
本篇論文提出的是一種數(shù)據(jù)規(guī)范化的方法，命名為“可逆實例規(guī)范化” （reversible instance normalization，RevIN）。具體來說，RevIN包含兩部分，規(guī)范化和逆規(guī)范化，首先在數(shù)據(jù)輸入模型前，將數(shù)據(jù)進(jìn)行規(guī)范化，然后經(jīng)過模型學(xué)習(xí)后得到模型輸出，最后對模型輸出進(jìn)行反規(guī)范化。RevIN是一種靈活的，端到端的可訓(xùn)練層，能夠被應(yīng)用到任意模型層。
論文將RevIN運用到多種SOTA的時序預(yù)測模型上，均取得了較好的效果，下圖是一個效果的直觀對比。
2. 論文方法介紹
定義
將時序預(yù)測任務(wù)的輸入表示為：
X
=
{
x
(
i
)
}
i
=
1
N
X = \{x^{(i)}\}_{i=1}^N
X={x(i)}i=1N?，對應(yīng)的輸出表示為：
Y
=
{
y
(
i
)
}
i
=
1
N
Y = \{y^{(i)}\}_{i=1}^N
Y={y(i)}i=1N?，其中N表示序列數(shù)量。
定義變量：
K
K
K: 變量數(shù)
T
x
T_x
Tx?: 輸入序列長度
T
y
T_y
Ty?: 輸出序列長度
給定輸入： x ( i ) ∈ R K × T x x^{(i)} \in R^{K \times T_x} x(i)∈RK×Tx?, 目標(biāo)是預(yù)測輸出： y ( i ) ∈ R K × T y y^{(i)} \in R^{K \times T_y} y(i)∈RK×Ty?。
RevIN包含對稱的兩部分，normalization和denormalization。首先對原始數(shù)據(jù)進(jìn)行規(guī)范化，對每個輸入
x
(
i
)
x^{(i)}
x(i)，進(jìn)行實例規(guī)范化，即使用自身的均值和方差進(jìn)行規(guī)范化。具體計算過程如下：
這里
γ
,
β
∈
R
K
\gamma, \beta \in R^K
γ,β∈RK是可學(xué)習(xí)的仿射變換參數(shù)。
反規(guī)范化方法如下，和規(guī)范化階段使用相同的參數(shù)值。
整個方法的整體架構(gòu)如下圖所示。
圖3展示了整個workflow過程中數(shù)據(jù)分布的變化。相對于BN用于解決層間參數(shù)分布的偏移問題，論文更傾向于將提出的方法解讀為encoder-decoder，先清洗數(shù)據(jù)，去除非平穩(wěn)信息，最后再恢復(fù)?？梢钥闯鯮evIN是模型無關(guān)的一種方法。
3. 實驗結(jié)果
RevIN方法和其他經(jīng)典的規(guī)范化或歸一化方法對比，可以看到RevIN方法有明顯的優(yōu)勢。注意，這里的min-max和z-score都是實例維度的，不是整體數(shù)據(jù)集的。
圖5展示了RevIN對中間層的分布偏移也能一定程度的緩解。
文章來源：http://www.zghlxwxcb.cn/news/detail-620379.html
4. 總結(jié)
這篇論文提出的方法相對比較簡單，運用起來成本也較低，有很好的啟發(fā)性。文章來源地址http://www.zghlxwxcb.cn/news/detail-620379.html
到了這里，關(guān)于【論文閱讀】RevIN - Reversible Instance Normalization for Accurate Time-Series Forecasting Against Distrib的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
![[論文閱讀]A ConvNet for the 2020s](https://imgs.yssmx.com/Uploads/2024/02/731208-1.png)
