基于頻率分解Transformer的時間序列長時預(yù)測模型

付恩，張益農(nóng)*，楊帆，王疏影

(1.北京聯(lián)合大學(xué) 北京市信息服務(wù)工程重點實驗室，北京 100101；2.清華大學(xué)自動化系，北京 100084；3.北京聯(lián)合大學(xué) 城市軌道交通與物流學(xué)院，北京 100101）

0 引言

時間序列預(yù)測在多種領(lǐng)域內(nèi)均有重要意義，如工業(yè)監(jiān)控[1]、能源分析[2]等，隨著近些年深度學(xué)習(xí)方法的成功，時間序列預(yù)測的研究也進(jìn)入了新的階段。

目前對于時間序列預(yù)測算法的研究可以大致分為基于時域的方法與基于頻域的方法。

基于時域的方法研究成果最為豐富。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）[3]由于其結(jié)構(gòu)上的時序性，天然適合處理時序數(shù)據(jù)。例如，有研究者將LSTM[8]與傳統(tǒng)遺傳算法相結(jié)合來預(yù)測時間序列[9]。為了解決RNN結(jié)構(gòu)所帶來的梯度問題以及長距離依賴問題，注意力機制經(jīng)常與RNN結(jié)構(gòu)共同使用。基于雙階段注意力機制的RNN模型(DA-RNN)[10]是經(jīng)典的時序預(yù)測模型，它使用兩層RNN與注意力相結(jié)合的結(jié)構(gòu)進(jìn)行短期時間序列預(yù)測。自注意力機制在多種任務(wù)中均具有優(yōu)越性，有研究利用LSTM改進(jìn)標(biāo)準(zhǔn)自注意力機制，用于提升多變量序列的短期預(yù)測性能[11]。最新的方法中基于Transformer[4]的深度學(xué)習(xí)架構(gòu)在長期預(yù)測問題中取得了很好的效果,如：Informer[6]基于KL散度優(yōu)化了自注意力機制的復(fù)雜度，提出了稀疏自注意力機制，并在長期預(yù)測問題上獲得了更好的性能。Autoforme[5]基于隨機過程自相關(guān)理論提出了自相關(guān)機制用以取代自注意力機制，在多組數(shù)據(jù)集上取得了目前最佳的長期預(yù)測效果。

基于頻域的預(yù)測方法主要利用離散傅里葉變換（DFT）將時間序列轉(zhuǎn)換至頻域進(jìn)行分析，在信號處理中是十分有效的方法。如StemGNN[7]結(jié)合圖神經(jīng)網(wǎng)絡(luò)對多序列進(jìn)行建模，通過卷積對序列的頻域特征進(jìn)行提取，并結(jié)合序列分解結(jié)構(gòu)逐層學(xué)習(xí)序列的變化模式，取得了更好的中長期預(yù)測效果。

總的來說，目前基于時域的方法相較于基于頻域的方法研究成果更多，但最新的一些研究也表明了頻域方法的潛力，基于頻域的預(yù)測方法同樣具有很強的研究價值。

但上述的兩類方法均存在不同的問題：

1）基于時域的方法容易受到噪聲的影響而難以對序列的宏觀特征進(jìn)行建模，如序列的周期，而宏觀特征對于長期預(yù)測的準(zhǔn)確性至關(guān)重要。

2）目前基于頻域的方法沒有考慮不同頻率分量的重要性，不同頻率分量對預(yù)測結(jié)果的影響不同，長期預(yù)測受到低頻分量的影響更大，目前缺乏用于長期預(yù)測的、具有針對性的頻域模型。

為了解決上述的問題，本文從頻域的角度提出了一種基于Transformer[4]的頻率建模方法，針對不同的頻率分量分別進(jìn)行處理，本文的主要貢獻(xiàn)如下：

1）提出一種頻率分解多頭自注意力模塊，用來對不同頻段的頻率分量針對性地進(jìn)行建模，是自注意力機制在頻域處理中的新方法。

2）本文將Tranformer[4]結(jié)構(gòu)作為特征提取框架，基于頻率分解多頭自注意力模塊，設(shè)計了頻率分解Transformer（FD-Transformer）模型。通過實驗與目前最新的研究成果進(jìn)行了對比，本文的方法在3個真實數(shù)據(jù)集的多個指標(biāo)上取得了最佳性能。

1 模型架構(gòu)

本節(jié)將介紹所提出的FD-Transformer的輸入、預(yù)處理、頻率分解多頭自注意力模塊以及模型總體架構(gòu)。

1.1 問題定義

給定輸入序列Xt∈Rn×t，由n條長度為t的序列構(gòu)成。定義Yl∈Rk×l為輸出序列，其中1≤k≤n，由k條長度為l的變量構(gòu)成，Yl為Xt的預(yù)測值，數(shù)學(xué)形式如下：

其中F(*)為映射函數(shù)，即模型的學(xué)習(xí)目標(biāo)。

1.2 預(yù)處理

為了獲取輸入序列的頻域特征，首先需要使用離散傅里葉變換（DFT）對輸入序列進(jìn)行預(yù)處理。

編碼器輸入：如圖所示，xt為n條輸入序列的時域表示，時間長度為t，wt為輸入序列的頻域表示，由組頻率分量構(gòu)成。由于傅里葉變換結(jié)果的對稱性，在此處只取單邊頻譜作為編碼器的輸入。wt中的虛部與實部會被堆疊在最后一維作為整體傳入模型。具體的維度變化如圖1。

圖1 預(yù)處理過程

解碼器輸入：由于時間序列的時間動態(tài)性，越靠近預(yù)測點的時間段越具有參考性，此處將輸入序列的后一半提取，進(jìn)行相似操作表示xt的后一半時域序列，為的頻域表示，由t/2組頻率分量構(gòu)成，與編碼器相同，取單邊頻譜作為解碼器輸入。

設(shè)有t長度的n條序列同時作為輸入，即xt為(n,t)的實矩陣，經(jīng)過離散傅里葉變換之后得到的wt為(n,t)的復(fù)矩陣，為了使得該矩陣便于運算，將其實部與虛部分別提取并堆疊，再取其單邊頻譜，最終的wt/2的維度為(n,t/2,2)，其中最后一維的2代表復(fù)矩陣的實部與虛部，同理可得

經(jīng)過上述預(yù)處理，得到了wt/2和分別作為編碼器與解碼器的輸入。

1.3 頻率分解多頭自注意力模塊

時間序列的不同頻率分量中的低頻部分構(gòu)成了序列的趨勢信息，而中高頻部分包含了噪聲以及細(xì)節(jié)信息。針對這一特點，設(shè)計了頻率分解多頭自注意力模塊。受到標(biāo)準(zhǔn)多頭自注意力機制的啟發(fā)，頻率分解多頭自注意力機制通過多個頭分別處理不同頻率段的特征，與多頭自注意力機制不同的是，頻率分解多頭自注意力機制的目的是尋找不同頻率分量之間的依賴關(guān)系。模塊的整體結(jié)構(gòu)如圖2所示。

圖2 頻率分解多頭自注意力

其中，w為輸入的頻域特征，形狀為（d,w,2），其中d為特征維度，w為頻率維度，2為頻率的虛部與實部，將w由低頻到高頻分為多個區(qū)間，每個區(qū)間長度逐級遞增。可以保證低計算量的前提下使低頻部分特征干擾項更少。每個頻率區(qū)間分別輸入到獨立的自注意力層形成多頭結(jié)構(gòu)。其中Conv是貫穿全模塊的線性映射層，由堆疊的二維卷積構(gòu)成，為了降低模型計算量，第一個卷積層采用深度可分離卷積，卷積核寬度隨著頻率區(qū)間的增大而增大，其中表示頻率區(qū)間下標(biāo)，第二個卷積層為標(biāo)準(zhǔn)卷積，使用Leaky RELU作為激活函數(shù)。各個頻率區(qū)間的處理結(jié)果通過連接（Concat）操作拼接在一起，拼接后的形狀保持為（d,w,2）。最后使用Conv模塊對輸出做整體映射。

1.4 模型整體架構(gòu)

基于上述的預(yù)處理方法和頻率分解多頭自注意力機制，本小節(jié)將介紹模型的整體結(jié)構(gòu)，如圖3所示。

圖3 模型整體結(jié)構(gòu)

Conv層作為基本映射單元貫穿整個模型。由于頻率特征不同頻率分量的振幅差異大，導(dǎo)致頻率特征內(nèi)部方差較大，不利于模型收斂，因此使用LayerNorm對頻率特征歸一化消除過大方差對模型訓(xùn)練的影響。最終，解碼器的輸出特征經(jīng)過Conv層后做反傅里葉變換，得到最終的預(yù)測結(jié)果。

圖3中，Conv層結(jié)構(gòu)與圖4中的結(jié)構(gòu)相同，用于處理頻率特征，并保持頻率特征長度不變。編碼器與解碼器在輸入前分別存在Conv與Conv &Linear輸入層，Conv層將輸入的變量維度擴展至指定的高維空間。例如，模型維度為m，輸入wt/2經(jīng)過Conv層后轉(zhuǎn)變?yōu)榻獯a器輸入前的線性層將輸入的頻率特征長度擴展至所需的預(yù)測長度，實現(xiàn)一次前向傳播得到整個預(yù)測序列。例如，預(yù)測長度為l，則解碼器輸入經(jīng)過Conv+Linear層后轉(zhuǎn)變?yōu)?/p>

2 實驗

本節(jié)通過實驗驗證所提出的FD-Transformer的有效性。

2.1 數(shù)據(jù)集與模型衡量指標(biāo)

1）Electricity數(shù)據(jù)集，該數(shù)據(jù)集包含2012年至2014年321個客戶的每小時用電量。

2）Weather數(shù)據(jù)集，該數(shù)據(jù)集包含21個氣象指標(biāo)，每十分鐘記錄一次。

3）Traffic數(shù)據(jù)集來自美國加利福尼亞交通部，利用位于舊金灣區(qū)高速公路上的傳感器記錄了每小時的道路占用率。

我們使用均方誤差（MSE）、平均絕對誤差（MAE）以及皮爾遜相關(guān)系數(shù)（CORR）來衡量模型的性能，其表達(dá)式如下：

其中，Y為真實值序列，為預(yù)測序列，cov為協(xié)方差，σ為標(biāo)準(zhǔn)差。目前的長時序列預(yù)測研究中通常只關(guān)注MSE與MAE，但這是不夠全面的。MSE與MAE容易受到序列高頻部分的影響，因此我們通過皮爾遜相關(guān)系數(shù)（CORR）重點衡量低頻趨勢的預(yù)測能力,再綜合MSE與MAE，可以更加客觀的反映出模型性能的優(yōu)劣。MSE與MAE越小代表模型性能越好，CORR越接近1代表模型性能越好。

2.2 實驗結(jié)果與分析

2.2.1 基線模型

我們選擇3個基于時域的模型與1個基于頻域的模型作為基線模型。

Autoformer：目前的最佳長序列預(yù)測模型，Autoformer基于Transformer結(jié)構(gòu)額外引入了改進(jìn)的序列級自相關(guān)機制，其在多個數(shù)據(jù)集上均取得了最佳的長期預(yù)測效果。

Informer：基于KL散度設(shè)計了稀疏自注意力機制，大幅度減少了標(biāo)準(zhǔn)自注意力機制的計算量，在時間復(fù)雜度上達(dá)到了(nlogn)，并且可以一次性生成多步序列預(yù)測結(jié)果。

StemGNN：基于圖神經(jīng)網(wǎng)絡(luò)（GNN）對多變量序列進(jìn)行建模，并在頻域中捕捉序列特征。

實驗中Autoformer、Informer與StemGNN均使用作者默認(rèn)配置。

LSTM：LSTM為編解碼器結(jié)構(gòu)，編碼器、解碼器各2層，模型隱層維度為256，每層使用20%的dropout避免過擬合。

2.2.2 實驗結(jié)果

本文跟隨Autoformer的實驗設(shè)置，給定輸入序列長度為96，預(yù)測長度分為96、192、336和720。本文模型的編碼器與解碼器層數(shù)為2，頻率從低頻到高頻依次劃分為4組，分別為[0,6%]、[6%,20%]、[20%,50%]、[50%,100%]，模型訓(xùn)練迭代次數(shù)為10次，batch大小為32，模型隱層維度為512，初始學(xué)習(xí)率為5×10-4，每2次迭代將學(xué)習(xí)率減小1/2。

模型的預(yù)測性能對比如表1所示。我們的模型在3個數(shù)據(jù)集的相關(guān)系數(shù)（CORR）指標(biāo)上均取得了最優(yōu)結(jié)果，即本文的模型擁有更穩(wěn)定的長期預(yù)測性能。通過注意力機制本身的稀疏性，模型可以從高頻分量中提取到更加本質(zhì)的高頻特征，所以對于MSE與MAE，模型也取得了大部分的最優(yōu)性能。在結(jié)果中只有LSTM是迭代生成預(yù)測的模型，隨著預(yù)測長度的增加，誤差累積導(dǎo)致的預(yù)測性能下降最為明顯。Autoformer在更加反映低頻趨勢的CORR指標(biāo)上表現(xiàn)一般。

表1 多變量序列預(yù)測結(jié)果對比

所有模型的輸入長度為96，每個數(shù)據(jù)集的預(yù)測長度分為96、192、336和720共4組。

2.3 超參數(shù)敏感性分析

本節(jié)對頻率分解注意力機制中最重要的超參數(shù)頻率劃分區(qū)間與對模型的影響進(jìn)行實驗驗證。

頻率劃分區(qū)間選取不同的劃分策略如表2所示。

表2 用于實驗的頻率劃分策略

表2中的區(qū)間*代表不同的區(qū)間號，每個區(qū)間對應(yīng)本文注意力層中的一個“頭”。區(qū)間含義[0,2%]代表頻率段的前2%的劃分為一組，[50%,100%]代表頻率段的后50%劃分為一組。策略1到策略4的低頻部分逐漸增大。實驗輸入序列長度96，預(yù)測長度336，其余超參數(shù)設(shè)置與4.2.2節(jié)相同。4組劃分策略實驗結(jié)果如表3示所示。

由于序列低頻分量對中長期預(yù)測的重要性，更細(xì)粒度的低頻劃分區(qū)間有助于幫助模型獲取更詳細(xì)的低頻特征。但過細(xì)的粒度會強迫模型使用更多的低頻特征，限制模型的靈活性，因此，并非粒度越細(xì)越好，從表3中可以看到，策略2的劃分方式最佳。此外，模型穩(wěn)定性較好，以最優(yōu)指標(biāo)為基準(zhǔn)，MSE、MAE和CORR指標(biāo)波動幅度分別為：在Electricity數(shù)據(jù)集上為2.6%，2.5%，3.1%，Weather數(shù)據(jù)集上度為12.5%，4.2%，16.8%，Traffic數(shù)據(jù)集上為6.3%，8.5%，2%。

表3 不同頻率劃分策略的效果差異

3 結(jié)語

本文提出了一種頻率分解自注意力機制，通過自注意力機制提取用于中長期預(yù)測的頻率特征。由于頻域本身描述了序列宏觀的特征模式，相比于時域，頻域分析對于中長期序列預(yù)測更有優(yōu)勢，通過針對高頻低頻別分建?？梢杂行^(qū)分序列中的趨勢與噪聲?；陬l率分解自注意力機制本文提出了一種改進(jìn)的Transformer架構(gòu)用于處理頻域特征，主要通過特殊設(shè)置的二維卷積模塊替代線性變換層保證頻率特征維度正確同時擁有更少的參數(shù)量。通過編碼器、解碼器結(jié)構(gòu)協(xié)助模型進(jìn)一步學(xué)習(xí)序列的變化模式。在Traffic、Weather和Electricity共3組公開數(shù)據(jù)集上與目前最新的研究成果Autoformer在內(nèi)的共4個基線模型進(jìn)行了對比，本文提出的方法在多組指標(biāo)上提升明顯，驗證了本文模型在中長期序列預(yù)測問題中的有效性。