基于GAN 網(wǎng)絡(luò)的時(shí)間序列預(yù)測(cè)算法

閆保中，蘇鄧軍

哈爾濱工程大學(xué) 智能科學(xué)與工程學(xué)院，黑龍江 哈爾濱 150001

通過(guò)挖掘多維時(shí)間序列相互之間的結(jié)構(gòu)關(guān)系以及時(shí)間序列中反映出的變量隨時(shí)間不斷變化的趨勢(shì)，利用歷史數(shù)據(jù)對(duì)未來(lái)的數(shù)據(jù)進(jìn)行預(yù)測(cè)，在商業(yè)和工業(yè)領(lǐng)域有著重要的意義[1-4]。如預(yù)測(cè)電力負(fù)荷數(shù)據(jù)，從而對(duì)發(fā)電量等資源的配置進(jìn)行優(yōu)化[5-6]。傳統(tǒng)的時(shí)間序列預(yù)測(cè)模型，如差分自回歸移動(dòng)平均模型(autoregressive integrated moving average model，ARIMA)、指數(shù)平滑等，主要利用較為單一的數(shù)據(jù)特征，如數(shù)據(jù)的周期性、變化趨勢(shì)等進(jìn)行預(yù)測(cè)，對(duì)于單一的自回歸序列，該類算法具有較好的預(yù)測(cè)效果，但由于其無(wú)法捕捉序列自身或序列復(fù)雜的結(jié)構(gòu)關(guān)系，對(duì)于較復(fù)雜的多維時(shí)間序列等，該類算法不能獲得較好的預(yù)測(cè)效果。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，國(guó)內(nèi)外學(xué)者基于深度學(xué)習(xí)技術(shù)對(duì)時(shí)間序列預(yù)測(cè)開(kāi)展了更深入的研究，如基于循環(huán)神經(jīng)網(wǎng)絡(luò)的編碼器模型[7-8]以及注意力模型[9]。Qin 等[7]模仿人類注意力機(jī)制提出了一種雙階段注意力機(jī)制的自編碼網(wǎng)絡(luò)，解決了傳統(tǒng)網(wǎng)絡(luò)對(duì)多維時(shí)間序列無(wú)法捕捉較長(zhǎng)時(shí)間內(nèi)數(shù)據(jù)間的相關(guān)性，并選擇合適的數(shù)據(jù)序列來(lái)進(jìn)行預(yù)測(cè)的問(wèn)題。但現(xiàn)有的預(yù)測(cè)網(wǎng)絡(luò)模型主要存在2 個(gè)缺點(diǎn)：1）大部分網(wǎng)絡(luò)采用自回歸生成模式，由于網(wǎng)絡(luò)特性[9]，隨著預(yù)測(cè)時(shí)間的增長(zhǎng)會(huì)導(dǎo)致預(yù)測(cè)中出現(xiàn)累積誤差，從而影響預(yù)測(cè)精度；2）大部分網(wǎng)絡(luò)其本質(zhì)是探索目標(biāo)序列的單一分布期望，面對(duì)不符合假設(shè)的序列，其預(yù)測(cè)效果往往不理想。

GAN 是一種通過(guò)網(wǎng)絡(luò)的反向傳播直接塑造輸出分布的模型。受此啟發(fā)，本文設(shè)計(jì)了一種將改進(jìn)后的DA-RNN 網(wǎng)絡(luò)和GAN 相結(jié)合的多維時(shí)間序列預(yù)測(cè)算法，利用GAN 網(wǎng)絡(luò)中的判別器對(duì)DA-RNN 網(wǎng)絡(luò)進(jìn)行優(yōu)化，從而在消除累積誤差的同時(shí)加強(qiáng)網(wǎng)絡(luò)對(duì)于隨機(jī)變量的預(yù)測(cè)效果。受到Transformer 網(wǎng)絡(luò)啟發(fā)，本文采用多維注意力機(jī)制模型[10]對(duì)DA-RNN 網(wǎng)絡(luò)進(jìn)行改進(jìn)，同時(shí)考慮到只有少數(shù)的歷史數(shù)據(jù)在預(yù)測(cè)中起到?jīng)Q定性作用，因此本文利用 a-entmax稀疏映射[11-12]函數(shù)進(jìn)行歸一化變換，使得與當(dāng)前預(yù)測(cè)無(wú)關(guān)的歷史數(shù)據(jù)所占權(quán)重為零。

1 DA-RNN 算法改進(jìn)

DA-RNN 算法是一種從仿生角度出發(fā)，模仿人類觀察事物的機(jī)制提出的一種時(shí)間序列預(yù)測(cè)網(wǎng)絡(luò)。網(wǎng)絡(luò)利用編碼器部分的注意力模型，實(shí)現(xiàn)從多維時(shí)間特征序列中挑選出與當(dāng)前時(shí)刻相關(guān)性強(qiáng)的序列特征，并將其用于后續(xù)的預(yù)測(cè)。

1.1 提升網(wǎng)絡(luò)運(yùn)行速度

1.2 注意力模型改進(jìn)

注意力模型是指網(wǎng)絡(luò)根據(jù)循環(huán)神經(jīng)網(wǎng)絡(luò)上一時(shí)刻的隱藏狀態(tài)，計(jì)算不同時(shí)刻的輸入或當(dāng)前時(shí)刻的不同輸入與當(dāng)前預(yù)測(cè)值的相關(guān)程度，從而給與輸入序列不同的權(quán)重，使得網(wǎng)絡(luò)更關(guān)注與當(dāng)前時(shí)刻輸出相關(guān)程度高的歷史數(shù)據(jù)。傳統(tǒng)的注意力機(jī)制包含 Query(Q)、Key(K)及 Value(V)三要素，算法通過(guò)計(jì)算某一特征空間中Q和K的相關(guān)性分?jǐn)?shù)，經(jīng)過(guò)歸一化映射后成為V中各參數(shù)對(duì)應(yīng)的權(quán)重值。但對(duì)于Q和K，相關(guān)研究表明，其各自應(yīng)由多個(gè)相互解耦的特征組成，只在某一特征空間中計(jì)算二者的相關(guān)性分?jǐn)?shù)，可能會(huì)導(dǎo)致結(jié)果不準(zhǔn)確，進(jìn)一步導(dǎo)致網(wǎng)絡(luò)預(yù)測(cè)精度降低。本文引入多維度注意力模型，從多個(gè)子空間中計(jì)算Q和K之間的相關(guān)性分?jǐn)?shù)，有效解決了相關(guān)性結(jié)果不準(zhǔn)確的問(wèn)題。

1.2.1 多維度注意力機(jī)制

圖1 多維注意力模型示意

1.2.2 稀疏映射

從圖2 可以發(fā)現(xiàn)：當(dāng) α=1時(shí) ，x=0部分對(duì)應(yīng)的映射值不為0；當(dāng) α ＞1時(shí) ，x=0部分的映射值為0，且隨著 α值的增大，對(duì)應(yīng)的映射曲線變化幅度越大。對(duì)應(yīng)于注意力機(jī)制，隨著 α值的增大，網(wǎng)絡(luò)對(duì)于相關(guān)性分?jǐn)?shù)高的歷史數(shù)據(jù)會(huì)給與更高的權(quán)重值。

圖2 不同 α 值下 a -entmax映射

1.3 網(wǎng)絡(luò)優(yōu)化目標(biāo)改進(jìn)

DA-RNN 網(wǎng)絡(luò)中以最小化預(yù)測(cè)均方誤差（mean square error，MSE）損失為優(yōu)化目標(biāo)。在滿足預(yù)測(cè)值與真實(shí)值之間的殘差為獨(dú)立變量，且對(duì)于整個(gè)序列其方差不變的情況下，以MSE 有優(yōu)化目標(biāo)的模型能取得較好的效果，但對(duì)于不滿足這一假設(shè)的序列，其效果并不好。結(jié)合分位數(shù)回歸模型及GAN 網(wǎng)絡(luò)中的判別器模型[13]，本文構(gòu)建了新的網(wǎng)絡(luò)損失函數(shù)，改進(jìn)了網(wǎng)絡(luò)的優(yōu)化目標(biāo)，使其在方差會(huì)發(fā)生變化或殘差分布為非正態(tài)分布的序列上也能取得較好的效果。

分位數(shù)回歸損失函數(shù)為

2 GAN 網(wǎng)絡(luò)的構(gòu)建

GAN 網(wǎng)絡(luò)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)2 部分構(gòu)成。生成網(wǎng)絡(luò)目的在于通過(guò)訓(xùn)練生成與真實(shí)數(shù)據(jù)類似分布的數(shù)據(jù)，判別網(wǎng)絡(luò)目的在于區(qū)分出生成的數(shù)據(jù)和真實(shí)數(shù)據(jù)。本文以改進(jìn)后的DARNN 網(wǎng)絡(luò)為基礎(chǔ)構(gòu)建生成網(wǎng)絡(luò)。判別網(wǎng)絡(luò)目的在于通過(guò)訓(xùn)練達(dá)到區(qū)分出生成網(wǎng)絡(luò)生成數(shù)據(jù)和真實(shí)數(shù)據(jù)的目的。考慮到網(wǎng)絡(luò)復(fù)雜度等因素，本文以全連接網(wǎng)絡(luò)為基礎(chǔ)，構(gòu)建判別網(wǎng)絡(luò)，網(wǎng)絡(luò)具體結(jié)構(gòu)見(jiàn)下表。

如表1 所示，網(wǎng)絡(luò)由輸入層，2 個(gè)隱藏層及輸出層組成。其中，輸入層大小為輸入序列長(zhǎng)度，輸出層結(jié)果經(jīng)過(guò) Sigmoid函數(shù)映射為0～1 之間的值，表示當(dāng)前輸入為真實(shí)數(shù)據(jù)的置信度，值越接近1，表示當(dāng)前輸入值為真實(shí)數(shù)據(jù)的可能性越高；反之，輸入數(shù)據(jù)為生成網(wǎng)絡(luò)預(yù)測(cè)值的可能性越高。

表1 判別網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)驗(yàn)證

選用某公開(kāi)納斯達(dá)克指數(shù)數(shù)據(jù)集nasdaq100作為測(cè)試數(shù)據(jù)集，并選擇數(shù)據(jù)集中的“AAL”參數(shù)作為預(yù)測(cè)指標(biāo)，將本文算法與DA-RNN 算法進(jìn)行對(duì)比，對(duì)本文算法的有效性和準(zhǔn)確性進(jìn)行評(píng)估。測(cè)試平臺(tái)配置如表2 所示，數(shù)據(jù)集的特征數(shù)量為83，時(shí)間點(diǎn)數(shù)為40 561 個(gè)。

表2 測(cè)試平臺(tái)配置

3.1 網(wǎng)絡(luò)運(yùn)行時(shí)間測(cè)試

針對(duì)1.1 節(jié)中利用GRU 網(wǎng)絡(luò)單元替換LSTM網(wǎng)絡(luò)單元，從而實(shí)現(xiàn)降低網(wǎng)絡(luò)復(fù)雜度，提升網(wǎng)絡(luò)運(yùn)行速度的優(yōu)化目標(biāo)進(jìn)行測(cè)試，分別選用滑動(dòng)窗口序列長(zhǎng)度T=10和T=50對(duì)網(wǎng)絡(luò)運(yùn)行速度進(jìn)行測(cè)試，迭代輪次 (epochs)值均為50，在不同的測(cè)試輪次中，算法時(shí)間消耗時(shí)間t如圖3 及圖4 所示。

圖3 輸入序列長(zhǎng)度為10 時(shí)網(wǎng)絡(luò)運(yùn)行時(shí)間對(duì)比

圖4 輸入序列長(zhǎng)度為50 時(shí)網(wǎng)絡(luò)運(yùn)行時(shí)間對(duì)比

當(dāng)T=10時(shí)，使用GRU 單元和使用LSTM 單元在運(yùn)行時(shí)間上差距較小，約為1 000 ms；當(dāng)T=50時(shí)，二者之間差距擴(kuò)大到約5 000 ms。由此可見(jiàn)，隨著輸入序列長(zhǎng)度的增加，利用GRU 單元替換LSTM 單元可以有效提升網(wǎng)絡(luò)運(yùn)行速度。

3.2 預(yù)測(cè)精度對(duì)比

本文選擇數(shù)據(jù)集中“AAL”參數(shù)作為目標(biāo)序列，使用sklearn 庫(kù)中的MinMaxScaler 方法對(duì)數(shù)據(jù)集進(jìn)行歸一化預(yù)處理，使用MSE 作為預(yù)測(cè)結(jié)果衡量標(biāo)準(zhǔn)，分別對(duì)本文算法及DA-RNN 算法進(jìn)行測(cè)試，具體模型配置如表3 所示。

表3 實(shí)驗(yàn)?zāi)Ｐ团渲脜?shù)

本文算法與DA-RNN 算法對(duì)于“AAL”序列預(yù)測(cè)結(jié)果分別如圖5 和圖6 所示。

圖5 本文算法預(yù)測(cè)結(jié)果

圖6 DA-RNN 算法預(yù)測(cè)結(jié)果

由圖6 可以發(fā)現(xiàn)，DA-RNN 網(wǎng)絡(luò)在預(yù)測(cè)過(guò)程中存在較為明顯的累積誤差，隨著預(yù)測(cè)時(shí)間的增長(zhǎng)，網(wǎng)絡(luò)的預(yù)測(cè)誤差明顯增大。而對(duì)比圖5，本文提出的基于GAN 網(wǎng)絡(luò)的時(shí)間序列預(yù)測(cè)算法則基本能消除累積誤差對(duì)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果的影響。由此可見(jiàn)，本文算法明顯優(yōu)于DA-RNN 算法，原因在于RNN 網(wǎng)絡(luò)在預(yù)測(cè)某一時(shí)刻值y?t時(shí)，前一時(shí)刻預(yù)測(cè)值y?t-1也會(huì)參與到其中，隨著序列的增長(zhǎng)，累積誤差會(huì)越來(lái)越大，導(dǎo)致預(yù)測(cè)精度越來(lái)越低；本文結(jié)合GAN 網(wǎng)絡(luò)，利用GAN 網(wǎng)絡(luò)的判別器作為正則項(xiàng)來(lái)消除生成網(wǎng)絡(luò)中的累積誤差，并采用分位數(shù)損失作為網(wǎng)絡(luò)優(yōu)化目標(biāo)，力求探索目標(biāo)序列的完整分布，提高預(yù)測(cè)精度。2 種算法預(yù)測(cè)結(jié)果的MSE 損失LMSE如表4 所示。

表4 預(yù)測(cè)結(jié)果誤差統(tǒng)計(jì)

4 結(jié)論

本文提出了一種基于GAN 網(wǎng)絡(luò)的時(shí)間序列預(yù)測(cè)算法，主要包括：

1)結(jié)合DA-RNN 網(wǎng)絡(luò)與GAN 網(wǎng)絡(luò)，利用判別器網(wǎng)絡(luò)消除預(yù)測(cè)過(guò)程中的累積誤差，并增強(qiáng)網(wǎng)絡(luò)對(duì)非正態(tài)分布數(shù)據(jù)的預(yù)測(cè)精度；

2)采用多維注意力機(jī)制對(duì)DA-RNN 網(wǎng)絡(luò)進(jìn)行改進(jìn)，并根據(jù)預(yù)測(cè)過(guò)程中僅有少量歷史數(shù)據(jù)與當(dāng)前時(shí)刻預(yù)測(cè)結(jié)果關(guān)聯(lián)程度較高的特性，采用α-entmax稀疏映射函數(shù)改進(jìn)多維注意力模型；

本文通過(guò)公開(kāi)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)測(cè)試，驗(yàn)證了算法的有效性。在后續(xù)的研究中，考慮將本文算法應(yīng)用于實(shí)時(shí)數(shù)據(jù)預(yù)測(cè)，并將其應(yīng)用到如異常檢測(cè)等方面。