基于GGInformer模型的多維時間序列特征提取與預(yù)測研究*

任晟岐,宋 偉

(鄭州大學(xué)計(jì)算機(jī)與人工智能學(xué)院,河南 鄭州450001)

1 引言

隨著大數(shù)據(jù)、物聯(lián)網(wǎng)技術(shù)及各行業(yè)的發(fā)展,積累的時間序列數(shù)據(jù)量非常龐大且復(fù)雜。其中,相比單維時間序列數(shù)據(jù),多維時間序列數(shù)據(jù)要更為復(fù)雜。多維時間序列數(shù)據(jù)之間存在著相互依賴的關(guān)系,主要包括數(shù)據(jù)間的時序依賴關(guān)系以及多維特征間相互依賴關(guān)系。2種關(guān)系都會對預(yù)測結(jié)果產(chǎn)生重要的影響。

早期,對于時序預(yù)測任務(wù),研究人員多使用統(tǒng)計(jì)學(xué)的方法進(jìn)行研究。Gurland等人[1]提出的自回歸滑動平均模型,將自回歸過程和滑動平均過程結(jié)合起來,使模型更具有普遍性。Box等人[2]提出的差分整合移動平均自回歸模型,通過差分變換方法將非平穩(wěn)化時間序列平穩(wěn)化,提高了模型性能。Cao等人[3]提出了基于回歸分析的線性支持向量回歸模型,并將其應(yīng)用到了金融時序預(yù)測領(lǐng)域。Boller-slev[4]提出了廣義自回歸條件異方差模型,并將該模型推廣到更大的回歸階數(shù),解決了自相關(guān)系數(shù)消退較慢的問題。Ariyo等人[5]將差分整合移動平均自回歸模型用于預(yù)測股價?；趥鹘y(tǒng)統(tǒng)計(jì)學(xué)的方法對數(shù)據(jù)分布規(guī)則和完整性等方面要求非常嚴(yán)格,僅考慮了線性變化關(guān)系,適用于線性數(shù)據(jù),對于非線性、多尺度的時間序列,無法捕捉非線性關(guān)系。這使得傳統(tǒng)時序預(yù)測的方法無法獲得較高的預(yù)測精度。

隨著人工智能的發(fā)展,深度學(xué)習(xí)技術(shù)在眾多領(lǐng)域都取得了巨大的成就,研究人員也將其應(yīng)用于時間序列預(yù)測。Karim等人[6]將LSTM(Long Short-Term Memory)網(wǎng)絡(luò)與BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)的全連接層結(jié)合起來用于多元時間序列分類。Yu等人[7]將圖神經(jīng)網(wǎng)絡(luò)和時間序列預(yù)測相結(jié)合,用于交通流量預(yù)測。Meesad等人[8]使用支持向量回歸SVR(Support Vector Regression)模型對股票數(shù)據(jù)進(jìn)行建模分析。Nair等人[9]提出了一種基于粗糙集的決策樹系統(tǒng),使用C4.5決策樹和粗糙集進(jìn)行特征提取和規(guī)則總結(jié),基于孟買證券交易所數(shù)據(jù)進(jìn)行實(shí)驗(yàn)研究。White[10]使用人工神經(jīng)網(wǎng)絡(luò)ANN(Artificial Neural Network)對IBM公司的股票進(jìn)行分析。Selvin等人[11]使用CNN(Convolutional Neural Network)、RNN(Recurrent Neural Network)和LSTM對股票市場進(jìn)行預(yù)測。Kussul等人[12]提出了一種用于交通流預(yù)測的深層結(jié)構(gòu)模型,使用堆疊式自動編碼器提取交通流特征,并應(yīng)用邏輯回歸層進(jìn)行預(yù)測。李章曉等人[13]將深度學(xué)習(xí)和進(jìn)化計(jì)算結(jié)合起來對外匯進(jìn)行預(yù)測。2020年楊妥等人[14]提出了融合情感分析的SVM-LSTM模型,提高了對股指期貨的預(yù)測精度。Wu等人[15]結(jié)合CNN和LSTM提出了一個混合深度學(xué)習(xí)框架,用于預(yù)測未來的交通流量。Gensler等人[16]提出了結(jié)合自動編碼器和LSTM網(wǎng)絡(luò)的預(yù)測模型,用于激活各種太陽能預(yù)測。Grover等人[17]提出了一種綜合方法,將經(jīng)過鑒別訓(xùn)練的預(yù)測模型與深度神經(jīng)網(wǎng)絡(luò)相結(jié)合,用于聯(lián)合統(tǒng)計(jì)一組天氣相關(guān)變量。

以上方法針對時間序列預(yù)測已經(jīng)取得了相對較好的結(jié)果,然而在處理特征參數(shù)復(fù)雜、非線性的多維時序數(shù)據(jù)時仍然存在一定的局限性。多維時間序列存在特征數(shù)較多、特征間相關(guān)性較差以及特征冗余問題嚴(yán)重的情況,且不同的特征變量對于最終的預(yù)測結(jié)果會產(chǎn)生不同的影響。對多維時間序列進(jìn)行特征提取,剔除不相關(guān)及冗余的特征,將對提升預(yù)測效果產(chǎn)生積極影響。

本文針對多維時間序列特征提取及預(yù)測任務(wù)提出了GGInformer模型。首先,對遺傳算法進(jìn)行改進(jìn),使用類內(nèi)類間距離作為判斷依據(jù)計(jì)算出每個特征的類內(nèi)類間距離比值,根據(jù)比值初步對數(shù)據(jù)特征進(jìn)行提取,同時去除數(shù)據(jù)集中的不相關(guān)特征;然后,利用遺傳算法[18]的“優(yōu)勝劣汰”原則對多維時間序列數(shù)據(jù)進(jìn)行全局尋優(yōu),進(jìn)一步去除冗余特征;最終,選擇出最優(yōu)的特征組合用于后續(xù)的預(yù)測任務(wù)。針對長序列時序預(yù)測LSTF(Long Sequence Time-series Forecasting)任務(wù)中的長程依賴問題與多維時序數(shù)據(jù)的時序依賴關(guān)系,本文通過融合Informer模型[19]與GRU(Gate Recurrent Unit)網(wǎng)絡(luò),提升了預(yù)測效果。實(shí)驗(yàn)結(jié)果表明,GGInformer模型可以很好地對多維時序數(shù)據(jù)進(jìn)行特征提取與預(yù)測。此外,本文還對模型的長序列時序預(yù)測能力進(jìn)行了研究,通過預(yù)測不同的時間長度來對模型性能進(jìn)行評估。實(shí)驗(yàn)結(jié)果表明,相比于對照模型,本文模型的長序列預(yù)測能力也有所提高。

2 GGInformer模型構(gòu)建

本文結(jié)合改進(jìn)遺傳算法、GRU網(wǎng)絡(luò)和Informer模型構(gòu)建了GGInformer模型,以此對多維時序數(shù)據(jù)進(jìn)行特征提取與預(yù)測。該模型首先使用改進(jìn)遺傳算法對多維時間序列數(shù)據(jù)進(jìn)行特征提取,減少了不相關(guān)特征和冗余特征對后續(xù)預(yù)測過程的消極影響,同時還可以減少輸入到預(yù)測模型中的數(shù)據(jù)量,起到降低計(jì)算量的作用。然后,將提取出的特征輸入到GRU網(wǎng)絡(luò)進(jìn)一步提取數(shù)據(jù)的全局時序依賴信息。之后,將GRU網(wǎng)絡(luò)保存的全局時序信息輸入到Informer 模型,經(jīng)過嵌入層、編碼器和解碼器,最后在全連接層得到預(yù)測值。GGInformer模型架構(gòu)如圖1所示。

Figure 1 Architecture of GGInformer model

2.1 基于改進(jìn)遺傳算法的特征提取

針對多維時序數(shù)據(jù)存在特征復(fù)雜、特征冗余等問題,本文結(jié)合類內(nèi)類間距離判斷依據(jù)與傳統(tǒng)遺傳算法提出了改進(jìn)的遺傳算法。首先,為了剔除數(shù)據(jù)集中的不相關(guān)及相關(guān)性較小的特征,本文采用類內(nèi)類間距離公式計(jì)算出每個特征的類內(nèi)類間距離比值,根據(jù)比值的大小對數(shù)據(jù)特征進(jìn)行初步提取;然后再利用遺傳算法對多維時序數(shù)據(jù)集進(jìn)行全局尋優(yōu),繼續(xù)去除冗余特征;最終選出最優(yōu)的特征組合完成后續(xù)預(yù)測任務(wù)。

基于改進(jìn)遺傳算法的特征選擇算法如算法1所示,相關(guān)流程圖如圖2所示。

算法1 基于改進(jìn)遺傳算法的特征選擇算法輸入:特征選擇前的高維時序數(shù)據(jù) P∈Rl×m。輸出:特征選擇后的低維時序數(shù)據(jù) B∈Rl×n。Step 1 對多維時序數(shù)據(jù)P進(jìn)行數(shù)據(jù)預(yù)處理并隨機(jī)選擇樣本數(shù)據(jù)X;Step 2 利用類內(nèi)類間距離計(jì)算公式計(jì)算樣本數(shù)據(jù)的類間離散度矩陣Sb;Step 3 利用類內(nèi)類間距離計(jì)算公式計(jì)算樣本數(shù)據(jù)的類內(nèi)離散度矩陣Sw;Step 4 計(jì)算類內(nèi)類間距離比值J;

Step 5 根據(jù)比值J對高維時序數(shù)據(jù)P進(jìn)行特征選擇,剔除不相關(guān)或相關(guān)度低的特征,得到數(shù)據(jù)Y;Step 6 使用遺傳算法對數(shù)據(jù)Y進(jìn)行二次特征提取,剔除冗余特征,得到數(shù)據(jù)B。

Figure 2 Flow chart of improved genetic algorithm

遺傳算法基本操作包括:基因編碼、產(chǎn)生初代種群、進(jìn)行染色體選擇、染色體交叉、染色體變異,不斷產(chǎn)生新的子代以尋找最優(yōu)解。具體設(shè)計(jì)流程如下所示:

(1)種群初始化。本文對輸入的多維時序數(shù)據(jù)采用二進(jìn)制編碼進(jìn)行種群初始化,每條數(shù)據(jù)的每一個特征因子位按照等概率在{0,1}中選擇。矩陣表示如下所示:

其中,矩陣中每一行代表一條染色體,ai,xj∈{0,1},其取值為0表示未被選中,取值為1表示被選中,m代表染色體數(shù)量。

(2)適應(yīng)度函數(shù)選取。本文選擇基于類內(nèi)類間距離的可分性判斷依據(jù)作為適應(yīng)度函數(shù)。

假設(shè)從D個特征中選出最優(yōu)的d個特征(d

(1)

(2)

(3)

其中,tr(Sb)和tr(Sw)表示矩陣的跡。

(3)選擇算子選取。確定了適應(yīng)度函數(shù)之后,遺傳算法基于適應(yīng)度值對個體進(jìn)行評價,為了保證能夠選擇出適應(yīng)度最好的個體,有效剔除相關(guān)性較差的和冗余的個體,本文使用輪盤賭選擇方法作為選擇算子選擇出最合適的個體。

(4)交叉算子選取。本文采用多點(diǎn)交叉方式作為交叉算子進(jìn)行交叉操作。在單個個體中隨機(jī)設(shè)置多個交叉點(diǎn),2個個體間根據(jù)交叉點(diǎn)進(jìn)行基因交換,生成新的個體。

(5)變異算子選取。本文采用單點(diǎn)位翻轉(zhuǎn)突變作為變異算子進(jìn)行變異操作。隨機(jī)從種群中選擇一個個體,再隨機(jī)從個體基因中選擇一個基因進(jìn)行翻轉(zhuǎn)變異。

2.2 基于GGInformer模型的時序預(yù)測

為了解決多維時間序列預(yù)測中由于長程依賴導(dǎo)致的時序依賴性較弱的問題,模型需要具有較強(qiáng)的解決長程依賴問題的能力。本文基于Informer模型來構(gòu)建時序預(yù)測模型。此外,為了更好地提取時間序列數(shù)據(jù)間的時序依賴關(guān)系,模型選擇GRU網(wǎng)絡(luò)保存多維時序數(shù)據(jù)早期的時序信息,以增強(qiáng)后續(xù)模型預(yù)測能力。模型設(shè)計(jì)流程如下所示:

(1)GRU網(wǎng)絡(luò)包括2部分:GRU單元和線性單元。為了模型能夠更準(zhǔn)確地預(yù)測,通過實(shí)驗(yàn)驗(yàn)證,本文GRU單元選擇3層,線性單元選擇2層。GRU網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。

Figure 3 Structure of GRU of network

(2)嵌入層包括3部分:標(biāo)量投影嵌入、本地時間戳嵌入和全局時間戳嵌入,可為輸入數(shù)據(jù)添加位置向量以及每個時間點(diǎn)的時間信息。其中,標(biāo)量投影嵌入主要采用一維卷積將輸入數(shù)據(jù)的特征維度向量轉(zhuǎn)換為512維向量;本地時間戳嵌入采用Transformer模型中的位置編碼方法;全局時間戳嵌入采用全連接層將輸入的時間戳向量映射為512維向量。最后,將標(biāo)量投影嵌入、本地時間戳嵌入和全局時間戳嵌入三者結(jié)果相加,得到最終的嵌入層結(jié)果。

(3)編碼器包括2部分:注意力層和蒸餾層。其中,在注意力層Informer 模型使用算法2描述的概率稀疏自注意力算法。

算法2 概率稀疏自注意力算法輸入:Q∈Rm×d,K∈Rn×d,V∈Rn×d。輸出:概率稀疏自注意力特征矩陣 S。Step 1 設(shè)置超參數(shù) c,u=c ln m,U=m ln n;Step 2 從K中隨機(jī)采樣U個點(diǎn)積對作為 K;Step 3 計(jì)算采樣的得分 S=QKT;Step 4 按行計(jì)算稀疏性得分 M=max(S)-mean(S);Step 5 按照稀疏性得分M的排序選擇前u 個Qi 作為Q;Step 6 計(jì)算S1=softmax(QKT/d)·V;Step 7 計(jì)算S0=meanV ;Step 8 合并S1和S0,得到最終結(jié)果S={S1,S0},并調(diào)整為原來的行順序。

根據(jù)算法2的概率稀疏自注意力計(jì)算過程可以看出,結(jié)果S必然會產(chǎn)生冗余(由于存在S0),因此在編碼器中又加入了注意力蒸餾機(jī)制,以此來蒸餾出更具有優(yōu)勢的注意力權(quán)重。從第j層到j(luò)+1層的蒸餾計(jì)算如式(4)所示:

(4)

(4)解碼器。解碼器的注意力層由一個掩碼多頭概率稀疏自注意力層和一個多頭自注意力層組成。其中,多頭概率稀疏自注意力層要進(jìn)行mask掩碼操作,防止自回歸。最后連接一個全連接層進(jìn)行預(yù)測。整個解碼器的解碼過程舍棄了動態(tài)解碼過程,而采用一次前向過程,即可解碼得到整個輸出序列,大大縮短了預(yù)測時間。需要注意的是,解碼器使用的是生成式的推理解碼,其輸入數(shù)據(jù)形式如式(5)所示:

(5)

(5)全連接層。經(jīng)過Informer模型解碼器之后連接一個全連接層進(jìn)行預(yù)測輸出。

3 實(shí)驗(yàn)設(shè)計(jì)

3.1 數(shù)據(jù)集

本文在5個數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),即用于研究LSTF問題的2個真實(shí)數(shù)據(jù)集和3個公共基準(zhǔn)數(shù)據(jù)集。

電力變壓器溫度ETT(Electricity Transformer Temperature)數(shù)據(jù)集:ETT是電力長期部署的一個重要指標(biāo)。為了探究LSTF問題的粒度,本文選擇了不同粒度的數(shù)據(jù)集,包括以1 h間隔劃分的ETTh1和ETTh2、以15 min間隔劃分的ETTm1。每個數(shù)據(jù)點(diǎn)由1個目標(biāo)值“OT”和6個電力負(fù)荷特征組成。訓(xùn)練集、驗(yàn)證集和測試集分別包括12個月、4個月和4個月的數(shù)據(jù)。

耗電負(fù)荷ECL(Electricity Consuming Load)數(shù)據(jù)集:該數(shù)據(jù)集包括321個客戶端的耗電量。本文設(shè)置“MT 320”為目標(biāo)值。訓(xùn)練集、驗(yàn)證集和測試集分別包括15個月、3個月和4個月的數(shù)據(jù)。

天氣WTH(WeaTHer)數(shù)據(jù)集:該數(shù)據(jù)集包含2010年～2013年4年間美國近1 600個地點(diǎn)的當(dāng)?shù)貧夂驍?shù)據(jù),每1 h收集1次數(shù)據(jù)點(diǎn)數(shù)據(jù)。每個數(shù)據(jù)點(diǎn)數(shù)據(jù)包括1個目標(biāo)值“wet bulb”和11個氣候特征。訓(xùn)練集、驗(yàn)證集和測試集分別包括28個月、10個月和10個月的數(shù)據(jù)。

3.2 評價指標(biāo)

為了準(zhǔn)確全面地評價模型性能,本文選擇平均絕對誤差MAE(Mean Absolute Error)和均方誤差MSE(Mean Square Error)2種預(yù)測評價指標(biāo),分別如式(6)和式(7)所示:

(6)

(7)

3.3 對比模型與超參數(shù)設(shè)置

為了驗(yàn)證模型的有效性,本文選擇了ARIMA[5]、Prophet[20]、LSTMa[21],DeepAR[22],Reformer[23]和LogTrans[24]6種時間序列預(yù)測算法及Informer模型與GGInformer模型進(jìn)行對比實(shí)驗(yàn)。在參數(shù)的選擇與設(shè)置過程中,本文通過交叉驗(yàn)證的方法來確定最合適的超參數(shù)設(shè)置。改進(jìn)遺傳算法和Informer模型有關(guān)超參數(shù)設(shè)置分別如表1和表2所示。此外,GRU網(wǎng)絡(luò)隱藏層維度設(shè)置為64,GRU網(wǎng)絡(luò)層數(shù)設(shè)置為3。

Table 1 Super parameters setting of genetic algorithm

Table 2 Super parameters setting of Informer model

4 實(shí)驗(yàn)結(jié)果分析

4.1 改進(jìn)遺傳算法特征選擇結(jié)果分析

(1)基于類內(nèi)類間距離的特征選擇結(jié)果分析。

為了驗(yàn)證類內(nèi)類間距離的有效性,本文以WTH數(shù)據(jù)集為例,使用類內(nèi)類間距離對WTH數(shù)據(jù)集進(jìn)行特征選擇。首先,計(jì)算WTH數(shù)據(jù)集的類內(nèi)類間距離比值大小J。然后,根據(jù)J的大小,選擇大于閾值的特征,去除小于閾值的特征。本文閾值取比值J的最大值與最小值的均值。最后,將選擇出的特征進(jìn)行組合,用來指導(dǎo)后續(xù)遺傳算法的特征優(yōu)化。基于類內(nèi)類間距離的WTH數(shù)據(jù)集的特征選擇結(jié)果如圖4所示。

Figure 4 Feature selection results on WTH dataset based on intra class and inter class distances

由圖4可以看到,WTH數(shù)據(jù)集的12個數(shù)據(jù)特征中,部分特征的類內(nèi)類間距離比值較小,說明其特征相關(guān)性較弱。根據(jù)圖4選擇大于閾值0.000 079的特征,得到特征序列號為1,3,4,6,7,10和12的7個特征進(jìn)行組合。選擇出的7個特征類內(nèi)類間距離比值結(jié)果較大,說明其特征間的相關(guān)性較強(qiáng),組成的特征組合可以對后續(xù)特征提取與預(yù)測產(chǎn)生積極的影響。

(2)基于改進(jìn)遺傳算法的特征選擇結(jié)果分析。

在上述根據(jù)類內(nèi)類間距離比值篩選出來的特征的基礎(chǔ)上,繼續(xù)使用改進(jìn)遺傳算法進(jìn)行特征提取,以此消除冗余特征的消極影響。經(jīng)過種群初始化、選擇復(fù)制、交叉、變異等過程,數(shù)次迭代優(yōu)化后選擇出最優(yōu)的特征組合。

由于不同特征對最終的預(yù)測結(jié)果會產(chǎn)生不同的影響,因此特征數(shù)對于多維時序預(yù)測來說也是一個重要影響因素。為了測試特征數(shù)對預(yù)測結(jié)果的影響,本文仍以WTH數(shù)據(jù)集為例進(jìn)行研究,對選取的7種特征使用遺傳算法再進(jìn)行特征提取,分別提取2種,3種,4種,5種和6種特征組合進(jìn)行實(shí)驗(yàn)對比,實(shí)驗(yàn)結(jié)果如表3所示。

Table 3 Prediction results based on genetic algorithm feature selection

從表3可以看出,當(dāng)WTH數(shù)據(jù)集通過遺傳算法選擇的特征組合數(shù)為4時,預(yù)測結(jié)果的MSE值和MAE值均達(dá)到最小值0.061 5和0.110 5。由此可以得出,WTH數(shù)據(jù)的最優(yōu)特征組合是通過遺傳算法選擇出的4種特征的組合。

4.2 預(yù)測結(jié)果分析

為了驗(yàn)證GGInformer模型預(yù)測的有效性,本文在5種數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn),結(jié)果如表4所示。為了測試模型處理LSTF問題的能力,本文逐步延長了預(yù)測窗口大小,即在ETTh1、ETTh2、ECL和WTH幾種數(shù)據(jù)集中分別預(yù)測24 h,48 h,168 h,336 h,720 h和960 h的結(jié)果。在ETTm1數(shù)據(jù)集中分別預(yù)測6 h,12 h,24 h,72 h和168 h。

Table 4 Time series forecasting results on five datasets

從表4中可以看出,GGInformer模型的預(yù)測能力相比于Informer模型的有顯著提升,主要體現(xiàn)在GGInformer模型的獲勝結(jié)果數(shù),即GGInformer模型在5種數(shù)據(jù)集上的獲勝結(jié)果數(shù)為42,遠(yuǎn)大于Informer模型的獲勝結(jié)果數(shù)6,說明Informer模型在預(yù)測訓(xùn)練過程中雖然相比于LogTrans等模型有了明顯提升,但是還是會受到多維時序數(shù)據(jù)的復(fù)雜度以及長程依賴問題的影響。本文在Informer模型的基礎(chǔ)上結(jié)合改進(jìn)遺傳算法和GRU網(wǎng)絡(luò)有效地提升了預(yù)測的性能,消除了不相關(guān)特征和冗余特征的消極影響,并通過GRU網(wǎng)絡(luò)保存數(shù)據(jù)的全局時序信息,進(jìn)一步提高了模型的預(yù)測精度。

需要注意的是,雖然GGInformer模型的預(yù)測結(jié)果整體上相比Informer模型的較有優(yōu)勢,但是在ETTh1和ETTh2 2種數(shù)據(jù)集上的較長序列(336 h,720 h)的預(yù)測結(jié)果卻有一定的差距。為了探究原因,本文將上述2種數(shù)據(jù)集與ETTm1數(shù)據(jù)集進(jìn)行對比分析,發(fā)現(xiàn)GGInformer模型在ETTm1數(shù)據(jù)集上的長序列預(yù)測能力優(yōu)勢很明顯,說明GGInformer模型的長序列預(yù)測能力會受數(shù)據(jù)集劃分粒度的影響,劃分粒度越大,其時序依賴性越弱,預(yù)測起來難度越大。

此外,本文還發(fā)現(xiàn),在ECL數(shù)據(jù)集上,在較短的時序上(≤336 h),DeepAR 模型的預(yù)測能力相比于Informer模型的要好,說明在個別特殊的數(shù)據(jù)集上Informer模型的短距離時序預(yù)測能力不強(qiáng)。但是,將DeepAR模型的預(yù)測結(jié)果與GGInformer模型的對比后可以發(fā)現(xiàn),在預(yù)測時序長度為168 h和336 h時,GGInformer模型的MSE值和MAE值明顯降低,且優(yōu)于DeepAR模型的。上述結(jié)果說明,GGInformer模型相比Informer模型可以更有效地增強(qiáng)短距離時序預(yù)測能力。

4.3 消融實(shí)驗(yàn)分析

為了驗(yàn)證改進(jìn)遺傳算法和GRU網(wǎng)絡(luò)對GGInformer模型預(yù)測能力的提升效果,本文對其進(jìn)行了消融實(shí)驗(yàn)。以WTH數(shù)據(jù)集為例,相關(guān)消融實(shí)驗(yàn)結(jié)果分別如表5和表6所示。

Table 5 Ablation experiment results of improved genetic algorithm

Table 6 Ablation experiment results of GRU network

本文將GGInformer模型與GRU+Informer模型的預(yù)測結(jié)果進(jìn)行對比,預(yù)測時序長度選擇24 h,168 h和720 h。相比GRU+Informer模型,GGInformer模型預(yù)測結(jié)果的MSE分別降低了22%,10%和28%。這說明多維時間序列數(shù)據(jù)集中不相關(guān)特征和冗余特征對時序預(yù)測會產(chǎn)生消極影響,本文提出的改進(jìn)遺傳算法可以有效解決多維時序數(shù)據(jù)特征間的相關(guān)性較差以及特征冗余的問題。

本文將GGInformer模型與GA+Informer模型的預(yù)測結(jié)果進(jìn)行對比,預(yù)測時序長度同樣選擇24 h,168 h和720 h。相比GA+Informer模型,GGInformer模型預(yù)測結(jié)果的MSE分別降低了29%,10%和22%。上述結(jié)果表明,對于時序預(yù)測任務(wù),時間序列數(shù)據(jù)間的時序依賴性學(xué)習(xí)同樣很重要,GRU網(wǎng)絡(luò)可以有效提取時序信息的全局依賴性,通過保存全局時序信息進(jìn)一步增強(qiáng)后續(xù)模型的時序預(yù)測能力,從而有效地解決了多維時序數(shù)據(jù)在預(yù)測過程中由于時序依賴性較低導(dǎo)致的長程依賴問題。

4.4 浦發(fā)銀行股票數(shù)據(jù)實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文模型對于不同類型多維時間序列數(shù)據(jù)預(yù)測的通用性,本文選擇了浦發(fā)銀行(SPDB(Shanghai Pudong Development Bank),sh60000)從2010年7月1日～2020年7月31日共10年的股票價格歷史數(shù)據(jù)進(jìn)行實(shí)驗(yàn)分析。在實(shí)驗(yàn)過程中,模型設(shè)置同上述實(shí)驗(yàn)過程的相同,在真實(shí)數(shù)據(jù)上預(yù)測時不需要在特定數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練。具體實(shí)驗(yàn)結(jié)果如表7所示,GGInformer模型預(yù)測結(jié)果與實(shí)際值的擬合曲線如圖5所示。實(shí)驗(yàn)表明,改進(jìn)遺傳算法通過特征提取去除了數(shù)據(jù)不相關(guān)特征和冗余特征,提高了預(yù)測準(zhǔn)確度,結(jié)合了GRU網(wǎng)絡(luò)的模型又進(jìn)一步提高了預(yù)測結(jié)果。

Table 7 Prediction results of SPDB stock price

Figure 5 Results of SPDB stock price prediction

5 結(jié)束語

本文主要研究多維時間序列數(shù)據(jù)的特征提取與時序預(yù)測問題。針對多維時間序列數(shù)據(jù)存在特征間相關(guān)性較差及特征冗余的問題,以及由于時序數(shù)據(jù)間時序依賴性較低導(dǎo)致的長程依賴問題,本文提出了GGInformer模型。為了驗(yàn)證該模型的有效性,本文在5種多維時間序列數(shù)據(jù)集上進(jìn)行了對比實(shí)驗(yàn),并通過消融實(shí)驗(yàn)驗(yàn)證了模型解決上述問題的有效性。此外,還在不同類型數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),最終的實(shí)驗(yàn)結(jié)果和可視化分析均表明,本文模型在多維時序預(yù)測任務(wù)中具有較好的通用性和普適性。