基于GGInformer模型的金融數(shù)據(jù)特征提取及價(jià)格預(yù)測(cè)

摘要： 為了解決金融時(shí)序預(yù)測(cè)任務(wù)中出現(xiàn)的特征參數(shù)冗余問(wèn)題，用遺傳算法對(duì)金融數(shù)據(jù)進(jìn)行特征提取，通過(guò)三組對(duì)比實(shí)驗(yàn)進(jìn)行驗(yàn)證分析。實(shí)驗(yàn)結(jié)果顯示，加入了遺傳算法的預(yù)測(cè)模型比未加入遺傳算法的模型在三種數(shù)據(jù)集上的MSE均有所降低。最終結(jié)果證明遺傳算法可以有效解決金融產(chǎn)品價(jià)格預(yù)測(cè)過(guò)程中的特征冗余問(wèn)題。為了解決非線性的長(zhǎng)序列金融數(shù)據(jù)預(yù)測(cè)效果差的問(wèn)題，通過(guò)結(jié)合GRU網(wǎng)絡(luò)和Informer模型構(gòu)建了GGInformer模型來(lái)對(duì)金融產(chǎn)品價(jià)格進(jìn)行預(yù)測(cè)。模型在三種外匯產(chǎn)品數(shù)據(jù)集上與其他四種預(yù)測(cè)基準(zhǔn)方法進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果與可視化分析表明，所提模型在金融產(chǎn)品交易價(jià)格的預(yù)測(cè)結(jié)果上有明顯優(yōu)勢(shì)，可以提高預(yù)測(cè)的精度。

關(guān)鍵詞： 遺傳算法； 特征提取； 金融產(chǎn)品價(jià)格預(yù)測(cè)； Informer模型； GRU網(wǎng)絡(luò)

中圖分類號(hào)： TP183

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1671-6841（2024）05-0062-09

DOI： 10.13705/j.issn.1671-6841.2023125

Feature Extraction and Price Prediction of Financial Data Based on

GGInformer Model

REN Shengqi， SONG Wei

（School of Computer and Artificial Intelligence， Zhengzhou University， Zhengzhou 450001， China）

Abstract： In order to solve the problem of redundant feature parameters in financial time series prediction tasks， genetic algorithm was selected to extract features from financial data. Three sets of comparative experiments were conducted to verify and analyze the results. The experimental results showed that the prediction model with genetic algorithm added had lower MSE results than the model without genetic algorithm on three datasets. The final results showed that genetic algorithms could effectively solve the problem of feature redundancy in the process of predicting financial product prices. In order to solve the problem of poor prediction performance of nonlinear long sequence financial data， a GGInformer model was constructed by combining GRU network and Informer model to predict financial product prices. The model was compared with four prediction benchmark methods on three foreign exchange product datasets. The experimental results and visual analysis showed that the model had significant advantages over other prediction models in predicting the trading prices of financial products， and could improve the accuracy of prediction.

Key words： genetic algorithm; feature extraction; financial product price prediction; Informer model; GRU network

0 引言

金融產(chǎn)品價(jià)格變化是大眾關(guān)注的焦點(diǎn)，與之相關(guān)的預(yù)測(cè)問(wèn)題也是一個(gè)令人關(guān)注和富有挑戰(zhàn)性的研究課題。

傳統(tǒng)時(shí)序建模方法主要依靠統(tǒng)計(jì)學(xué)理論進(jìn)行金融市場(chǎng)趨勢(shì)預(yù)測(cè)。早期研究者基于統(tǒng)計(jì)學(xué)方法來(lái)描述金融市場(chǎng)變化情況，Engle［1］提出自回歸條件異方差模型，否定了線性假設(shè)風(fēng)險(xiǎn)與收益之間的關(guān)系，能夠更好地描述金融價(jià)格變動(dòng)。Airyo等［2］提出的差分整合移動(dòng)平均自回歸模型（ARIMA）被應(yīng)用于股價(jià)的預(yù)測(cè)。上述方法對(duì)數(shù)據(jù)分布規(guī)則和完整性等方面要求嚴(yán)格，但是金融市場(chǎng)本身是一個(gè)非線性、非平穩(wěn)、多尺度的時(shí)間序列，存在很多噪聲，這使得傳統(tǒng)時(shí)序預(yù)測(cè)方法無(wú)法得到較高的預(yù)測(cè)精度。

鑒于傳統(tǒng)統(tǒng)計(jì)學(xué)方法的局限性，有研究人員將信號(hào)處理方法應(yīng)用于金融預(yù)測(cè)。Ramsey等［3］首次將小波變換應(yīng)用于量化投資領(lǐng)域，用來(lái)檢測(cè)突變點(diǎn)和跳躍點(diǎn)。Huang等［4］提出EEMD改進(jìn)算法應(yīng)用于金融分析。Wu等［5］構(gòu)建CEEMD-A&S-SBL模型應(yīng)用于金融預(yù)測(cè)。

隨著深度學(xué)習(xí)技術(shù)在特征提取和構(gòu)建復(fù)雜非線性模型上取得了巨大進(jìn)展，研究人員開始基于深度學(xué)習(xí)技術(shù)進(jìn)行金融產(chǎn)品交易價(jià)格預(yù)測(cè)研究。姚宏亮等［6］將貝葉斯神經(jīng)網(wǎng)絡(luò)和均線滯后特征結(jié)合，提出了用于股市態(tài)勢(shì)預(yù)測(cè)的DSMA模型，通過(guò)實(shí)驗(yàn)證明了模型的預(yù)測(cè)效果。Meesad等［7］使用支持向量回歸模型對(duì)股票數(shù)據(jù)進(jìn)行建模分析。Nair等［8］提出了一種基于粗糙集的決策樹系統(tǒng)，該方法對(duì)孟買證券交易所數(shù)據(jù)進(jìn)行了研究，使用C4.5決策樹和粗糙集進(jìn)行特征提取和規(guī)則總結(jié)。Selvin等［9］使用CNN、RNN和LSTM算法對(duì)股票市場(chǎng)進(jìn)行預(yù)測(cè)。姜振宇等［10］通過(guò)結(jié)合變分模態(tài)分解和時(shí)序卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建了時(shí)頻融合的卷積神經(jīng)網(wǎng)絡(luò)模型，并通過(guò)實(shí)驗(yàn)證明了模型具有良好的預(yù)測(cè)精度。楊妥等［11］提出了融合情感分析的SVM-LSTM模型，實(shí)現(xiàn)了對(duì)股指期貨預(yù)測(cè)精度提高的目標(biāo)。Zhang等［12］建立了CEEMD-LSTM模型，將該模型應(yīng)用于金融時(shí)間序列預(yù)測(cè)中，并用實(shí)驗(yàn)證明模型精確度高且具有良好的魯棒性。Ding等［13］通過(guò)引入高斯先驗(yàn)、正交正則化和交易間隙分配器優(yōu)化了Transformer 股票預(yù)測(cè)模型。

盡管以上針對(duì)金融產(chǎn)品交易價(jià)格預(yù)測(cè)的方法已經(jīng)取得了較好的結(jié)果，然而在處理特征參數(shù)冗余、非線性的長(zhǎng)序列金融時(shí)序數(shù)據(jù)時(shí)仍然存在局限性。為解決金融數(shù)據(jù)特征冗余問(wèn)題，本文采用遺傳算法（genetic algorithm，GA）［14］對(duì)金融產(chǎn)品數(shù)據(jù)進(jìn)行特征提取，選取出更具有競(jìng)爭(zhēng)性的特征組合來(lái)消除冗余特征的影響。為了解決非線性、長(zhǎng)序列的金融數(shù)據(jù)預(yù)測(cè)效果差的問(wèn)題，本文結(jié)合門控循環(huán)單元（gate recurrent unit，GRU）網(wǎng)絡(luò)［15］和Informer模型［16］構(gòu)建GGInformer（GA GRU Informer）模型對(duì)金融產(chǎn)品價(jià)格進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，GGInformer 模型可以有效地對(duì)金融數(shù)據(jù)進(jìn)行價(jià)格預(yù)測(cè)。

1 方法構(gòu)建

本文結(jié)合遺傳算法、GRU網(wǎng)絡(luò)和Informer模型構(gòu)建了GGInformer模型，以此對(duì)金融產(chǎn)品數(shù)據(jù)進(jìn)行特征提取以及交易價(jià)格預(yù)測(cè)。首先使用遺傳算法對(duì)金融產(chǎn)品數(shù)據(jù)進(jìn)行特征提取，可以減少冗余特征對(duì)后續(xù)預(yù)測(cè)過(guò)程的影響，同時(shí)還可以減少輸入預(yù)測(cè)模型中的數(shù)據(jù)，起到降低計(jì)算量的作用。然后將特征提取后的數(shù)據(jù)輸入GRU網(wǎng)絡(luò)，進(jìn)一步提取金融數(shù)據(jù)的全局依賴信息。之后將GRU網(wǎng)絡(luò)的輸出數(shù)據(jù)輸入Informer 模型，經(jīng)過(guò)嵌入層、編碼器和解碼器，最后經(jīng)過(guò)一個(gè)全連接層得到預(yù)測(cè)值。GGInformer模型架構(gòu)圖如圖1所示。

1.1 基于遺傳算法的特征選擇方法構(gòu)建

由于金融產(chǎn)品數(shù)據(jù)價(jià)格預(yù)測(cè)需要依賴大量的特征參數(shù)，但是通常不是全部的特征都對(duì)最終的預(yù)測(cè)產(chǎn)生積極的影響，因此金融產(chǎn)品數(shù)據(jù)價(jià)格預(yù)測(cè)往往存在特征冗余的問(wèn)題。為解決此問(wèn)題，本文使用遺傳理論中優(yōu)勝劣汰的法則提取具有競(jìng)爭(zhēng)性的特征組合來(lái)消除冗余特征對(duì)預(yù)測(cè)效果的影響。遺傳算法基本的操作包括基因編碼、產(chǎn)生初代種群、染色體選擇、染色體交叉、染色體變異，不斷產(chǎn)生新的子代以尋找最優(yōu)解。

1） 種群初始化。本文對(duì)輸入的金融產(chǎn)品數(shù)據(jù)采用二進(jìn)制編碼進(jìn)行種群初始化，每條數(shù)據(jù)的每一個(gè)特征因子位按照等概率在{0，1}中選擇。用矩陣表示為

a1，x1…a1，xn

am，x1…am，xn，

其中：xj（j=1，2，…，n）代表數(shù)據(jù)特征；ai，xj（i=1，2，…，m）∈{0，1}，值為0時(shí)表示未被選中，值為1時(shí)表示被選中；m為時(shí)序數(shù)據(jù)的長(zhǎng)度。

2） 適應(yīng)度函數(shù)選取。本文選擇基于類內(nèi)、類間距離的可分性判斷依據(jù)作為適應(yīng)度函數(shù)。

假設(shè)從D個(gè)特征中選出d個(gè)最優(yōu)的特征（d<D），定義為

Sb=∑ci=1Pi（hi-h）（hi-h）T，（1）

Sw=∑ci=1Pi1qi∑qik=1（x（i）k-hi）（x（i）k-hi）T，（2）

Jd（x）=trSbtrSw，（3）

式中：c為樣本數(shù)；qi為第i類樣本數(shù)；hi表示樣本集的均值向量；h表示所有各類的樣本集總均值向量；Pi為i類的先驗(yàn)概率；x（i）k為第i類的D維特征向量；Sb為類間離散度矩陣；Sw為類內(nèi)離散度矩陣；trSb、trSw表示求兩個(gè)矩陣的跡。

3） 選擇算子選取。確定了適應(yīng)度函數(shù)之后，遺傳算法基于適應(yīng)度值對(duì)個(gè)體進(jìn)行評(píng)價(jià)，本文使用輪盤賭方法作為選擇算子。

4） 交叉算子選取。本文采用多點(diǎn)交叉方式作為交叉算子。在單個(gè)個(gè)體中隨機(jī)設(shè)置多個(gè)交叉點(diǎn)，兩個(gè)個(gè)體間根據(jù)交叉點(diǎn)進(jìn)行基因交換，生成新的個(gè)體。

5） 變異算子選取。本文采用單點(diǎn)位翻轉(zhuǎn)突變作為變異算子。從種群中隨機(jī)選擇一個(gè)個(gè)體，再隨機(jī)從個(gè)體基因中選擇一個(gè)基因進(jìn)行翻轉(zhuǎn)變異。基于遺傳算法的特征選擇過(guò)程如算法1所示。

算法1 基于遺傳算法的特征選擇

輸入：特征選擇前的高維金融數(shù)據(jù)P∈Rl×m。

輸出：特征選擇后的低維金融數(shù)據(jù)Best∈Rl×n。

1） 初始化（P（t））；

2） 計(jì)算適應(yīng)度函數(shù)（P（t））；

3） 取最優(yōu)解（P（t））；

4） While 是否滿足終止條件？ do

5） P（t）←遺傳選擇（P（t））；

6） P（t）←遺傳交叉（P（t））；

7） P（t）←遺傳變異（P（t+1））；

8） 計(jì)算適應(yīng)度函數(shù)（P（t））；

9） 取最優(yōu)解（P（t））；

10） t=t+1；

11） end。

1.2 基于GGInformer模型的預(yù)測(cè)方法構(gòu)建

由于金融產(chǎn)品價(jià)格預(yù)測(cè)任務(wù)需要預(yù)測(cè)長(zhǎng)時(shí)間段的時(shí)間序列，為了增強(qiáng)后續(xù)的預(yù)測(cè)效果，本文選擇GRU網(wǎng)絡(luò)進(jìn)行時(shí)序數(shù)據(jù)的全局信息提取，通過(guò)GRU網(wǎng)絡(luò)可以增強(qiáng)時(shí)序數(shù)據(jù)間的時(shí)序依賴關(guān)系。GRU網(wǎng)絡(luò)有三層，后面繼續(xù)構(gòu)造兩層線性層，之后將輸出結(jié)果輸入Informer模型進(jìn)行預(yù)測(cè)。

為了解決金融產(chǎn)品價(jià)格預(yù)測(cè)這類序列很長(zhǎng)的問(wèn)題，模型需要具有較強(qiáng)解決長(zhǎng)程依賴問(wèn)題的能力。本文選擇Informer模型來(lái)對(duì)金融數(shù)據(jù)的價(jià)格進(jìn)行預(yù)測(cè)。模型結(jié)構(gòu)主要包括嵌入層、編碼器、解碼器和全連接層。

嵌入層包括三部分，分別為標(biāo)量投影嵌入、本地時(shí)間戳嵌入和全局時(shí)間戳嵌入，嵌入層可為輸入數(shù)據(jù)添加位置向量，以及每個(gè)時(shí)間點(diǎn)的時(shí)間信息。其中標(biāo)量投影嵌入主要采用一維卷積將輸入數(shù)據(jù)的特征維度向量轉(zhuǎn)換為512維向量。本地時(shí)間戳嵌入采用Transformer模型［17］中的位置編碼方法。全局時(shí)間戳嵌入采用全連接層將輸入的時(shí)間戳向量映射為512維向量。最后將標(biāo)量投影嵌入、本地時(shí)間戳嵌入和全局時(shí)間戳嵌入三者結(jié)果相加得到最終的嵌入層結(jié)果。

編碼器包括兩部分，分別為自注意力層和蒸餾層。自注意力層Informer模型使用算法2描述的概率稀疏自注意力機(jī)制。

算法2 概率稀疏自注意力機(jī)制

輸入：Tensor Q∈Rm×d，K∈Rn×d，V∈Rn×d。

輸出：概率稀疏自注意力特征矩陣S。

1） 設(shè)置超參數(shù)c，u=clnm，U=mlnn；

2） 從K中隨機(jī)采樣U個(gè)點(diǎn)積對(duì)作為K；

3） 計(jì)算采樣的得分S=QKT；

4） 按行計(jì)算稀疏性得分

M=max（S）-mean（S）；

5） 按照M排名選擇前u個(gè)Qi作為Q；

6） 計(jì)算S1=softmax（QKT/d）·V；

7） 計(jì)算S0=mean（V）；

8） 計(jì)算S=｛S1，S0｝，調(diào)整為原來(lái)行順序。

根據(jù)算法2介紹的概率稀疏自注意力計(jì)算得出的S必然會(huì)產(chǎn)生冗余（由于存在S0），因此在編碼器中又加入了自注意力蒸餾機(jī)制，以此來(lái)蒸餾出更有優(yōu)勢(shì)的注意力權(quán)重。從第j層到j(luò)+1層的蒸餾計(jì)算為

Xtj+1=MaxPool（ELU（Conv1d（［Xtj］AB））），（4）

其中：［Xtj］AB包括了多頭概率稀疏自注意力權(quán)重以及前饋層的關(guān)鍵操作；Conv1d表示在時(shí)間維度上執(zhí)行一維卷積操作；ELU為激活函數(shù)；MaxPool函數(shù)為最大池化，可將輸入的長(zhǎng)度變?yōu)樵瓉?lái)的一半，從而極大地節(jié)約了內(nèi)存開銷和計(jì)算時(shí)間。

解碼器由一個(gè)掩碼多頭概率稀疏自注意力層和一個(gè)多頭自注意力層組成。多頭概率稀疏自注意力層要進(jìn)行掩碼操作，避免使當(dāng)前時(shí)間數(shù)據(jù)都注意到下一個(gè)時(shí)間情況，防止自回歸。解碼器舍棄了動(dòng)態(tài)解碼過(guò)程，而采用一次前向過(guò)程，即可解碼得到整個(gè)輸出序列，大幅縮短了預(yù)測(cè)時(shí)間。需要注意的是，解碼器使用的是生成式推理解碼，其輸入數(shù)據(jù)形式為

Xtde=Concat（Xttoken，Xt0）∈R（Ltoken+L0）×dmodel，（5）

其中：Xttoken∈RLtoken×dmodel是預(yù)測(cè)開始標(biāo)簽，對(duì)于推理預(yù)測(cè)提供推理依據(jù)，從編碼器輸入值中截?。籜t0∈RL0×dmodel是一個(gè)為預(yù)測(cè)序列保留的占位時(shí)序序列，填充值為0。

最后經(jīng)過(guò)Informer模型解碼器之后連接一個(gè)全連接層進(jìn)行預(yù)測(cè)輸出。

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 數(shù)據(jù)集

為了驗(yàn)證本文所提方法對(duì)解決特征冗余、非線性的長(zhǎng)序列金融數(shù)據(jù)預(yù)測(cè)問(wèn)題的效果，本文選取三種外匯產(chǎn)品的真實(shí)歷史數(shù)據(jù)用于實(shí)驗(yàn)，包括歐元兌美元匯率（EUR/USD）、原油兌美元匯率（USO/USD）、黃金兌美元匯率（XAU/USD）。三種數(shù)據(jù)集包括開盤價(jià)、最高價(jià)、最低價(jià)、收盤價(jià)、吞吐量、延遲量等特征因子。

由于數(shù)據(jù)特征間單位和尺度存在差異，對(duì)于模型后續(xù)訓(xùn)練可能產(chǎn)生影響。因此，為了消除影響，以及對(duì)每一維度特征進(jìn)行平等處理，需要對(duì)數(shù)據(jù)特征進(jìn)行標(biāo)準(zhǔn)歸一化處理，將數(shù)據(jù)控制在［0，1］范圍內(nèi)。本文采用最大最小值標(biāo)準(zhǔn)化方法對(duì)數(shù)據(jù)進(jìn)行處理，公式為

x^=x-min（x）max（x）-min（x），（6）

其中：x代表原特征序列數(shù)據(jù)；min（x）代表原特征序列最小值；max（x）代表最大值。

2.2 評(píng)價(jià)指標(biāo)

依據(jù)實(shí)際需求，為了更加準(zhǔn)確全面地評(píng)價(jià)模型效果，本文選擇平均絕對(duì)誤差（MAE）和均方誤差（MSE）兩種預(yù)測(cè)評(píng)價(jià)指標(biāo)。所用公式為

MAE=1n∑nm=1（ym-y′m），（7）

MSE=1n∑nm=1（ym-y′m）2，（8）

其中：ym是真實(shí)值；y′m是預(yù)測(cè)值；n是測(cè)試集的長(zhǎng)度。

2.3 對(duì)比模型與超參數(shù)設(shè)置

實(shí)驗(yàn)參數(shù)設(shè)置主要包括三部分：GRU網(wǎng)絡(luò)隱藏層維度設(shè)置為64，GRU網(wǎng)絡(luò)層數(shù)設(shè)置為三層；遺傳算法中染色體長(zhǎng)度設(shè)置為6，種群大小設(shè)置為50，變異概率設(shè)置為0.02，迭代次數(shù)設(shè)置為100；Informer模型有關(guān)參數(shù)設(shè)置中，嵌入層變換維度設(shè)置為512，編碼器多頭數(shù)設(shè)置為8，編碼器層數(shù)設(shè)置為2，前饋層維度設(shè)置為2 048，概率稀疏注意力因子設(shè)置為5，dropout設(shè)置為0.05，激活函數(shù)為GELU，訓(xùn)練迭代次數(shù)設(shè)置為6，學(xué)習(xí)率設(shè)置為0.0001，損失函數(shù)設(shè)置為MSE。

3 實(shí)驗(yàn)分析

3.1 遺傳算法特征選擇結(jié)果分析

本文使用遺傳算法對(duì)金融產(chǎn)品數(shù)據(jù)進(jìn)行特征提取，選擇出最優(yōu)的特征組合進(jìn)行預(yù)測(cè)實(shí)驗(yàn)。為了更準(zhǔn)確地驗(yàn)證遺傳算法的特征提取能力，本文選擇金融預(yù)測(cè)領(lǐng)域應(yīng)用較廣泛的LSTM模型、Transformer模型和Informer模型作為預(yù)測(cè)模型進(jìn)行對(duì)比試驗(yàn)，結(jié)果如表1所示，其中GA代表遺傳算法。

根據(jù)表1中的結(jié)果可以看到，結(jié)合遺傳算法的三種預(yù)測(cè)模型的實(shí)驗(yàn)結(jié)果均比未結(jié)合遺傳算法的實(shí)驗(yàn)結(jié)果要好，尤其是Informer模型和Transformer模型對(duì)比結(jié)果更為明顯。相比于Informer模型，GA+Informer模型在三種數(shù)據(jù)集上的MSE結(jié)果分別降低了64%，66%，14%；相比于Transformer模型，GA+Transformer模型在三種數(shù)據(jù)集上的MSE結(jié)果分別降低了54%，31%，75%；相比于LSTM模型，GA+LSTM模型在三種數(shù)據(jù)集上的MSE結(jié)果分別降低了11%，16%，11%。

模型預(yù)測(cè)對(duì)比結(jié)果如圖2所示（橫坐標(biāo)表示時(shí)間，縱坐標(biāo)表示收盤時(shí)匯率）。從圖2中也可以看到，經(jīng)過(guò)遺傳算法進(jìn)行特征提取的預(yù)測(cè)結(jié)果比未使用遺傳算法的預(yù)測(cè)結(jié)果更貼近真實(shí)值，而且結(jié)合遺傳算法的模型預(yù)測(cè)結(jié)果變化較小，都是圍繞在真實(shí)值附近，未使用遺傳算法的模型預(yù)測(cè)結(jié)果波動(dòng)較大，不能很好地貼合真實(shí)值。

上述對(duì)比結(jié)果說(shuō)明競(jìng)爭(zhēng)性較低的冗余特征會(huì)影響模型對(duì)結(jié)果的預(yù)測(cè)，通過(guò)遺傳算法對(duì)輸入的金融產(chǎn)品數(shù)據(jù)進(jìn)行優(yōu)勢(shì)特征提取，對(duì)模型的預(yù)測(cè)效果可以起到積極作用。

3.2 GGInformer模型價(jià)格預(yù)測(cè)實(shí)驗(yàn)

由表1可以看到GA+Informer模型和GA+Transformer模型在EUR/USD數(shù)據(jù)集和USO/USD數(shù)據(jù)集上結(jié)果相差不大，但是在XAU/USD數(shù)據(jù)集上結(jié)果卻相差較大，本文對(duì)這一原因進(jìn)行了分析。兩種模型在XAU/USD數(shù)據(jù)集上的預(yù)測(cè)結(jié)果可視化如圖3所示。

從圖3可以看出，在XAU/USD數(shù)據(jù)集上，GA+Informer模型相比GA+Transformer模型來(lái)說(shuō)，其對(duì)于價(jià)格較高部分的預(yù)測(cè)結(jié)果不太友好，而對(duì)于價(jià)格較低的部分卻可以很好地預(yù)測(cè)。

通過(guò)對(duì)比圖3中的兩種模型，發(fā)現(xiàn)GA+Informer模型在訓(xùn)練初始階段不能很好地學(xué)習(xí)到價(jià)格較高部分的趨勢(shì)，導(dǎo)致后續(xù)高價(jià)格部分的預(yù)測(cè)結(jié)果較差，而GA+Transformer模型在初始階段對(duì)于價(jià)格較高部分雖然也不能很充分地學(xué)習(xí)，但是相比GA+Informer模型可以學(xué)習(xí)到基本的價(jià)格趨勢(shì)，因而對(duì)后續(xù)較高價(jià)格部分也可以有效地訓(xùn)練學(xué)習(xí)。

將上述情況結(jié)合其余兩種數(shù)據(jù)集進(jìn)行分析發(fā)現(xiàn)，GA+Informer模型對(duì)其余兩種數(shù)據(jù)集同樣不能很好地預(yù)測(cè)高價(jià)格的部分。同時(shí)發(fā)現(xiàn)其余兩種數(shù)據(jù)集在前期訓(xùn)練時(shí)價(jià)格變化趨勢(shì)是緩慢的，而XAU/USD數(shù)據(jù)集的價(jià)格變化起伏較大，且由于Informer模型是生成式預(yù)測(cè)，對(duì)于預(yù)測(cè)之前給定的用于推理預(yù)測(cè)的數(shù)據(jù)要求不能起伏變化太大，以免推理預(yù)測(cè)過(guò)程中找不到規(guī)律，導(dǎo)致預(yù)測(cè)結(jié)果較差。而Transformer模型則由于多步預(yù)測(cè)而不會(huì)出現(xiàn)這種問(wèn)題。

為了解決上述問(wèn)題，本文引入了GRU網(wǎng)絡(luò)構(gòu)建GGInformer模型來(lái)對(duì)金融價(jià)格進(jìn)行預(yù)測(cè)。由于GRU網(wǎng)絡(luò)可以更好地捕捉時(shí)序數(shù)據(jù)中時(shí)間距離較大的依賴關(guān)系，對(duì)于隨著時(shí)間增長(zhǎng)變化起伏較大的數(shù)據(jù)可以更好地記錄依賴關(guān)系，有助于后續(xù)生成式預(yù)測(cè)。

為了驗(yàn)證模型的效果，本文選擇Informer、Reformer［18］、Performerih25vTmeaMGChNRCAGNK/g==［19］和Transformer模型作為基準(zhǔn)模型，幾種模型都可以兼顧模型效果和訓(xùn)練效率。用這四種模型與GGInformer模型進(jìn)行對(duì)比來(lái)驗(yàn)證模型針對(duì)金融產(chǎn)品交易價(jià)格預(yù)測(cè)問(wèn)題的有效性，所有模型均以收盤價(jià)為預(yù)測(cè)指標(biāo)，并取兩次收盤價(jià)預(yù)測(cè)結(jié)果的均值作為最終對(duì)比結(jié)果，所有預(yù)測(cè)模型均采用交叉驗(yàn)證的方式進(jìn)行實(shí)驗(yàn)。GGInformer模型與其他四種預(yù)測(cè)模型的對(duì)比實(shí)驗(yàn)結(jié)果如表2所示。從表2可以看出，GGInformer模型與其他四種預(yù)測(cè)模型相比優(yōu)勢(shì)較為明顯。相比于Informer模型，GGInformer模型在EUR/USD數(shù)據(jù)集上的MSE結(jié)果降低了90%；在USO/USD數(shù)據(jù)集上的MSE結(jié)果降低了85%；在XAU/USD數(shù)據(jù)集上的MSE結(jié)果降低了87%。說(shuō)明該模型在實(shí)際金融預(yù)測(cè)場(chǎng)景下具有良好的表現(xiàn)。

需要說(shuō)明，在表2中雖然Transformer模型與Informer模型相比預(yù)測(cè)效果要好，但是通過(guò)理論分析和具體實(shí)驗(yàn)證明，Informer模型要優(yōu)于Transformer模型，尤其是對(duì)于金融時(shí)序預(yù)測(cè)任務(wù)這種具有長(zhǎng)序列時(shí)序預(yù)測(cè)要求的任務(wù)，綜合考慮，最終選擇Informer模型作為金融預(yù)測(cè)任務(wù)的基準(zhǔn)模型。

3.3 消融實(shí)驗(yàn)

為了驗(yàn)證GRU網(wǎng)絡(luò)對(duì)預(yù)測(cè)結(jié)果的影響，本文進(jìn)行了相關(guān)消融實(shí)驗(yàn)研究，實(shí)驗(yàn)結(jié)果如表3所示，可視化結(jié)果如圖4、圖5和圖6所示。

從消融實(shí)驗(yàn)結(jié)果可以看出，GRU網(wǎng)絡(luò)對(duì)于GGInformer 模型的預(yù)測(cè)能力有明顯提升，相比GA+Informe模型，GGInformer模型在EUR/USD數(shù)據(jù)集上的MSE結(jié)果降低了71%，在USO/USD數(shù)據(jù)集上的MSE結(jié)果降低了56%，在XAU/USD數(shù)據(jù)集上的MSE結(jié)果降低了84%。從圖4、圖5和圖6中可以看出，雖然三種模型都可以大致擬合出預(yù)測(cè)數(shù)據(jù)的趨勢(shì)曲線，但是GGInformer模型與其他兩種模型相比，其預(yù)測(cè)結(jié)果與實(shí)際數(shù)據(jù)具有更好的擬合度，說(shuō)明GRU網(wǎng)絡(luò)可以進(jìn)一步地提高模型對(duì)金融產(chǎn)品數(shù)據(jù)的預(yù)測(cè)能力。

3.4 長(zhǎng)序列時(shí)序預(yù)測(cè)實(shí)驗(yàn)

本文針對(duì)GGInformer模型的長(zhǎng)序列時(shí)序預(yù)測(cè)能力進(jìn)行了進(jìn)一步的實(shí)驗(yàn)，選擇Informer模型作為對(duì)比模型，分別預(yù)測(cè)24、48、72、96、128 min，預(yù)測(cè)結(jié)果如表4所示。

由表4可知，GGInformer模型在不同時(shí)間范圍內(nèi)收盤價(jià)的預(yù)測(cè)效果整體上優(yōu)于Informer模型的預(yù)測(cè)效果，表明GGInformer模型在金融產(chǎn)品數(shù)據(jù)的長(zhǎng)序列預(yù)測(cè)任務(wù)上同樣有很好的效果。

4 結(jié)論

為了解決金融產(chǎn)品數(shù)據(jù)特征參數(shù)冗余，以及非線性的、長(zhǎng)序列的金融產(chǎn)品價(jià)格預(yù)測(cè)難度大的問(wèn)題，本文提出了用于預(yù)測(cè)金融產(chǎn)品交易價(jià)格的 GGInformer模型。將GGInformer模型在三種金融產(chǎn)品數(shù)據(jù)集上與四種基準(zhǔn)預(yù)測(cè)方法進(jìn)行了對(duì)比實(shí)驗(yàn)與消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果證明本文模型相對(duì)于其他預(yù)測(cè)模型在金融產(chǎn)品價(jià)格預(yù)測(cè)任務(wù)中更具有優(yōu)勢(shì)。此外，本文還通過(guò)長(zhǎng)序列時(shí)序預(yù)測(cè)實(shí)驗(yàn)證明了模型解決長(zhǎng)序列金融時(shí)序預(yù)測(cè)問(wèn)題的能力。

參考文獻(xiàn)：

［1］ ENGLE R F. Autoregressive conditional heteroscedasticity with estimates of the variance of United Kingdom inflation［J］. Econometrica， 1982， 50（4）： 987.

［2］ ARIYO A A， ADEWUMI A O， AYO C K. Stock price prediction using the ARIMA model［C］∥2014 UKSim-AMSS 16th International Conference on Computer Modelling and Simulation.Piscataway：IEEE Press，2015： 106-112.

［3］ RAMSEY M W， STEWART W R， JONES C J H. Real-time measurement of pulse wave velocity from arterial pressure waveforms［J］. Medical and biological engineering and computing， 1995， 33（5）： 636-642.

［4］ HUANG N E， SHEN S S. Hilbert-Huang transform and its applications［M］.Singapore： World Scientific Publish. 2014.

［5］ WU J A， CHEN Y， ZHOU T F， et al. An adaptive hybrid learning paradigm integrating CEEMD， ARIMA and SBL for crude oil price forecasting［J］. Energies， 2019， 12（7）： 1239.

［6］ 姚宏亮， 艾劉可， 王浩， 等. 均線滯后的時(shí)序自回歸股市態(tài)勢(shì)預(yù)測(cè)算法［J］. 鄭州大學(xué)學(xué)報(bào)（理學(xué)版）， 2018， 50（3）： 60-66.

YAO H L， AI L K， WANG H， et al. Time series autoregressive stock market forecasting algorithm based on moving average hysteresis［J］. Journal of Zhengzhou university （natural science edition）， 2018， 50（3）： 60-66.

［7］ MEESAD P， RASEL R I. Predicting stock market price using support vector regression［C］∥2013 International Conference on Informatics， Electronics and Vision. Piscataway：IEEE Press，2013： 1-6.

［8］ NAIR B B， MOHANDAS V P， SAKTHIVEL N R. A decision tree-rough set hybrid system for stock market trend prediction［J］. International journal of computer applications， 2010， 6（9）： 1-6.

［9］ SELVIN S， VINAYAKUMAR R， GOPALAKRISHNAN E A， et al. Stock price prediction using LSTM， RNN and CNN-sliding window model［C］∥2017 International Conference on Advances in Computing， Communications and Informatics. Piscataway：IEEE Press，2017： 1643-1647.

［10］姜振宇， 黃雁勇， 李天瑞， 等. 基于時(shí)頻融合卷積神經(jīng)網(wǎng)絡(luò)的股票指數(shù)預(yù)測(cè)［J］. 鄭州大學(xué)學(xué)報(bào)（理學(xué)版）， 2022， 54（2）： 81-88.

JIANG Z Y， HUANG Y Y， LI T R， et al. Fusion of time-frequency-based convolutional neural network in financial time series forecasting［J］. Journal of Zhengzhou university （natural science edition）， 2022， 54（2）： 81-88.

［11］楊妥， 李萬(wàn)龍， 鄭山紅. 融合情感分析與SVM_LSTM模型的股票指數(shù)預(yù)測(cè)［J］. 軟件導(dǎo)刊， 2020， 19（8）： 14-18.

YANG T， LI W L， ZHENG S H. Stock index prediction based on SVM_LSTM model with emotion analysis［J］. Software guide， 2020， 19（8）： 14-18.

［12］ZHANG Y A， YAN B B， AASMA M. A novel deep learning framework： prediction and analysis of financial time series using CEEMD and LSTM［J］. Expert systems with applications， 2020， 159： 113609.

［13］DING Q G， WU S F， SUN H， et al. Hierarchical multi-scale Gaussian transformer for stock movement prediction［EB/OL］.（2020-07-01）［2023-03-11］. https：∥www.ijcai.org/proceedings/2020/0640.pdf.

［14］HOLLAND J H. Adaptation in natural and artificial systems： an introductory analysis with applications to biology， control， and artificial intelligence［M］. Cambridge： MIT Press， 1992.

［15］LIU S S， ZHANG S， ZHANG X， et al. R-trans： RNN transformer network for Chinese machine reading comprehension［J］. IEEE access， 2019， 7： 27736-27745.

［16］ZHOU H Y， ZHANG S H， PENG J Q， et al. Informer： beyond efficient transformer for long sequence time-series forecasting［J］. Proceedings of the AAAI conference on artificial intelligence， 2021， 35（12）： 11106-11115.

［17］VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all You need［C］∥Proceedings of the 31st International Conference on Neural Information Processing Systems. New York： ACM Press， 2017： 6000-6010.

［18］KITAEV N， KAISER ， LEVSKAYA A. Reformer： the efficient transformer［EB/OL］.（2020-01-13）［2023-03-12］. https：∥arxiv.org/abs/2001.04451.pdf.

［19］CHOROMANSKI K， LIKHOSHERSTOV V， DOHAN D， et al. Rethinking attention with performers［EB/OL］. （2020-09-30）［2023-03-12］. https：∥arxiv.org/abs/2009.14794.pdf.