基于小波去噪的ARIMA-LSTM混合模型及對(duì)股票價(jià)格指數(shù)的預(yù)測

婁磊，劉璐，劉先俊，施三支

（長春理工大學(xué) 理學(xué)院，長春 130022）

ARIMA模型由Box與Jenkins于上世紀(jì)七十年代提出[1]，廣泛應(yīng)用于時(shí)間序列的預(yù)測，并取得了非常好的效果，因此ARIMA模型也被應(yīng)用在了股票價(jià)格指數(shù)的預(yù)測上。我國經(jīng)濟(jì)學(xué)者陳守東、孟慶順、楊興武等人[2]最早于1998年對(duì)中國股票市場的有效性進(jìn)行檢驗(yàn)分析，并且應(yīng)用ARIMA模型驗(yàn)證了上海、深圳股市的同步性，得出我國股票市場還在發(fā)展初期，但他們并沒有對(duì)股指進(jìn)行預(yù)測。趙志峰[3]于2003年建立ARIMA模型對(duì)我國股票價(jià)格指數(shù)進(jìn)行預(yù)測，并得出干預(yù)模型更好的結(jié)果，同時(shí)也說明了我國市場是一個(gè)政策市場。吳玉霞、溫欣[4]在2016年使用“華泰證券”250期的股票收盤價(jià)格作為時(shí)間序列分析數(shù)據(jù)，建立ARIMA模型進(jìn)行實(shí)證檢驗(yàn)，證明了ARIMA模型在短期動(dòng)態(tài)、靜態(tài)預(yù)測效果好的特點(diǎn)。

早在二十世紀(jì)八、九十年代，許多專家學(xué)者開始探討循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），并在二十一世紀(jì)將其發(fā)展成為深度學(xué)習(xí)算法之一[5]。由于循環(huán)神經(jīng)網(wǎng)絡(luò)無法克服梯度消失和梯度爆炸的缺點(diǎn)，Sepp Hochreiter和 Jurgen Schmidhuber于 1997年提出長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）來進(jìn)行長期預(yù)測[6]，主要應(yīng)用領(lǐng)域是語言模型以及文本生成[7-8]、機(jī)器翻譯[9-11]、語音識(shí)別[12]、圖像生成等。近十多年隨著機(jī)器學(xué)習(xí)的興起，越來越多的學(xué)者用神經(jīng)網(wǎng)絡(luò)對(duì)股票價(jià)格指數(shù)進(jìn)行預(yù)測。林春燕、朱東華[13]于2006年利用了Elman神經(jīng)網(wǎng)絡(luò)對(duì)股票價(jià)格進(jìn)行預(yù)測，并得到了不錯(cuò)的效果。隨著時(shí)間的推移，我國經(jīng)濟(jì)學(xué)家開始使用混合模型進(jìn)行預(yù)測。回旋[14]認(rèn)為股票市場是一個(gè)極其復(fù)雜的非線性動(dòng)力學(xué)系統(tǒng)，具有高噪聲、非線性和投資者的盲目任意性等因素，造成其價(jià)格的波動(dòng)往往表現(xiàn)出較強(qiáng)的非線性特征，針對(duì)這些問題提出了TS模糊規(guī)則與神經(jīng)網(wǎng)絡(luò)結(jié)合的模型，并對(duì)綠景地產(chǎn)等進(jìn)行實(shí)證檢驗(yàn)。彭燕、劉宇紅[15]結(jié)合LSTM神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，先對(duì)數(shù)據(jù)進(jìn)行插值、小波去噪預(yù)處理，再通過調(diào)整LSTM層數(shù)與隱藏神經(jīng)元的個(gè)數(shù)提高預(yù)測精準(zhǔn)度。于水玲[16]于2018年基于深度學(xué)習(xí)對(duì)金融市場的波動(dòng)率進(jìn)行了預(yù)測，也取得了不錯(cuò)的效果。

綜上，對(duì)股票價(jià)格指數(shù)的研究大致可以分為三個(gè)階段。第一階段使用ARIMA模型對(duì)股票價(jià)格指數(shù)進(jìn)行預(yù)測；第二階段使用神經(jīng)網(wǎng)絡(luò)對(duì)股票價(jià)格指數(shù)進(jìn)行預(yù)測；第三階段使用各種混合模型對(duì)股票價(jià)格指數(shù)進(jìn)行預(yù)測，旨在不斷提高預(yù)測精準(zhǔn)度。

為了提高預(yù)測精度，提出了使用小波去噪后的數(shù)據(jù)，采用ARIMA-LSTM混合模型的方法進(jìn)行預(yù)測。采集2009年7月至2018年12月共計(jì)114個(gè)月上證指數(shù)每日收盤價(jià)格，經(jīng)小波去噪法預(yù)處理后做為訓(xùn)練集，對(duì)2019年1月至2019年6月共計(jì)6個(gè)月的上證指數(shù)進(jìn)行實(shí)證預(yù)測，預(yù)測結(jié)果與單獨(dú)使用ARIMA模型與LSTM神經(jīng)網(wǎng)絡(luò)模型相比，ARIMA-LSTM混合模型效果較好。

1 相關(guān)的模型理論簡介

1.1 ARIMA模型

假設(shè)有時(shí)間序列輸入為x1,x2,…,xT,{εt}是高斯白噪聲，則：

為求和自回歸滑動(dòng)平均模型，記為ARIMA(p,d,q)，其中d為差分的階數(shù)，p，q為自回歸與滑動(dòng)平均的階數(shù)，且：

式中，B表示后移算子。根據(jù)平穩(wěn)性的要求，多項(xiàng)式φ(z)和θ(z)的根在單位圓外，即|z|>1。

1.2 LSTM模型

當(dāng)序列長度很大時(shí)，RNN模型會(huì)發(fā)生爆炸/消失梯度，因此很難捕獲序列數(shù)據(jù)中的長期相關(guān)性，為了克服RNN模型缺點(diǎn)，Sepp Hochreiter和Jurgen Schmidhuber提出了 LSTM模型[6]。

假設(shè)有時(shí)間序列輸入為x1,x2,…,xT，LSTM模型有如下形式：

其中，W是具有適當(dāng)維數(shù)的大權(quán)重矩陣，且：

根據(jù)LSTM的結(jié)構(gòu)，單元狀態(tài)向量Ct表示攜帶序列信息，遺忘門ft決定Ct-1的值在時(shí)間t內(nèi)保留多少，輸入門it控制單元狀態(tài)的更新量，輸出門Ot給出Ct向ht顯示多少，b表示偏差權(quán)重向量（例如，bi是輸入門的偏差權(quán)重向量），σ為sigmoid或relu函數(shù)。LSTM具有類似RNN的鏈?zhǔn)浇Y(jié)構(gòu)，如圖1所示，但是與RNN相比較而言，LSTM的結(jié)構(gòu)相對(duì)復(fù)雜。

圖1 LSTM結(jié)構(gòu)圖

LSTM包含一個(gè)特殊的單元，即遞歸隱藏層中的內(nèi)存塊。這些內(nèi)存塊包含具有自連接的內(nèi)存單元，這些內(nèi)存單元存儲(chǔ)網(wǎng)絡(luò)的時(shí)間狀態(tài)，此外還包含特殊乘法單元“門”，用于控制信息流。每個(gè)內(nèi)存塊都包含一個(gè)輸入門和一個(gè)輸出門和遺忘門。

假設(shè)包含一個(gè)LSTM層的三層長短期記憶網(wǎng)絡(luò)輸入向量序列為x=(x1,…,xT)，輸出向量序列h=(h1,…,hT)，則LSTM的向前傳播流程可以用如下具體表示：

其中，t=1,…,T。內(nèi)模塊輸出ht受到四個(gè)輸入的加權(quán)影響，并且在學(xué)習(xí)時(shí)還要將拼接的權(quán)重W進(jìn)行分割，即：

1.3 ARIMA-LSTM混合模型

假設(shè)有時(shí)間序列輸入為x1,x2,…,xT,ARIMALSTM混合模型有如下形式：

ARIMA模型對(duì)數(shù)據(jù)線性部分有很好的擬合效果，而LSTM模型對(duì)非線性數(shù)據(jù)有好的預(yù)測效果，而上證指數(shù)的收盤價(jià)也同時(shí)具有線性和非線性成分，基于誤差的補(bǔ)償思想給出ARIMA-LSTM混合模型可對(duì)上證指數(shù)進(jìn)行預(yù)測.由于股票數(shù)據(jù)的高波動(dòng)性，因此在預(yù)測前對(duì)數(shù)據(jù)進(jìn)行小波去噪預(yù)處理，來剔除異常數(shù)據(jù)可以提高預(yù)測準(zhǔn)確率，這里用平均絕對(duì)誤差（MAE）和均方根誤差（RMSE）：

作為評(píng)價(jià)模型預(yù)測效果，預(yù)測步驟如下：第一步使用小波去噪法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理；第二步建立ARIMA預(yù)測模型；第三步進(jìn)行模型檢驗(yàn)；第四步使用ARIMA模型預(yù)測；第五步建立LSTM模型預(yù)測殘差序列；第六步加和得到ARIMA-LSTM混合模型的預(yù)測結(jié)果；第七步進(jìn)行誤差分析。預(yù)測的流程圖如圖2所示。

圖2 基于小波去噪的ARIMA-LSTM預(yù)測模型流程圖

2 實(shí)證分析

以原始的和經(jīng)小波去噪后的2009年7月至2018年12月共計(jì)114個(gè)月的上證指數(shù)每日收盤價(jià)格作為訓(xùn)練集，建立ARIMA模型處理數(shù)據(jù)的線性部分，再利用LSTM模型擬合非線性數(shù)據(jù)效果好的優(yōu)點(diǎn)，對(duì)ARIMA模型無法擬合的殘差進(jìn)行擬合，用ARIMA-LSTM混合模型對(duì)2019年1月至2019年6月共計(jì)6個(gè)月的上證指數(shù)每日收盤價(jià)格進(jìn)行預(yù)測。

由Occam’s Razor法則知，誤差相同時(shí)模型越小其效果就會(huì)越好。因此常用AIC信息準(zhǔn)則、BIC信息準(zhǔn)則來對(duì)ARIMA模型進(jìn)行定階。由于股票價(jià)格指數(shù)高波動(dòng)性等因素，有時(shí)通過理論知識(shí)選出的最優(yōu)模型不一定是預(yù)測效果最好的，所以根據(jù)不同的訓(xùn)練集，分別建立幾組不同的模型，對(duì)模型檢驗(yàn)后，用平均絕對(duì)誤差（MAE）和均方根誤差（RMSE）作為評(píng)價(jià)模型預(yù)測效果的標(biāo)準(zhǔn)進(jìn)行預(yù)測誤差分析，選出不同訓(xùn)練集下的誤差最小的模型。

在建立LSTM模型預(yù)測時(shí)，通過增加訓(xùn)練次數(shù)來提高預(yù)測精度。在實(shí)證分析中參數(shù)Dropout設(shè)為0.2，采用3層神經(jīng)網(wǎng)絡(luò)，時(shí)間步長設(shè)置為20，每批訓(xùn)練60個(gè)樣本數(shù)據(jù)，學(xué)習(xí)率設(shè)為0.000 6，輸入層到隱藏層之間的激活函數(shù)使用tanh函數(shù)，預(yù)測時(shí)將訓(xùn)練次數(shù)從800次增加到2 000次，每次訓(xùn)練都增加100次并記錄結(jié)果。

建立不同模型在不同訓(xùn)練集下的最優(yōu)模型誤差對(duì)比如表1所示。

表1 不同訓(xùn)練集下的最優(yōu)模型誤差對(duì)比

根據(jù)表1的誤差對(duì)比可以看出：訓(xùn)練集經(jīng)小波去噪預(yù)處理后，再進(jìn)行建模預(yù)測得到的預(yù)測結(jié)果要好于用未經(jīng)預(yù)處理作為訓(xùn)練集的預(yù)測結(jié)果，去噪后的混合模型和單模型預(yù)測效果圖、誤差對(duì)比分別如圖3、表2所示。

圖3 單模型和去噪后的混合模型預(yù)測效果圖

表2 三種去噪后的模型預(yù)測誤差對(duì)比

根據(jù)表2的誤差對(duì)比可以看出：第一，去噪后的ARIMA模型的MAE和RMSE均遠(yuǎn)遠(yuǎn)小于去噪后的LSTM模型，由此說明比起LSTM模型，ARIMA模型可以更好的擬合我國股票價(jià)格指數(shù)，而ARIMA模型主要用來擬合時(shí)間序列中的線性部分，所以股票價(jià)格指數(shù)中大部分?jǐn)?shù)據(jù)是線性的，但是股票價(jià)格具有高波動(dòng)性等不可控因素，因此對(duì)非線性因素預(yù)測也至關(guān)重要；第二，去噪后的ARIMA-LSTM混合模型的MAE和RMSE均稍微小于單獨(dú)建立去噪后的ARIMA模型的MAE和RMSE，因此建立LSTM模型對(duì)殘差進(jìn)行擬合，將結(jié)果與單獨(dú)建立ARIMA模型預(yù)測的結(jié)果相加后得到結(jié)果更加接近真實(shí)值，所以去噪后的ARIMA-LSTM混合模型可以提高預(yù)測精度。

3 結(jié)論

通過實(shí)證分析對(duì)ARIMA模型、LSTM模型以及ARIMA-LSTM混合模型的預(yù)測效果進(jìn)行了對(duì)比，結(jié)果表明基于小波去噪的ARIMA-LSTM混合模型對(duì)上證指數(shù)收盤價(jià)格進(jìn)行預(yù)測效果最好，其次是ARIMA模型，最后是LSTM模型。這是因?yàn)楣善眱r(jià)格指數(shù)中大部分?jǐn)?shù)據(jù)是呈線性趨勢的，與LSTM模型相比ARIMA模型可以更好的擬合線性數(shù)據(jù)，所以單獨(dú)建立ARIMA模型預(yù)測的效果要比單獨(dú)建立LSTM模型的預(yù)測效果好；由于股票價(jià)格指數(shù)具有高波動(dòng)性等因素，線性數(shù)據(jù)中也會(huì)參雜非線性數(shù)據(jù)，因此給出基于誤差補(bǔ)償思想的去噪ARIMA-LSTM混合模型，在建立ARIMA模型對(duì)線性數(shù)據(jù)擬合后，再建立LSTM模型對(duì)非線性殘差數(shù)據(jù)進(jìn)行擬合，進(jìn)一步提高了預(yù)測的精準(zhǔn)度；該模型只適用于對(duì)我國上證指數(shù)的預(yù)測，并不適用于其它個(gè)股以及創(chuàng)業(yè)板指數(shù)的預(yù)測。