基于XGBoost、LightBGM與LSTM對股票價格與交易量的預(yù)測

邱創(chuàng)杰?許統(tǒng)洭?林哲?徐燁熙?黃瀅瀅

摘要：通過樹模型的測試結(jié)合，可以看出樹模型對非平穩(wěn)序列的較好擬合作用，可以基本確定價格與成交量的回歸數(shù)值。同時，考慮的是在 30 個 tick_time的價格與交易量，計算開銷較大，因此本文使用基于樹模型的集成算法—XGBoost 和 LightGBM。這兩種算法均是以回歸樹為模型，將多棵回歸樹預(yù)測得到的結(jié)果進行權(quán)重判斷，將葉節(jié)點以及根節(jié)點融合，預(yù)測出回歸數(shù)據(jù)。為了進一步提高回歸數(shù)據(jù)的準確性，本文融合了時間開銷較大的 LSTM 神經(jīng)網(wǎng)絡(luò)。LSTM 模型作為滯后算法，可以很好結(jié)合本題所提高的時間序列問題，為了提高模型準確性以及增強模型的魯棒性，本文進行了特征構(gòu)造——構(gòu)建了時間特征日均線、自相關(guān)系數(shù)、統(tǒng)計量特征、WR、RSI 作為特征。通過簡單加權(quán)平均融合，用融合后的數(shù)據(jù)作為價格與交易量的預(yù)測。最后，本文使用 MSE 作為評價指標，結(jié)果表明基于樹模型和 LSTM 的預(yù)測數(shù)據(jù)的 MSE 小于 0.1，因此本文認為預(yù)測結(jié)果準確。[1]

關(guān)鍵詞：XGBoost;LightBGM;LSTM;WR;PSI

1.引言

股票是金融市場的重要組成部分。股票的價格往往隨著時間而發(fā)生變化。股票的價格變化是投資者經(jīng)常受關(guān)注的，因此能否預(yù)測股票價格和交易量對交易者在進行交易選擇具有重大的參考價值。

2.模型的建立

（1）構(gòu)造特征

本文對題目所給數(shù)據(jù)構(gòu)造了多個時間特征以及統(tǒng)計量特征，本文構(gòu)造了指標：自相關(guān)系數(shù)、RSI 系數(shù)、五日均線等。自相關(guān)系數(shù)公式如下：

（2）數(shù)據(jù)預(yù)處理即歸一化

建立在問題一的基礎(chǔ)上，本文發(fā)現(xiàn)在 8.25 股票存在噪聲，為了提高模型的準確性以及收斂速度，本文剔除了 10 支股票在 8.25 當前tick成交量的異常值。使用MIN-MAXScaler 函數(shù)對價格與交易量數(shù)據(jù)以及RSI系數(shù)等指標進行歸一化，將數(shù)值范圍限定在 [0，1] 之間。歸一化公式如下：

（3）建立 XGBoost 以及 LightGBM 樹模型、LSTM 神經(jīng)網(wǎng)絡(luò)模型

樹模型通過生成多個回歸樹，將葉子節(jié)點以及根節(jié)點綜合考慮，集成時間、價格、交易量進行回歸，得到兩組價格與交易量的預(yù)測值。

神經(jīng)網(wǎng)絡(luò)通過建立輸入層和隱藏層、輸出層，將構(gòu)造好的特征作為輸入層感知，形成神經(jīng)網(wǎng)絡(luò)層進行回歸，得到一組價格與交易量的預(yù)測值。

XGBoost 樹模型公式如下：

LightGBM 樹模型公式如下：

（4）調(diào)節(jié)模型參數(shù)以及評價模型

之后，通過調(diào)節(jié)模型參數(shù)來讓訓(xùn)練器更好訓(xùn)練題目所給數(shù)據(jù)，以此達到訓(xùn)練器最好的回歸效果，本文通過網(wǎng)格搜索法對樹模型的特征進行窮舉，對于每個超參數(shù)構(gòu)建一個較小的有限集合進行探索，以此來讓模型達到更好的回歸效果。最后，本文使用 MSE作為評價指標用來評價模型的優(yōu)良性。MSE 評價公式如下：

（5）模型融合

模型融合通過將不同訓(xùn)練器回歸的三組數(shù)據(jù)進行幾何平均來達到一個更好的回歸數(shù)據(jù)，對于本題中高度復(fù)雜，高度無序性的股票，進行樹模型和神經(jīng)網(wǎng)絡(luò)的融合，可以有著更好的回歸預(yù)測效果。

3.問題的求解

首先，為了能夠很好的提高樹模型以及神經(jīng)網(wǎng)絡(luò)模型的準確性，從而更好的預(yù)測價格與交易量，因此本文根據(jù)已有的價格與成交量數(shù)據(jù)，構(gòu)建了時間特征——日均線、自相關(guān)系數(shù)、統(tǒng)計量特征——WR、RSI 系數(shù)。以使提高數(shù)據(jù)集的復(fù)雜程度，同時自相關(guān)系數(shù)表明了序列的平穩(wěn)性，WR 系數(shù)表明了序列的震蕩程度，RSI 系數(shù)表明了未來市場的走勢。

當 T 值大于5% 的值時說明序列平穩(wěn)，當 T 值小于5% 的值時說明序列不平穩(wěn)。從上表可以看出：平安銀行的成交量 T 值小于5% 的值說明序列不平穩(wěn)，價格 T 值大于5% 的值說明序列平穩(wěn)。

隨后，為了更好地讓訓(xùn)練器準確地預(yù)測數(shù)據(jù)，在剔除 8.25 異常數(shù)據(jù)后，進行歸一化，將數(shù)據(jù)限定在區(qū)間 [0，1]，從而，更好地讓樹模型和 LSTM 準確地回歸預(yù)測數(shù)據(jù)。

之后， 將數(shù)據(jù)分別導(dǎo)入 XGBoost 和 LightBGM 樹模型和 LSTM 神經(jīng)網(wǎng)絡(luò)。在樹模型中將構(gòu)造好的特征以及時間作為 X，把要預(yù)測的股票價格作為 Y，通過模型訓(xùn)練得到回歸數(shù)據(jù)。而在神經(jīng)網(wǎng)絡(luò)之中，使用移動窗口滯后算法，結(jié)合構(gòu)造后的特征，回歸得出預(yù)測數(shù)據(jù)。[2]

在得出回歸數(shù)據(jù)后，使用網(wǎng)格搜索法對樹模型參數(shù)進行調(diào)整，直至 MSE 評價指標最低;而針對 LSTM 模型的調(diào)參，考慮到 LSTM 算法時間開銷大，不使用網(wǎng)格搜索法，更多的依賴于個人經(jīng)驗。對于不同股票的數(shù)據(jù)為防止欠擬合，本文調(diào)整了不同的訓(xùn)練輪回。[3]

在對樹模型和 LSTM 的調(diào)參之后，將這幾個模型的回歸預(yù)測數(shù)據(jù)，進行幾何平均得到模型融合的結(jié)果。

4.總結(jié)

通過XGBoost、LightGBM和LSTM對十只股票30個tick _time的價格和交易量的預(yù)測，構(gòu)建了時間特征日均線、自相關(guān)系數(shù)、統(tǒng)計量特征、WR、RSI 作為其特征。最后通過簡單加權(quán)平均融合，用融合后的數(shù)據(jù)作為價格與交易量的預(yù)測并且本文計算出來的MSE偏小，驗證了本文模型的準確性。綜上所述，這有利于交易者進行交易的時候做出合理的選擇。

參考文獻：

[1]李輝.基于RF-LSTM組合模型的股票價格預(yù)測[D].河南理工大學(xué)，2022.

[2]齊曉娜.深度學(xué)習(xí)算法在股票價格預(yù)測方面的研究[D].軟件，2022.

[3]武博.基于LSTM模型的股票價格預(yù)測[D].大連理工大學(xué)，2021.