XGBoost-ESN組合模型股價預(yù)測方法

谷嘉煒，韋慧

摘要：提出XGBoost-ESN組合模型股價預(yù)測方法.使用網(wǎng)格搜索法對XGBoost模型和ESN模型進行參數(shù)優(yōu)化并改進模型結(jié)構(gòu)，利用最小二乘法聯(lián)合XGBoost和ESN進行數(shù)據(jù)預(yù)測.測試結(jié)果表明，改進的XGBoost-ESN組合模型能有效減少預(yù)測誤差，對股票價格預(yù)測的精度更高.

關(guān)鍵詞：XGBoost;ESN;網(wǎng)格搜索;最小二乘法;股價預(yù)測

[中圖分類號]TP181[文獻標(biāo)志碼]A

XGBoost-ESN Combined Model Stock Price Prediction Method

GU Jiawei*，WEI Hui

（College of Mathematics and Big Data，Anhui University of Science and Technology，Huainan 232000，China）

Abstract：A stock price prediction method of XGBoost-ESN combined model is proposed.The grid search method is used to optimize the parameters of the XGBoost model and the ESN model and improve the model structure.The least square method is used to combine the XGBoost and ESN for data prediction.The test results show that the improved XGBoost-ESN combination model can effectively reduce the prediction error and has higher accuracy in stock price prediction.

Key words：XGBoost;ESN;grid search;least square method;stock price prediction

面對不穩(wěn)定的股票市場，如何合理、充分地預(yù)測股票價格一直是學(xué)者研究的重點問題.機器學(xué)習(xí)方法憑借其強大的網(wǎng)絡(luò)模型結(jié)構(gòu)和較好的泛化能力，在股票價格預(yù)測領(lǐng)域得到了廣泛應(yīng)用.然而單一模型在處理非線性問題時效果并非十分理想.單一預(yù)測模型難以全面反映數(shù)據(jù)信息、充分挖掘數(shù)據(jù)中隱藏規(guī)律.組合模型可以在一定程度上克服這些不足，提升預(yù)測精度，預(yù)測性能更好、預(yù)測精度較高.任君[1]等將支持向量機和長短期記憶網(wǎng)絡(luò)與Lasso方法相結(jié)合，預(yù)測股票漲跌.李敬德[2]等基于信息熵和BP神經(jīng)網(wǎng)絡(luò)對信號奇異點進行智能識別和定位.熊景華[3]等組合隨機森林算法和模糊信息粒化，提升匯率預(yù)測精度.王徐凱[4]等組合長短期記憶網(wǎng)絡(luò)和隨機森林，精準(zhǔn)預(yù)測武漢市PM2.5濃度.

XGBoost （eXtreme gradient boosting）算法有優(yōu)化速度快、時間復(fù)雜度低、預(yù)測精度高等優(yōu)點.[5]ESN（echo state network）[6]是一種改進的RNN模型，解決了RNN的梯度消失和爆炸問題，很好地克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)帶來的不足.該模型具有的短期記憶能力可應(yīng)用于股票價格預(yù)測中，使預(yù)測誤差明顯低于其他方法，極大地提升了股票價格預(yù)測精度.[7]黃卿[8]將XGBoost模型應(yīng)用于股票價格的預(yù)測，其預(yù)測精度顯著高于神經(jīng)網(wǎng)絡(luò)和支持向量機.胡郁蔥[9]等將XGBoost算法應(yīng)用于共享單車短時需求量預(yù)測，預(yù)測結(jié)果對比BP神經(jīng)網(wǎng)絡(luò)、ARMA、KNN算法具有更優(yōu)的預(yù)測能力.王燕[10]等將改進的XGBoost算法應(yīng)用于短期股價預(yù)測中，預(yù)測結(jié)果相比梯度增強決策樹和支持向量機具有更高的預(yù)測精度.莊仲[11]等提出一種包含兩個儲備池的回聲狀態(tài)網(wǎng)絡(luò)預(yù)測廣州市的每日電量，預(yù)測精度較高.李莉[12]等提出ESNGTP模型并用于個股每日收盤價預(yù)測，表明該模型具有較優(yōu)的預(yù)測能力.陳明揚[13]等提出AFOA-ESN模型用于旅游需求預(yù)測，預(yù)測結(jié)果對比自回歸移動平均、支持向量機、BP神經(jīng)網(wǎng)絡(luò)算法具有更高的預(yù)測精度.鑒于XGBoost及ESN在股票價格預(yù)測上表現(xiàn)出的良好性能，本文融合XGBoost與ESN模型，引入網(wǎng)格搜索法[14]，對兩種模型的參數(shù)進行優(yōu)化，給出XGBoost-ESN組合模型，用于股票價格預(yù)測.

1XGBoost-ESN組合模型

1.1XGBoost模型

XGBoost集成弱分類器為一個強分類器[5]，算法訓(xùn)練過程核心在于不斷地進行迭代，生成一棵新樹擬合前一棵樹的殘差，以此來達到更高的精度.利用XGBoost算法較好擬合股票價格數(shù)據(jù)的優(yōu)勢，以達到降低預(yù)測誤差的目的，提升預(yù)測精度.

使用CART回歸樹模型，XGBoost模型表達式為：

y︿i=∑Kk=1fk（xi），fk∈F.（1）

式中，y︿i為預(yù)測值，fk是第k棵決策樹，K為樹的數(shù)目，xi為輸入的第i個數(shù)據(jù)，F(xiàn)為所有可能的CART集合.

模型的目標(biāo)函數(shù)為：

O bj=∑i=1l（y︿，yi）+∑kΩ （fk）+c，

Ω （fk）=γT+12λ‖ω‖2=γT+12λ∑Tj=1ω2j.（2）

其中，l（yi，y︿i）為損失函數(shù)，Ω （fk）表示正則項，γ和λ是對模型的懲罰系數(shù)，T和ω表示第k棵樹的葉子樹目和葉子權(quán)重;c是常數(shù)項.

為了簡化損失函數(shù)，使用加法模型，即迭代不影響原模型，每一次添加一個新函數(shù)到模型里，化簡后得公式（3）：

O bj（t）≈∑ni=1gift（xi）+12hif2t（xi）+Ω （ft）.（3）

其中，gi=y︿（t-1）lyi，y︿（t-1）i，hi=2y︿（t-1）lyi，y︿（t-1）i.公式（3）與正則項合并同類項后得到公式（4）：

O bj（t）≈∑Tj=1∑i∈Ijgiωj+12∑i∈Ijhi+λω2j+γT

=-12∑Tj=1G2jHj+λ+γT.（4）

其中，Gj=∑i∈I，Hj=∑i∈Ihi.

1.2回聲狀態(tài)網(wǎng)絡(luò)ESN

回聲狀態(tài)網(wǎng)絡(luò)由三部分組成[15]：一個隨機生成的輸入層，一個高維稀疏的儲備池，以及一個唯一需要學(xué)習(xí)的輸出層.其中，輸入層權(quán)重和儲備池權(quán)重都是從特定分布中隨機采樣生成并在訓(xùn)練階段固定，無需學(xué)習(xí)，而唯一需要學(xué)習(xí)的輸出層權(quán)重可以通過回歸方法簡單求解.回聲狀態(tài)網(wǎng)絡(luò)的核心結(jié)構(gòu)儲備池類似于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的隱含層，包含大量稀疏連接的神經(jīng)元，可以通過調(diào)整網(wǎng)絡(luò)內(nèi)部權(quán)值達到短期訓(xùn)練記憶功能.模型的拓撲結(jié)構(gòu)如圖1所示.

圖1中，ESN具有K個輸入節(jié)點、N個隱層節(jié)點和L個輸出節(jié)點.其中，Win是輸入層到儲備池的反饋，Wres為儲備池內(nèi)部的反饋矩陣，Wout是儲備池到輸出層的反饋，Wback表示輸出層到儲備池的反饋.在t時刻輸入層的輸入為u（t）=u1（t），u2（t），…，uK（t）T，儲備池內(nèi)部狀態(tài)為x（t）=x1（t），x2（t），…，xN（t）T.回聲狀態(tài)網(wǎng)絡(luò)從特定的初始回聲狀態(tài)x（0）開始進行前向傳播計算，其回聲狀態(tài)更新公式以及輸出更新公式為：

x（t+1）=gWin×u（t+1）+Wres×x（t）+Wback×y（t）.（5）

y（t+1）=goutWoutx（t+1），u（t+1），y（t）.（6）

其中g(shù)和gout為對應(yīng)的激活函數(shù).

在ESN訓(xùn)練過程中，Win，Wback和Wres隨機初始化生成后保持固定不變，Wout需要訓(xùn)練生成.

1.3XGBoost-ESN組合模型

采用網(wǎng)格搜索法對XGBoost和ESN模型進行參數(shù)優(yōu)化.網(wǎng)格搜索法[14]排列組合各個參數(shù)的可能取值，劃分網(wǎng)格，逐一訓(xùn)練參數(shù)取各網(wǎng)格點時的模型，最后返回一個最佳參數(shù)組合，將模型調(diào)整至最優(yōu).由于每個參數(shù)組合相互獨立，網(wǎng)格搜索法有著可并行高且搜索更加全面的優(yōu)點.

為解決選擇默認參數(shù)影響模型性能的問題，構(gòu)建改進的XGBoost和改進的ESN預(yù)測模型.基于XGBoost與ESN加權(quán)融合的組合模型進行股價預(yù)測，利用模型結(jié)構(gòu)的差異性提升融合預(yù)測結(jié)果的準(zhǔn)確性.首先由XGBoost和ESN模型分別對股價進行預(yù)測，然后根據(jù)最小二乘法賦予權(quán)重，最后給出模型最終預(yù)測結(jié)果.

設(shè)XGBoost和ESN在t時刻的預(yù)測值分別為P1（t），P2（t），假設(shè)XGBoost和ESN的權(quán)重分別為α1，α2，最終的預(yù)測結(jié)果為：

P（t）=α1P1（t）+α2P2（t），α1+α2=1.（7）

其中，α1，α2的值由最小二乘法確定.改進的XGBoost-ESN組合模型構(gòu)建流程如圖2所示.

1.4評價指標(biāo)

為了評價模型的預(yù)測精度，使用均方根誤差（RMSE）和平均百分比誤差（MAPE）作為衡量指標(biāo).

RMSE=1n∑ni=1（yi-y︿i）2.（8）

MAPE=100%n∑ni=1y︿i-yiyi.（9）

式中，yi表示第i天調(diào)整后的股票收盤價真實值，y︿i表示預(yù)測值，n為樣本個數(shù).

2實驗及其結(jié)果分析

2.1數(shù)據(jù)選取及預(yù)處理選取蘋果（AAPL）、CRSP美國總市場指數(shù)（VTI）、比亞迪（002594）、格力電器（000651）四組包含國內(nèi)外公司和市場指數(shù)的股票價格作為預(yù)測目標(biāo).選取從2018年1月1日到2020年12月31日的日交易數(shù)據(jù)（下載自Python中pandas-datareader包下的Yahoo財經(jīng)），包括每天的開盤價、最高價、最低價、收盤價、交易量和調(diào)整后的收盤價，目標(biāo)變量為調(diào)整后的收盤價，驗證融合模型方法對股市預(yù)測的有效性.

處理后的數(shù)據(jù)分為80%的訓(xùn)練集和20%測試集，分別用來訓(xùn)練模型以及評估模型預(yù)測效果.為了拓展模型的預(yù)測范圍，縮放序列集合的特征值均值為0，方差為1.利用這些縮放的特征值做預(yù)測，得到的預(yù)測值也做同樣的縮放處理.

2.2參數(shù)優(yōu)化

對訓(xùn)練集數(shù)據(jù)，結(jié)合網(wǎng)格搜索算法的思想優(yōu)化XGBoost模型和ESN模型參數(shù)，選擇最優(yōu)參數(shù)組合.以蘋果公司股票為例討論XGBoost模型參數(shù)優(yōu)化.

XGBoost算法參數(shù)有三類：通用參數(shù)，由宏觀函數(shù)控制;Booster參數(shù)，調(diào)控每次迭代的模型;學(xué)習(xí)目標(biāo)參數(shù)，控制訓(xùn)練目標(biāo)和度量方法.Booster參數(shù)是對模型效果影響較大的部分，也是調(diào)參的重點.本文依次調(diào)節(jié)模型中的各參數(shù)，結(jié)果見表1.

ESN儲存池一般都是隨機初始化的，這樣的模型結(jié)構(gòu)很難達到最優(yōu).因此本文主要用網(wǎng)格搜索法優(yōu)化對ESN性能影響較大的兩個關(guān)鍵參數(shù)、儲存池譜半徑和儲備池縮放因子.步驟：（1）構(gòu)建評價指標(biāo)函數(shù);（2）對儲備池譜半徑和稀疏性參數(shù)執(zhí)行網(wǎng)格搜索（設(shè)置變化范圍：譜半徑[0.5，1.5]、稀疏性[0.001，0.01]）;（3）對于每一組（譜半徑、稀疏性），訓(xùn)練RC并進行預(yù)測;（4）對于每個驗證集，計算RMSE并存儲它;（5）顯示譜半徑和稀疏性不同值時的均方根誤差并給出模型最優(yōu)參數(shù).

2.3實驗結(jié)果分析

對數(shù)據(jù)集后20%的數(shù)據(jù)進行預(yù)測，并與移動平均、線性回歸、XGBoost和ESN模型預(yù)測的值進行對比，預(yù)測結(jié)果見表2.由表2可知，改進的XGBoost-ESN組合模型表現(xiàn)出良好的預(yù)測性能，改進算法提高了預(yù)測的精度.

圖3-圖6為測試集的預(yù)測結(jié)果，顯示改進的XGBoost-ESN組合模型股價預(yù)測值與實際值擬合度較高，表明對XGBoost模型和ESN模型分別使用網(wǎng)格搜索法進行參數(shù)優(yōu)化后，可以有效改進模型結(jié)構(gòu)提升模型性能，使股票價格的預(yù)測精度較高.

3結(jié)論

本文提出XGBoost-ESN組合模型股價預(yù)測方法.使用網(wǎng)格搜索法對XGBoost模型和ESN模型進行參數(shù)優(yōu)化并改進模型結(jié)構(gòu)，利用最小二乘法聯(lián)合XGBoost和ESN進行數(shù)據(jù)預(yù)測.對蘋果、CRSP美國總市場指數(shù)、格力電器、比亞迪四支股票進行分析預(yù)測的結(jié)果表明，改進的XGBoost-ESN組合模型性能明顯優(yōu)于傳統(tǒng)預(yù)測模型和單一模型方法，具有更高的預(yù)測精度.

模型還存在選擇的輸入特征參數(shù)不夠全面等問題，后期考慮增加影響股票行情變化的新聞輿論、公司狀況、國家政策、股民情緒等特征來訓(xùn)練模型，進一步提升模型的預(yù)測精度.

參考文獻

[1]任君，王建華，王傳美，等.基于ELSTM-L模型的股票預(yù)測系統(tǒng)[J].統(tǒng)計與決策，2019，35（21）：160-164.

[2]李敬德，康維新.基于信息熵和BP神經(jīng)網(wǎng)絡(luò)的信號奇異點智能檢測[J].牡丹江師范學(xué)院學(xué)報：自然科學(xué)版，2017（4）： 1-5+43.

[3]熊景華，茹璟.基于隨機森林算法和模糊信息?；膮R率預(yù)測組合模型研究[J].數(shù)量經(jīng)濟技術(shù)經(jīng)濟研究，2021，38（1）：135-156.

[4]王徐凱，余華銀，楊桂元，等.基于多層組合模型的武漢市月平均PM2.5濃度預(yù)測[J].牡丹江師范學(xué)院學(xué)報：自然科學(xué)版，2021（1）：7-11.

[5]Chen T，Guestrin C.XGBoost：A scalable tree boosting system[C]//ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.San Francisco，USA：ACM，2016：785-794.

[6]Jaeger，H.Harnessing Nonlinearity：Predicting chaotic systems and saving energy in wireless communication[J].Science，2004，304（5667）：78-80.

[7]Lee M C.Using support vector machine with a hybrid feature selection method to the stock trend prediction[J].Expert Systems with Applications，2009，36（8）：10896-10904.

[8]黃卿，謝合亮.機器學(xué)習(xí)方法在股指期貨預(yù)測中的應(yīng)用研究—基于BP神經(jīng)網(wǎng)絡(luò)、SVM和XGBoost的比較分析[J].數(shù)學(xué)的實踐與認識，2018，48（8）：297-307.

[9]胡郁蔥，張筑杰，王曉晴.基于Xgboost算法的共享自行車短時需求預(yù)測研究[J].武漢理工大學(xué)學(xué)報：交通科學(xué)與工程版，2019，43（2）：231-235+241.

[10]王燕，郭元凱.改進的XGBoost模型在股票預(yù)測中的應(yīng)用[J].計算機工程與應(yīng)用，2019，50（20）：202-207.

[11]莊仲，伍銘妍，劉沖.基于雙儲備池回聲狀態(tài)網(wǎng)絡(luò)的電力負荷預(yù)測[J].控制工程，2020，27（6）：1032-1036.

[12]李莉，程露.基于改進回聲狀態(tài)神經(jīng)網(wǎng)絡(luò)的個股股價預(yù)測[J].計算機系統(tǒng)應(yīng)用，2020，29（2）：212-218.

[13]陳明揚，王林，余曉曉.改進果蠅算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)的旅游需求預(yù)測研究[J].計算機工程與科學(xué)，2020，42（2）：307-316.

[14] Hokamp C，Liu Q.Lexically constrained decoding for sequence generation using grid beam search[J].Association for Computational Linguistics，2017，55（1）：1535-1546.

[15]Jaeger H."echo state" approach to analyzing and training recurrent neural networks[R].Berlin：German National Research Center for Information Technology，2011.

編輯：琳莉