改進的NSGA-III-XGBoost算法在股票預(yù)測中的應(yīng)用

何 泳，李 環(huán)

東莞理工學(xué)院計算機科學(xué)與技術(shù)學(xué)院，廣東東莞523000

股票預(yù)測是計算機科學(xué)與金融交叉的經(jīng)典問題。新聞、政策、市場情緒等許多不確定因素都可能導(dǎo)致股票價格在短期內(nèi)發(fā)生劇烈變化。股票的時間價格序列往往被認為是動態(tài)非參數(shù)的、混亂的、嘈雜的非線性序列[1]，因此，準確的預(yù)測股票市場價格的趨勢，以最大化資本收益和最小化損失，給金融研究人員和投資者帶來挑戰(zhàn)。

傳統(tǒng)的股票預(yù)測的方法可以分為三類：基本面分析、技術(shù)分析、傳統(tǒng)統(tǒng)計分析，其中基本面分析和技術(shù)分析是對個股最常用兩種的方法，用于分析和預(yù)測股票市場行為[2]。傳統(tǒng)統(tǒng)計分析方法預(yù)測時涉及統(tǒng)計方法，例如自回歸移動平均（ARMA）和指數(shù)平滑（ES）等[3]，將股票價格的變動視為時間序列的函數(shù)，并作為回歸問題解決。然而由于股票價格變動的存在眾多內(nèi)部和外部因素且難以量化，處理海量復(fù)雜股票數(shù)據(jù)所需的工作量巨大，因此傳統(tǒng)的非人工智能方法在股價趨勢預(yù)測中往往不盡如人意[4]。近年來人工智能技術(shù)的不斷發(fā)展和股票數(shù)據(jù)易獲得的特點，越來越多機器學(xué)習(xí)和深度學(xué)習(xí)的模型用于預(yù)測股票[1]。由于機器學(xué)習(xí)模型具有更強大的大數(shù)據(jù)處理能力和學(xué)習(xí)能力，能夠處理輸入特征和預(yù)測目標之間的非線性關(guān)系，因此其預(yù)測能力通常比傳統(tǒng)的基本面分析的方式的更強[5]。通過準確的股票價格方向變動預(yù)測，投資者可以把握買賣時機，從而戰(zhàn)勝市場并獲取利潤[6]。

目前的研究中，基本的股票數(shù)據(jù)處理流程為：數(shù)據(jù)預(yù)處理、特征工程、模型訓(xùn)練、優(yōu)化、預(yù)測和評估。然而，大部分的工作都集中在預(yù)測算法而忽視了特征工程。即使深度學(xué)習(xí)可以做到全自動的特征工程，也需要在輸入模型之前進行數(shù)據(jù)預(yù)處理，好的特征工程可以使預(yù)測模型達到更好性能的同時減少運行資源[7]。因此，本文首先在特征工程方面進行數(shù)據(jù)降噪和生成技術(shù)指標，而后使用結(jié)合了多目標優(yōu)化（NSGA-III）算法和機器學(xué)習(xí)算法（XGBoost）的股票預(yù)測模型進行特征選擇并對股票的變動方向進行預(yù)測。

本文股票預(yù)測模型的優(yōu)點如下：（1）高效。本文提出的算法與深度學(xué)習(xí)中長短時記憶神經(jīng)網(wǎng)絡(luò)（long short term memory neural network，LSTM）神經(jīng)網(wǎng)絡(luò)相比，在相同的優(yōu)化次數(shù)下，準確度比后者高的同時，所需運行時間不到后者的1%。（2）可解釋性。深度學(xué)習(xí)模型普遍存在“黑盒”問題[8]，無法對特征的重要性進行評估，而本文提出算法可以得出重要性最高的特征，以供后續(xù)研究。（3）高準確度和穩(wěn)定性，本文算法與其他基準研究相比，體現(xiàn)了其預(yù)測能力和應(yīng)對不同市場數(shù)據(jù)的預(yù)測穩(wěn)定性。

1 相關(guān)工作

近幾年，深度學(xué)習(xí)在圖像識別、語音識別和自然語言處理等領(lǐng)域非常熱門，其中也包括時間序列分析。在時間序列分析中，LSTM由于其特殊的門結(jié)構(gòu)，可以記憶過去一段長度的輸入并解決了循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）中的梯度消失問題，成為研究的熱門。其中文獻[9]使用遺傳算法將均方根誤差（RMSE）作為適應(yīng)度函數(shù)，優(yōu)化了神經(jīng)網(wǎng)絡(luò)。文獻[10]采用數(shù)據(jù)增強的方式，并用一個預(yù)測LSTM 和一個防止過擬合LSTM 來提高預(yù)測性能。文獻[11]提出一個復(fù)合模型，LSTM結(jié)合了經(jīng)驗小波分解和異常值魯棒極端學(xué)習(xí)機。除了深度學(xué)習(xí)多種機器學(xué)習(xí)模型也用來開發(fā)股票預(yù)測系統(tǒng)。例如文獻[12]使用基于樹的集成學(xué)習(xí)方式，文獻[6]使用遺傳算法優(yōu)化的XGBoost，文獻[13]采用非線性高斯核函數(shù)的權(quán)重支持向量機（support vector machine，SVM）進行特征工程，并用權(quán)重K鄰近算法預(yù)測價格。

特征工程是AI 技術(shù)的重要組成，許多研究在這一部分改進來提高模型的預(yù)測性能。文獻[14]、文獻[9]和文獻[12]在原始的歷史數(shù)據(jù)上生成技術(shù)指標來預(yù)測價格。而文獻[12]在拓展特征后，采用特征提取的方式獲得新的指標。然而，過多的特征輸入不一定能提高模型的性能，反而可能導(dǎo)致“維度詛咒”的問題，造成不必要的計算消耗和模型預(yù)測能力的下降[15]。

基于以上研究的啟發(fā)，本文提出的算法在拓展特征后，采用特征選擇的方式，去除不相關(guān)的和冗余的特征，減少不必要計算開銷的同時提高模型的預(yù)測性能。進化算法通過啟發(fā)式搜索策略獲得最佳特征子集，因為其高效的全局搜索方式被廣泛應(yīng)用于特征選擇問題。目前大多數(shù)研究采用單目標的方式優(yōu)化分類精度或分類誤差來解決特征選擇的問題，而該問題可以作為最大化預(yù)測性能和最小化特征數(shù)量的多目標問題。在實際應(yīng)用中，如果能選擇較小的解集并保持較高的預(yù)測性能，那么就能減少計算量的同時提高預(yù)測性能。因此，本文的預(yù)測系統(tǒng)可以看成多目標特征選擇問題，用多目標算法解決。

2 方法與模型

為了解決高維數(shù)據(jù)的處理問題，本文通過特征選擇方式移除與目標相關(guān)性低的特征和冗余的特征，從而提高計算效率和模型性能。本文提出INSGA-III-XGBoost算法使用多目標算法進行同步特征選擇和參數(shù)優(yōu)化，選擇的特征子集和參數(shù)輸入XGBoost 模型進行訓(xùn)練預(yù)測。在本文的研究中將選擇的特征數(shù)和分類的準確度作為兩個目標。其中，選擇特征數(shù)量，即解大小的目標函數(shù)表示為：

分類準確度的計算公式為：

式中，Z為解碼方案，D為維度（特征的個數(shù)），每個維度的可能值為0 和1，式（2）中，NCar為正確預(yù)測的樣本數(shù)，NAll是所有樣本的數(shù)量。

如圖1 所示，本文采用多染色體混合編碼的方式，第一條染色體編碼了所有特征，染色體的長度等于數(shù)據(jù)的特征數(shù)量，其中0代表未選擇該特征，1代表選擇該特征將被保留。第二條染色體編碼了XGBoost 的關(guān)鍵參數(shù)。圖3 中的E為XGBoost 樹的數(shù)量，F(xiàn)為XGBoost最大特征數(shù)，L為XGBoost學(xué)習(xí)率。

圖1 個體表示Fig.1 Presentation of individual

卡方檢驗方法（Chi2）可以對特征進行相關(guān)性分析，因此在NSGA-III 算法的初始化階段，可以用Chi2 先評估特征，在所有的特征變量里提取出與目標更相關(guān)的特征，并減少相關(guān)度低的冗余特征，用于初始化種群以提高性能。公式如下：

其中，實際值指變量x的實際頻數(shù)，理論值指假設(shè)變量x與目標變量y之間獨立時，x的理論頻數(shù)。先通過Chi2 評估特征，獲得每個特征變量對目標變量的卡方值，然后根據(jù)大小排序，選擇排名靠前的特征，即是與目標變量y更相關(guān)的特征[16]。通常在Chi2 算法初始化過程中，需要保留大部分的評分較高的特征和不相關(guān)的特征的小部分以保持初始化的多樣性（考慮特征之間的相互作用）。因此，通過實驗對比，本文選擇80%最有用的特征。而如何從選擇的特征中得到最合適的特征組合，并且確定合適的特征數(shù)量又是需要考慮的問題。在本文中，采用混合初始化[17]的方法解決該問題：首先基于卡方值排序，從初始特征中選擇得分最高的80%的特征保存在WR中，對于所有個體中的80%的個體，若個體選擇的特征在WR且初始矩陣XG中選擇了該特征（對應(yīng)的值為1），則保留該特征。對于所有個體中的20%的個體，若個體選擇的特征不在WR且初始矩陣XG選擇了該特征，則保留該特征。

算法1 混合初始化

種群大小ps，特征數(shù)D，初始矩陣XG，前80%特征矩陣WR，記錄矩陣PF

XGBoost 創(chuàng)建后每個屬性的重要性得分可以直接獲得，該得分衡量特征在提升樹構(gòu)建時的重要程度。在單個決策樹，每棵樹根據(jù)特征對性能度量改進的量計算屬性重要性。在提升樹中，單個特征對性能改進的程度越大，權(quán)值越大，并將被更多提升樹所選擇，重要性越高。最后根據(jù)屬性在所有提升樹中的重要性加權(quán)求和并平均，得到最終的重要性評分。由于其與Chi2 的評估方法不同，因此會得到不同的評估結(jié)果?；贑hi2和XGBoost的集成學(xué)習(xí)種群初始化過程如下：第一部分種群使用Chi2 評估特征的卡方值，根據(jù)其大小將特征從大到小排列，然后由算法1得到初始種群a，再將種群a作為XGBoost的輸入，使用TPE（tree-structured parzen estimator）算法[18]優(yōu)化50 次參數(shù)，得到原種群和準確度合并的新種群A。第二部分種群根據(jù)XGBoost 評估特征的重要性得分，根據(jù)重要性得分將特征從大到小排列，再由算法1 得到初始種群b，再將種群b作為XGBoost的輸入，并使用TPE算法優(yōu)化50次參數(shù)，得到原種群和準確度合并的新種群B。最后將新種群A和B合并，根據(jù)準確度排序，選擇前50%的個體作為最終的初始化種群P。

NSGA-III在本文中用于解決多目標特征選擇問題。NSGA-III[19]源自NSGA-II[20]，其框架類似于NSGA-II，但對選擇運算符進行了重大更改。在NSGA-III 算法中，有一個廣泛分布在整個歸一化超平面上的一組參考點，保持種群的多樣性。因此該算法很可能找到一個對應(yīng)于這些參考點接近帕累托最優(yōu)解的支配解集。而本文提出的INSGA-III-XGBoost算法通過收集并更新每代中達到的最高準確度的解集信息，搜索近似最優(yōu)或最優(yōu)解。圖2展示了上述INSGA-III-XGBoost的過程。NSGA-III算法中某一代種群中所有個體將XGBoost 訓(xùn)練評估的適應(yīng)度，經(jīng)過選擇、交叉、變異并不斷迭代，找到最優(yōu)解。XGBoost全稱極端梯度提升樹，它是在數(shù)據(jù)科學(xué)競賽中占據(jù)主導(dǎo)地位的非深度學(xué)習(xí)算法，由陳天奇博士[21]設(shè)計開發(fā)，XGBoost 的優(yōu)勢在于其在所有場景中的可擴展性和極高的準確性。XGBoost 的可擴展性是由于算法采用加權(quán)分位數(shù)草圖程序來處理具有并行和分布式計算的近似樹學(xué)習(xí)中的實例權(quán)重。通過將可擴展性程序與梯度提升算法相結(jié)合，XGBoost可以通過利用每一個可用的硬件資源來最大化預(yù)測性能和處理速度。模型設(shè)計只關(guān)注性能和效率，能夠并行地將多個弱分類器（決策樹）通過結(jié)果加權(quán)的方式合成強分類器（提升樹），是工程領(lǐng)域最好用的算法之一。

圖2 INSGA-III-XGBoost算法Fig.2 INSGA-III-XGBoost algorithm

然而即使XGBoost在機器學(xué)習(xí)算法中取得了成功和實際普及，但很少有研究將XGBoost方法用于股市預(yù)測[22]。

3 實驗結(jié)果與討論

本文所有的實驗均在如下配置的計算機中運行。硬件信息：英特爾i5-9500（3.00 GHz）處理器、8 GB RAM；軟件信息：Python 3.8.5、Visual Studio Code 1.67.1、Jupyter notebook 6.4.6。因為市場狀態(tài)可能潛在地影響股票預(yù)測的效果，因此從不同發(fā)展程度的市場選擇指數(shù)有助于解釋算法的魯棒性。本文選擇的3 只市場指數(shù)，道瓊斯指數(shù)代表最發(fā)達市場指數(shù)，恒生指數(shù)代表比較發(fā)達市場的指數(shù)，滬深300 代表發(fā)展中市場的指數(shù)，所有數(shù)據(jù)均通過英為財情網(wǎng)（https：//cn.investing.com/）下載。數(shù)據(jù)樣本的時間段為2008年7月1日至2016年9月30日。

3.1 數(shù)據(jù)降噪

小波變化具有處理不平穩(wěn)的金融時間序列的能力，因此本文中使用了小波變化進行數(shù)據(jù)降噪。小波變換的關(guān)鍵特性是與傅里葉變換相比，它可以同時分析金融時間序列的頻率分量。因此它可以有效地處理高度不規(guī)則的金融時間序列[23]。本文使用三層sys8 小波將指數(shù)價格序列分解為時域和頻域。

3.2 生成技術(shù)指標

本文將建立兩個指標集。一個是在前人的研究中常用的指標，一個是本文生成的指標，兩個指標集進行對比。表1展示了前人研究中常用技術(shù)指標。

表1 技術(shù)指標集Table 1 Technical indicator set

表2 分類指標對比Table 2 Comparison of classification metrics

原始的歷史數(shù)據(jù)只包括開盤價、收盤價、最高價、最低價和成交量。本文通過生成技術(shù)指標的方式，將初始的5 維數(shù)據(jù)拓展為81 維數(shù)據(jù)。所有的技術(shù)指標均通過TA-Lib庫生成，可以分為六組，分別是重疊指標、動量指標、成交量指標、波動率指標、價格轉(zhuǎn)換指標和循環(huán)指標。

3.3 數(shù)據(jù)清洗和歸一化

將1 950個交易日的數(shù)據(jù)集劃分，其中訓(xùn)練集85%、測試集15%。訓(xùn)練集分為前82%訓(xùn)練模型，后18%用來驗證模型。公式（4）將數(shù)據(jù)集映射到[0，1]之間進行歸一化。

3.4 性能衡量指標

實驗采用下列的常用分類指標衡量算法性能。

其中，TP為真正率，TN為真負率，F(xiàn)P為假正率，F(xiàn)N為假負率。

3.5 單目標、多目標、改進多目標對比

3.5.1 分類指標

分別采用基于單目標的方法GA 和基于多目標的方法NSGA-III，以及基于改進后的多目標的方法INSGAIII結(jié)合XGBoost對三個數(shù)據(jù)集進行實驗，比較不同特征選擇算法的性能。采用的參數(shù)設(shè)置如下：進化代數(shù)200代，種群大小20，個體染色體數(shù)2，交叉率1，變異率0.05。實驗數(shù)據(jù)如表3所示。表中可以看出在三個數(shù)據(jù)集中，INSGA-III-XGBoost算法在準確度、F1-score、AUC上均取到兩個最佳，兩個多目標算法選擇的特征數(shù)均比單目標算法選擇的特征較少。實驗結(jié)果表明，從分類指標評價的角度上看，單純把單目標特征選擇問題轉(zhuǎn)換為多目標特征選擇問題效果不一定會更好，而本文改進INSGAIII算法則提升了多目標算法的效果，總體表現(xiàn)優(yōu)于未改進的多目標算法和單目標算法。不同算法在進化過程中的準確度變化如圖3所示。

表3 運行時間對比Table 3 Comparison of processing time 單位：s

圖3 進化過程準確度變化Fig.3 Change of accuracy in process of evolution

3.5.2 運行時間對比

表3展示了三種算法的運行時間對比。表中可以看出，本文提出的INSGA-III-XGBoost算法所需的運行時間最少，相比NSGA-III-XGBoost 算法平均運行時間縮短了39.4%，而相比于采用單目標優(yōu)化的GA-XGBoost算法，平均時間縮短了83.28%。INSGA-III-XGBoost算法的運行時間方差最小，體現(xiàn)了INSGA-III-XGBoost算法在運行時間方面的穩(wěn)定性。其運行時間較小的原因是，算法在選擇了較少特征的同時選擇了合適的提升樹結(jié)構(gòu)并動態(tài)調(diào)整了學(xué)習(xí)率，避免了大量不必要的計算開銷，從而提高了運行效率。

3.5.3 綜合比較

運行時間、選擇的特征數(shù)、準確度是三個最重要的指標。表4 展示了三個數(shù)據(jù)集的不同評價指標的平均值。算法運行時間平均為4.38 min，選擇特征數(shù)平均為20，平均準確度為88.74%。表中可以看出，本文提出的INSGA-III-XGBoost 算法綜合運行時間最短，選擇的特征數(shù)最少，且準確度最高，即性能表現(xiàn)最好。

表4 平均指標綜合比較Table 4 Comprehensive comparison of average metrics

3.6 不同特征子集對比

以恒生數(shù)據(jù)集為例，對四種不同的特征數(shù)據(jù)集進行對比，四種數(shù)據(jù)集分別輸入XGBoost 訓(xùn)練預(yù)測，結(jié)果如表5 所示。其中，歷史特征數(shù)據(jù)集，僅包含原始的五個特征。其他特征數(shù)據(jù)集包含前人研究中常用的18個特征。所有特征數(shù)據(jù)集是本實驗拓展特征階段得到的81個特征，最優(yōu)子集數(shù)據(jù)集為本文提出算法INSGA-IIIXGBoost選擇出的最佳特征子集，相比于所有特征數(shù)據(jù)集，減少了70個特征。

表5 恒生數(shù)據(jù)集的特征子集對比Table 5 Comparison of feature subset in HangSeng dataset

INSGA-III-XGBoost 算法從80 個特征數(shù)據(jù)集中選擇11個最佳特征子集，對這11個特征進行分析，這是神經(jīng)網(wǎng)絡(luò)的“黑盒”模型不具備的優(yōu)勢。圖4 展示了該最佳特征子集中的特征，按照重要性得分降序。BOLLM即布林線的中線是所有特征中重要性得分最高的，這說明其對預(yù)測股票的走勢作用最大。

圖4 最佳子集特征重要性得分Fig.4 Importance score of features of optimal subset

3.7 與基準模型對比

本文算法與經(jīng)典的機器學(xué)習(xí)模型和不同層數(shù)的深度學(xué)習(xí)模型LSTM，和雙向LSTM（bidirectional long short term memory，BiLSTM）比較。以恒生數(shù)據(jù)集為例，表6看出本文的算法具有最高的準確度、F1-score 和AUC。三種不同層數(shù)的LSTM迭代100次的實驗結(jié)果如圖5所示，LSTM 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練準確度提高得很快，但是驗證準確度先增后減，造成了過擬合的問題。

表6 基礎(chǔ)模型對比Table 6 Compare with base model

圖5 不同層數(shù)LSTM迭代過程準確度變化Fig.5 Change of accuracy in iterative process of LSTM with different layers

深度學(xué)習(xí)因為其強大的預(yù)測能力而應(yīng)用于時間序列預(yù)測，但是模型的能力在很大程度上依賴于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù)的調(diào)整。本文實驗使用TPE 算法迭代優(yōu)化LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)200次。表7展示了INSGA-IIIXGBoost 算法和TPE-LSTM 算法的運行時間和準確度。表中可以看出，兩者的準確度相差較小，但是本文提出的算法的運行時間僅為TPE-LSTM的0.99%。

表7 TPE-LSTM對比Table 7 Compare with TPE-LSTM

3.8 與基準研究對比

表8為本文與近幾年來的基準研究對比，對比結(jié)果驗證了本文提出模型的優(yōu)越性。三大市場平均準確度比其他基準研究的準確度更高，從而驗證了本文提出模型適應(yīng)不同市場數(shù)據(jù)的能力。

表8 與基準研究對比Table 8 Compare with benchmark studies

3.9 其他多目標算法對比

將本文的提出的INSGA-III算法與其他多目標優(yōu)化算法分別結(jié)合XGBoost比較性能，表9展示了恒生數(shù)據(jù)集實驗結(jié)果。INSGA-III-XGBoost 算法的準確度最高，達到90.48%。圖6為各多目標算法得到的帕累托前沿，縱軸為分類誤差，即1-準確度。相比于其他多目標算法，INSGA-III優(yōu)化效果最好，具有較小的解決方案大小和較低的分類錯誤率。

表9 多目標算法結(jié)合XGBoost對比Table 9 Compare with multi-objective algorithm combined with XGBoost

圖6 多目標算法帕累托前沿Fig.6 Pareto front of multi-objective algorithm

4 結(jié)論

本文提出的INSGA-III-XGBoost 算法通過將兩種過濾式特征選擇集成的方法初始化種群，并將股票預(yù)測問題作為多目標問題，以最大化準確度和最小化解的解決方案大小作為優(yōu)化方向，采用多染色體混合編碼的方式同步優(yōu)化了特征選擇和XGBoost參數(shù)，對比其他基準研究具有最快的處理速度，解方案最小，預(yù)測準確度最高。在特征工程方面首先生成81 個特征，將原始歷史數(shù)據(jù)5 個特征的預(yù)測準確度從77.62%提升到81.43%，而特征選擇再選擇其中11個特征作為最優(yōu)子集預(yù)測準確度提升到90.48%，克服了“維度詛咒”的問題。在所有基礎(chǔ)的機器學(xué)習(xí)模型和深度學(xué)習(xí)模型中本算法的預(yù)測性能最好。對比原始多目標算法和單目標算法運行時間分別縮短了39.4%和83.28%，運行效率高，適合短期交易系統(tǒng)的預(yù)測需求。對比默認參數(shù)的深度學(xué)習(xí)算法，預(yù)測性能平均高3%，而對比經(jīng)過200代參數(shù)優(yōu)化的TPE-LSTM雖然準確度只高1%，但是運行時間僅為它的0.99%，并且本文模型具有可解釋性，實驗結(jié)果給出了預(yù)測恒生指數(shù)走向的前11個關(guān)鍵特征及其重要性得分。