基于Boruta-PSO-SVM的股票收益率研究*

郭海山, 高波涌, 陸慧娟

(中國計量大學(xué) 信息工程學(xué)院,浙江 杭州 310018)

0 引 言

在股票市場中,對于投資者來說,股票價格走勢的預(yù)測一直是熱門問題。準確判斷和把握整個股票市場的變化趨勢,不僅可以減少股票市場中盲目投資的現(xiàn)象,對于提高股市中投資者的理性程度具有較高的現(xiàn)實意義,更可以為國家制定相關(guān)經(jīng)濟政策提供參考[1]。

支持向量機(support vector machine,SVM)作為機器學(xué)習(xí)領(lǐng)域的的新方法,已被廣泛應(yīng)用于股票價格預(yù)測的研究中。彭麗芳等人[2]借助SVM方法構(gòu)建模型對股票價格進行了預(yù)測,實驗結(jié)果明顯好于傳統(tǒng)方法。李云飛等人[3]提出了一種基于SVM的股票投資價值分類模型,取得了不錯的實驗結(jié)果。Pai Ping-Feng等人[4]提出了一種基于自回歸積分滑動平均(autoregressive integrated moving average,ARIMA)模型和SVM相結(jié)合的混合模型預(yù)測臺灣股票收盤價走勢,結(jié)果表明:混合模型均高于單純的ARIMA模型和SVM模型預(yù)測精度。李小琳等人[5]提出了一種SVM修正的模糊時間序列模型,并將其用于上證指數(shù)的預(yù)測研究中,結(jié)果表明模型的均方根誤差平均為22.73,明顯低于其他模型。張偉等人[6]提出了一種遺傳算法(genetic algorithm,GA)和SVM相結(jié)合的方法,并將其用于上證綜指的走勢預(yù)測中。上述文獻方法忽略了特征選擇對SVM性能的影響;2)優(yōu)化方法耗時很難精確找到最優(yōu)模型參數(shù)。特征選擇對SVM分類算法起著重要的作用。魏小敏等人[7]提出了一種基于遞歸特征消除(recursive feature elimination，RFE)法的蛋白質(zhì)能量熱點預(yù)測,實驗表明模型預(yù)測精度提高了6.25 %。代琨等人[8]提出了一種快速迭代的基于SVM的特征選擇算法。林俊等人[9]提出了一種SVM-RFE-Boruta粒子群優(yōu)化(Boruta particle swarm optimization,BPSO)算法的特征選擇方法。徐國祥等人[1]提出了一種主要成分分析(PCA)-GA-SVM模型,并將其用于滬深300指數(shù)預(yù)測精度準確分析中。

近年來有很多學(xué)者針對PSO優(yōu)化SVM方法進行了深入研究。姜濱等人[10]通過PSO對最小二乘SVM(least square SVM,LS-SVM)的數(shù)參數(shù)進行優(yōu)化,從而提高模型的精確度。谷文成等人[11]將PSO-SVM應(yīng)用于雙螺旋分類問題中。武昊等人[12]將PSO-SVM方法進行肌電信號步態(tài)識別,使得優(yōu)化后的平均識別率達到了97.0 %。黃發(fā)明等人[13]提出了一種基于多變量PSO-SVM模型的滑坡地下水位預(yù)測方法,可以真實反映地下水位系統(tǒng)發(fā)展演化的本質(zhì)特征。而目前尚無基于Boruta和SVM方法的股票預(yù)測文獻。

本文提出了采用Boruta算法進行特征選擇以減少SVM特征集的復(fù)雜度,同時采用PSO算法優(yōu)化SVM的懲罰參數(shù)及核函數(shù)參數(shù)的新算法,并首次將該優(yōu)化后的SVM用于股票交易信號的識別和分類研究中,以獲得更優(yōu)的分類性能和識別判斷能力。

1 理論基礎(chǔ)

1.1 SVM原理[14～16]

設(shè)X1,X2,…,Xn為輸入向量xj={xi1,xi2,…,xij},K(X,X1),K(X,X2),…,K(X,Xn)為SVM的核函數(shù)。SVM的輸出分類決策函數(shù)為

0≤ai≤C

(1)

式中ai為系數(shù);C懲罰參數(shù);μ為權(quán)系數(shù);b∈R為偏置。核函數(shù)選擇高斯核函數(shù)

(2)

1.2 Boruta特征選擇算法

1)通過增加原始數(shù)據(jù)集所有屬性的隨機性成分(也稱陰影屬性)得到擴展數(shù)據(jù)集,然后在擴展數(shù)據(jù)集上運行隨機森林分類器,獲得評價特征重要性的Z分值。

2)將陰影屬性分值低于最大Z分值(Zmax)的屬性標記為+1,記為hits。

3)使用Zmax對陰影屬性中重要性無法確定的屬性進行雙側(cè)顯著性檢驗,標記陰影屬性分值小于Zmax的特征為0。

4)根據(jù)伯努利公式

(3)

計算步驟(3)中hits屬性的概率,將概率值低于0.01的屬性標記為重要,并將其移出擴展數(shù)據(jù)集。

5)重復(fù)上述步驟,直到所有屬性均被視為“重要”,或者算法達到隨機森林運行前設(shè)置的極限值。

1.3 PSO算法[7]

PSO算法標準公式為

vid=λvid+c1r1(pbestd-xid)+c2r2(gbestd-xid)

(4)

xid=xid+βvid

(5)

式中λ為慣性權(quán)重;d=1,2,…,D為空間維度；i=1,2,…，n為群中粒子總數(shù);vid為第i個粒子飛行速度;xid為第i個粒子的當(dāng)前位置;c1和c2為學(xué)習(xí)因子。

2 股票交易信號預(yù)測模型

為了提高SVM的預(yù)測精度并減少計算量, 本文采用Boruta算法先對實驗數(shù)據(jù)集進行特征選擇,再通過PSO算法優(yōu)化SVM的懲罰參數(shù)C和核函數(shù)參數(shù)g得到SVM誤差最小的一組參數(shù),提高SVM的分類準確率。

基于特征選擇和PSO-SVM模型(Boruta-PSO-SVM)的股票交易信號預(yù)測算法步驟為:

1)根據(jù)k線圖的N種不同技術(shù)指標構(gòu)建樣本集并對其進行特征選擇,降低SVM輸入維度到D維,即D

2)D維空間中,初始化m個粒子的隨機位置和速度;

3)確定SVM參數(shù),輸入特征選擇后的數(shù)據(jù)訓(xùn)練模型;

4)計算評價粒子適應(yīng)度值,并與其經(jīng)過的最優(yōu)pbest,gbest比較,如果較好,則將其作為當(dāng)前最優(yōu)pbest,gbest值;

5)判斷是否滿足迭代終止條件,若不滿足,根據(jù)式(4)、式(5)更新粒子速度和位置,轉(zhuǎn)步驟(3);

6)若滿足收斂條件,則得到使SVM誤差最小的懲罰參數(shù)C和核函數(shù)參數(shù)g的最優(yōu)值,然后使用最優(yōu)參數(shù)重新訓(xùn)練SVM,作為最終的分類器進行股票收益率的識別分類。

3 實驗與結(jié)果分析

3.1 股票交易信號數(shù)據(jù)

選擇股票日數(shù)據(jù)的收盤價(Close,C)、最高價(High,H)及最低價(Low,L)構(gòu)建交易信號Yi={y1,y2,…,yi},其中,i=1,2,…，n為樣本編號。交易信號的具體構(gòu)建步驟如下:

(6)

2)計算未來k,(k=1,2,…，10)天的算數(shù)收益Vi

(7)

3)計算算數(shù)收益的動態(tài)累加變量Ti為

(8)

4)構(gòu)建交易信號Yi

(9)

3.2 股票交易信號數(shù)據(jù)分析

樣本數(shù)據(jù)集分別為平安銀行2013年8月16日到2015年11月27日的500個交易日的股票數(shù)據(jù)和滬深300指數(shù)，2012年6月1日到2016年1月3日的824個交易日數(shù)據(jù)。對每組樣本序列i,選擇13個特征參數(shù)(ADX，Aroon，ATR,BB,CCI,CLV,CV,EMV,KST,MACD,MFI,ROC,SAR),構(gòu)成一組特征向量Xj={xi1,xi2,…,xij}，采用Boruta算法進行特征選擇(選擇ADX,Aroon,ATR,BB,CCI,CV,KST,MACD,MFI,SAR等10個特征)。

構(gòu)造PSO-SVM分類器，實驗中分類器選擇了徑向基核函數(shù),C,g參數(shù)分別設(shè)置為[10-1,104],[10-1,103]。PSO算法初始參數(shù)[15]設(shè)置為:慣性權(quán)重λ=0.8,學(xué)習(xí)因子c1=c2=2.0,粒子規(guī)模為20,迭代數(shù)為100。

根據(jù)適應(yīng)度值變化曲線選擇最優(yōu)C,g參數(shù)建立最終SVM分類模型。其中，數(shù)據(jù)集按照9∶1的比例隨機抽樣成訓(xùn)練集和測試集。訓(xùn)練集用于SVM分類模型訓(xùn)練,測試集用于測試SVM分類模型準確度。

3.3 結(jié)果與討論

實驗中PSO算法迭終止優(yōu)化過程時,準確率為84 %,輸出的最優(yōu)參數(shù)值Cbest=1.725 3,gbest=18.818 3?？梢钥闯觯合鄬τ赟VM分類模型C,g參數(shù)的取值范圍,PSO算法可以快速準確地進行參數(shù)尋優(yōu),此為采用Boruta-PSO-SVM方法的一大優(yōu)點。圖1為PSO優(yōu)化SVM的適應(yīng)度變化曲線。

圖1 粒子群適應(yīng)度曲線

同時在兼顧分類器的泛化能力和識別率的前提下,將訓(xùn)練集和測試集分別送入未經(jīng)優(yōu)化的SVM分類模型(SVM), PSO-SVM和Boruta-PSO-SVM模型。

表1為2種數(shù)據(jù)集上特征選擇、PSO-SVM的對比結(jié)果?？梢钥闯觯合啾任唇?jīng)過優(yōu)化的SVM分類模型,經(jīng)過特征選擇和PSO-SVM分類模型的預(yù)測精度在84 %左右,結(jié)果明顯優(yōu)于未經(jīng)特征參數(shù)選擇和參數(shù)優(yōu)化的SVM分類模型,此為本文采用Boruta-PSO-SVM方法的另一大優(yōu)點。

表1 Boruta-PSO-SVM結(jié)果

為了測試Boruta-PSO-SVM的效果,本文的對比實驗選用了標準的BP神經(jīng)網(wǎng)絡(luò)反向傳播神經(jīng)網(wǎng)絡(luò)(back propagation neural network,BPNN)、決策樹(decision tree,DT)、極限學(xué)習(xí)機(extreme learning machine,ELM)3種算法。其中BP神經(jīng)網(wǎng)絡(luò)中神經(jīng)元個數(shù)設(shè)置為10;決策樹采用R語言的rpart包,參數(shù)均設(shè)置為默認值;極限學(xué)習(xí)機隱含層節(jié)點數(shù)設(shè)置為30。實驗結(jié)果如表2所示。可以看出：在犧牲測試時間的前提下,本文提出Boruta-PSO-SVM的股票交易信號識別方法優(yōu)勢明顯。

表2 不同算法對比結(jié)果

由此可見,Boruta-PSO-SVM模型參數(shù)尋優(yōu),具有精確、穩(wěn)定的特點。

4 結(jié)束語

采用Boruta算法進行特征選擇,并結(jié)合算法PSO模型的實現(xiàn)簡單、設(shè)置參數(shù)少、計算收斂速度快等特點以及SVM小樣本的學(xué)習(xí)能力、學(xué)習(xí)速度快、優(yōu)化能力強等優(yōu)點,得到了較優(yōu)的Boruta-PSO-SVM混合模型。實驗結(jié)果表明：該模型可以明顯提高SVM的預(yù)測精度,并且結(jié)論可靠，在股票收益率的研究中具有一定的實用性。

[1] 徐國祥,楊振建.PCA-GA-SVM模型的構(gòu)建及應(yīng)用研究滬深300指數(shù)預(yù)測精度實證分析[J].數(shù)量經(jīng)濟技術(shù)經(jīng)濟研究,2011(2):135-147.

[2] 彭麗芳,孟志青,姜 華,等.基于時間序列的支持向量機在股票預(yù)測中的應(yīng)用[J].計算技術(shù)與自動化,2006(3):88-91.

[3] 李云飛,惠曉峰.基于支持向量機的股票投資價值分類模型研究[J].中國軟科學(xué),2008(1):135-140.

[4] Pai Ping-Feng,Lin Chih-Sheng.A hybrid arima and support vector machines model in stock price forecasting[J].The International Journal of Management Science,2005,12(33):497-505.

[5] 李小琳,孫 玥,劉 洋.基于SVM修正的模糊時間序列模型在滬指預(yù)測中的應(yīng)用[J].中國科學(xué)技術(shù)大學(xué)學(xué)報,2016,46(3):238-246.

[6] 張 偉,李泓儀,蘭書梅,等.GA-SVM對上證綜指走勢的預(yù)測研究[J].東北師大學(xué)報:自然科學(xué)版,2012(3):55-59.

[7] 魏小敏,徐 彬,關(guān)佶紅.基于遞歸特征消除法的蛋白質(zhì)能量熱點預(yù)測[J].山東大學(xué)學(xué)報:工學(xué)版,2014,44(2):12-20.

[8] 代 琨,于宏毅,李 青.一種基于支持向量機的特征選擇算法[J].模式識別與人工智能,2014,27(5):463-471.

[9] 林 俊,許 露,劉 龍.基于SVM-RFE-BPSO算法的特征選擇算法[J].小型微型計算機系統(tǒng),2015, 36 (8):1865-1868.

[10] 姜 濱,孫麗萍,曹 軍,等.基于PSO優(yōu)化LS-SVM的木材含水率軟測量建模[J].重慶大學(xué)學(xué)報,2016,39(1):48-54.

[11] 古文成,柴寶仁,滕艷平.基于粒子群優(yōu)化算法的支持向量機研究[J].北京理工大學(xué)學(xué)報,2014,34(7):705-709.

[12] 武 昊,席旭剛,羅志增.基于熵和PSO優(yōu)化SVM的肌電信號跌倒識別[J].傳感技術(shù)學(xué)報,2015,28(11):1586-1590.

[13] 黃發(fā)明,殷坤龍,張桂榮,等.多變量PSO-SVM模型預(yù)測滑坡地下水位[J].浙江大學(xué)學(xué)報:工學(xué)版,2015,49(6):1193-1199.

[14] 高發(fā)榮,王佳佳,席旭剛,等.基于粒子群優(yōu)化—支持向量機方法的下肢肌電信號步態(tài)識別[J].電子與信息學(xué)報,2015,37(5):1154-1159.

[15] 於 敏,于鳳芹,陳 瑩.超像素詞包與SVM分類的圖像標注[J].傳感器與微系統(tǒng),2016,35(12):63-65.

[16] 李 彥,梁正桃,李立京,等.基于小波和支持向量機的光纖微振動傳感器模式識別[J].傳感器與微系統(tǒng),2013,32(2):43-49.

[17] 余幸運,孫 茜,王小藝,等.基于粒子群優(yōu)化算法的水質(zhì)傳感器優(yōu)化部署研究[J].傳感器與微系統(tǒng),2016,35(12):30-33.