考慮錯(cuò)分代價(jià)的ADASVM-CSLINEX模型及應(yīng)用

楊園園，魯統(tǒng)宇，崔 俊，許文甫

中國計(jì)量大學(xué) 經(jīng)濟(jì)與管理學(xué)院，杭州 310018

現(xiàn)實(shí)生活中普遍存在著各種二分類問題，許多實(shí)際應(yīng)用領(lǐng)域都能見到其身影，比如氣象預(yù)警中的降雨預(yù)測(cè)[1]、垃圾郵件分類[2]、醫(yī)療診斷[3-4]、欺詐檢測(cè)[5]、質(zhì)量檢測(cè)[6]、財(cái)務(wù)預(yù)警[7-8]、信用評(píng)分[9]、股票收益預(yù)測(cè)[10-11]等諸多領(lǐng)域。二分類問題應(yīng)用的廣泛性促使學(xué)者們不斷探索更多性能優(yōu)異的方法解決現(xiàn)實(shí)中存在的問題。

傳統(tǒng)的用于解決二分類問題的方法有判別分析、邏輯回歸等，但隨著數(shù)據(jù)廣度和深度的不斷加深，傳統(tǒng)分類算法已經(jīng)很難滿足從海量數(shù)據(jù)中進(jìn)行深度信息提取的需求，隨著大數(shù)據(jù)分析技術(shù)的迅速發(fā)展，機(jī)器學(xué)習(xí)算法逐漸成為數(shù)據(jù)分類和回歸的主流工具。其中，比較經(jīng)典的數(shù)據(jù)分類算法有K近鄰[12]、決策樹[4]、支持向量機(jī)[9]、樸素貝葉斯[13]、神經(jīng)網(wǎng)絡(luò)[3，10]等，各種機(jī)器學(xué)習(xí)算法也被廣泛應(yīng)用于不同的分類預(yù)測(cè)問題中。

相較于單一機(jī)器學(xué)習(xí)分類算法，集成算法能夠捕捉更多有效信息，多數(shù)情況下能夠顯著提升預(yù)測(cè)模型的分類效果以及泛化能力。集成算法通過某種規(guī)則將多個(gè)學(xué)習(xí)器進(jìn)行組合來完成學(xué)習(xí)任務(wù)，主要包括Bagging、Boosting 和Stacking 系列算法。Bagging 是從原始數(shù)據(jù)集中通過有放回采樣得到多個(gè)新數(shù)據(jù)集，然后將某個(gè)學(xué)習(xí)算法分別作用于每個(gè)新數(shù)據(jù)集就得到了多個(gè)弱分類器，選擇分類器投票結(jié)果中最多的類別作為最后的分類結(jié)果。隨機(jī)森林是其代表性算法，Khaidem 等[14]使用隨機(jī)森林分類器構(gòu)建股票預(yù)測(cè)模型，結(jié)果顯示了該模型在多個(gè)數(shù)據(jù)集上都具有較好的長(zhǎng)期預(yù)測(cè)的準(zhǔn)確性。不同于Bagging，Boosting是在每一次迭代過程中，都會(huì)根據(jù)弱分類器的分類結(jié)果對(duì)樣本權(quán)重進(jìn)行調(diào)整，使得先前被錯(cuò)誤分類的樣本的權(quán)重增加，然后基于調(diào)整后的樣本權(quán)重訓(xùn)練下一個(gè)基分類器，最后將每次訓(xùn)練得到的弱分類器組合成一個(gè)強(qiáng)分類器。Boosting 算法中最流行的則是AdaBoost算法，Sun等[15]提出一種改進(jìn)AdaBoost算法的多因素股票選擇模型，并對(duì)上證A股進(jìn)行了實(shí)證分析，結(jié)果顯示所提模型表現(xiàn)出更好的分類性能。Stacking是一種分層模型集成框架，利用初始訓(xùn)練集訓(xùn)練出多個(gè)初級(jí)學(xué)習(xí)器，然后用初級(jí)學(xué)習(xí)器對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，將輸出值作為下一階段訓(xùn)練的輸入值，用于訓(xùn)練次級(jí)學(xué)習(xí)器。羅澤南[16]利用Stacking方法將隨機(jī)森林、梯度提升樹、XGBoost 和神經(jīng)網(wǎng)絡(luò)多種機(jī)器學(xué)習(xí)模型進(jìn)行集成，建立RGXB-Stacking模型，研究證明其回測(cè)效果明顯優(yōu)于其他單一模型。在這三類集成框架中，Boosting算法更加關(guān)注于錯(cuò)分樣本，通過對(duì)錯(cuò)分樣本權(quán)重的提升來提高模型的預(yù)測(cè)準(zhǔn)確度，被較為廣泛地應(yīng)用于各種不同的分類預(yù)測(cè)問題。

在二分類問題中，不可避免地會(huì)產(chǎn)生“實(shí)際為真預(yù)測(cè)為假”“實(shí)際為假預(yù)測(cè)為真”兩類錯(cuò)誤，多數(shù)情況下兩類錯(cuò)誤的代價(jià)是不同的。比如醫(yī)療診斷中將一個(gè)患者診斷為健康人的錯(cuò)分代價(jià)遠(yuǎn)遠(yuǎn)大于將一個(gè)健康人診斷為患者的代價(jià)[17]；在銀行貸款服務(wù)中將違約客戶分類為正常用戶的錯(cuò)分代價(jià)遠(yuǎn)遠(yuǎn)大于將正常用戶分類為違約的代價(jià)[18]；而在手機(jī)用戶價(jià)值分類問題中高價(jià)值用戶的錯(cuò)分代價(jià)也遠(yuǎn)遠(yuǎn)高于低價(jià)值用戶的錯(cuò)分代價(jià)[19]。又例如，在量化投資領(lǐng)域關(guān)于股票漲跌的二分類預(yù)測(cè)中，兩類預(yù)測(cè)錯(cuò)誤所帶來的損失是不一樣的。對(duì)于以低價(jià)買入高價(jià)賣出作為基本投資策略的投資者而言，第一類錯(cuò)誤（實(shí)際為漲預(yù)測(cè)為跌）是以投資者喪失一種潛在的收益為代價(jià)；而對(duì)于第二類錯(cuò)誤（實(shí)際為跌預(yù)測(cè)為漲），投資者們將面臨因預(yù)測(cè)錯(cuò)誤而帶來的資金的真正損失，后者的錯(cuò)分代價(jià)顯然要大于前者?？梢姡@種錯(cuò)分代價(jià)不平衡問題在二分類預(yù)測(cè)中較為普遍，為了有效控制代價(jià)較高的一類分類錯(cuò)誤，在進(jìn)行模型構(gòu)建的過程中有必要將錯(cuò)分代價(jià)這一問題考慮在內(nèi)。

在二分類問題中，相關(guān)研究常常關(guān)注兩類不平衡問題：一類是不同類樣本錯(cuò)分代價(jià)不平衡問題[20]，另一類是不同類樣本數(shù)量不平衡問題[21]。本文討論的是不同類樣本錯(cuò)分代價(jià)不平衡問題，經(jīng)典的用于解決錯(cuò)分代價(jià)不平衡的方法主要包括：一是通過重采樣的方式改變?cè)紨?shù)據(jù)集的分布，增大錯(cuò)分代價(jià)較大的樣本數(shù)量，使原來對(duì)代價(jià)不敏感的分類算法在重構(gòu)的新數(shù)據(jù)集上代價(jià)敏感的采樣方法，如Zadrozny 等[22]提出的Costing 方法。二是通過對(duì)原始訓(xùn)練集中的樣本賦予不同權(quán)重來實(shí)現(xiàn)代價(jià)敏感的Rescaling 方法。Ting 等[23]提出按錯(cuò)分代價(jià)的比例調(diào)整樣本的權(quán)重來平衡數(shù)據(jù)集，再將數(shù)據(jù)集放入CART模型中訓(xùn)練，結(jié)果發(fā)現(xiàn)這種樣本加權(quán)方法是有效的。三是通過調(diào)整分類器的決策閾值實(shí)現(xiàn)代價(jià)敏感。如Domingos[24]提出的MetaCost方法、凌曉峰等[25]提出的經(jīng)驗(yàn)閾值調(diào)整算法（ETA）。四是通過修改具體的機(jī)器學(xué)習(xí)算法，直接將錯(cuò)分代價(jià)引入分類模型中實(shí)現(xiàn)代價(jià)敏感。具體有代價(jià)敏感決策樹[26-27]、代價(jià)敏感KNN[28]、代價(jià)敏感邏輯回歸[29]、代價(jià)敏感支持向量機(jī)[30-31]、代價(jià)敏感Boosting算法[32-33]等。代價(jià)敏感可以與許多機(jī)器學(xué)習(xí)分類算法結(jié)合，它們的處理方法有很大不同。如代價(jià)敏感決策樹通過利用代價(jià)敏感信息修改決策樹的分裂標(biāo)準(zhǔn)實(shí)現(xiàn)代價(jià)敏感，代價(jià)敏感KNN通過修改KNN算法中的距離加權(quán)投票函數(shù)實(shí)現(xiàn)代價(jià)敏感，代價(jià)敏感邏輯回歸是將錯(cuò)分代價(jià)信息引入到邏輯回歸目標(biāo)函數(shù)實(shí)現(xiàn)代價(jià)敏感，代價(jià)敏感支持向量機(jī)可以通過在鉸鏈損失函數(shù)中加入錯(cuò)分代價(jià)信息或者直接用其他具有代價(jià)敏感的損失函數(shù)替換鉸鏈損失函數(shù)實(shí)現(xiàn)代價(jià)敏感、代價(jià)敏感Boosting 算法則可以通過修改權(quán)重更新方式實(shí)現(xiàn)代價(jià)敏感。采樣方法改變了原始數(shù)據(jù)集的分布，可能會(huì)影響分類模型的分類性能。而通過調(diào)整分類器決策閾值的方式則對(duì)準(zhǔn)確預(yù)測(cè)每個(gè)樣本預(yù)測(cè)概率具有較高要求。相較而言，修改具體的機(jī)器學(xué)習(xí)算法通過將錯(cuò)分代價(jià)信息與各種機(jī)器學(xué)習(xí)分類算法結(jié)合就可以實(shí)現(xiàn)代價(jià)敏感，在近年來受到了廣泛的歡迎。

本文是通過在AdaBoost-SVM的權(quán)重更新方程中引入了一種非對(duì)稱線性指數(shù)（LINEX）損失函數(shù)來實(shí)現(xiàn)的不同類樣本的錯(cuò)分代價(jià)。該損失函數(shù)最先是由Varian[34]提出的，與對(duì)稱損失函數(shù)相比，LINEX 損失函數(shù)對(duì)低錯(cuò)分代價(jià)的樣本進(jìn)行線性級(jí)懲罰，對(duì)高錯(cuò)分代價(jià)的樣本進(jìn)行指數(shù)級(jí)懲罰。Ma 等[35]、Fu 等[36]利用LINEX 損失函數(shù)的這種特性對(duì)支持向量機(jī)模型進(jìn)行修改實(shí)現(xiàn)了代價(jià)敏感學(xué)習(xí)。

股票漲跌預(yù)測(cè)是金融領(lǐng)域中一個(gè)重要的二分類問題，然而由于股票市場(chǎng)復(fù)雜多變的特性，投資者很難從中挖掘出有效的市場(chǎng)信息，這也就使得股票的預(yù)測(cè)極具挑戰(zhàn)性，本文以股票的漲跌預(yù)測(cè)作為應(yīng)用研究問題來構(gòu)建一種新的二分類模型。此外，在股票漲跌預(yù)測(cè)中，因子的時(shí)效性是一個(gè)重要因素，有些因子在某一期內(nèi)有效，在下一期內(nèi)可能失效，所以整個(gè)過程應(yīng)該要?jiǎng)討B(tài)地篩選因子，去除無效因子，引入有效因子，從而保證每一期的因子都是最有效的[37]。

綜上所述，當(dāng)不同類樣本的誤分代價(jià)不相等或者差異較大時(shí)，基于總體準(zhǔn)確率的傳統(tǒng)數(shù)據(jù)挖掘方法已經(jīng)不再適用，而具有代價(jià)敏感的學(xué)習(xí)算法則可以被用來解決此類問題。本文以股票未來的漲跌作為預(yù)測(cè)目標(biāo)，選擇Lasso-Logistic 算法動(dòng)態(tài)篩選每一期的重要因子，在AdaBoost-SVM中引入LINEX損失函數(shù)，根據(jù)樣本是否錯(cuò)分以及正負(fù)類樣本的不同錯(cuò)分代價(jià)更新樣本權(quán)重，最終構(gòu)建一個(gè)考慮錯(cuò)分代價(jià)的集成選股模型。

1 模型介紹

支持向量機(jī)（SVM）是機(jī)器學(xué)習(xí)中經(jīng)典的分類模型方法，其通過核函數(shù)可以將原本線性不可分問題轉(zhuǎn)化成線性可分問題，其次它還具有很好的泛化能力，一定程度上可以避免模型過擬合。AdaBoost 是一種經(jīng)典的集成算法，它根據(jù)前一個(gè)弱分類器的分類結(jié)果更新樣本的權(quán)重，之后將更新過權(quán)重的樣本點(diǎn)傳送到下一個(gè)弱分類器進(jìn)行訓(xùn)練，最后將每次訓(xùn)練得到的弱分類器組合成一個(gè)強(qiáng)分類器，該強(qiáng)分類器比弱分類器能夠獲得更高的準(zhǔn)確率。鑒于SVM 和AdaBoost 良好的分類性能，所以本文構(gòu)建基于LINEX損失函數(shù)的代價(jià)敏感AdaBoost-SVM集成算法，并應(yīng)用于多因子選股模型。相較于以往的研究，本文考慮了股票漲跌預(yù)測(cè)中的錯(cuò)分代價(jià)問題，并且通過引入了LINEX損失函數(shù)對(duì)負(fù)類樣本進(jìn)行指數(shù)級(jí)懲罰、對(duì)正類樣本進(jìn)行線性級(jí)懲罰。

1.1 支持向量機(jī)

SVM算法的思想就是利用某些支持向量所構(gòu)成的“超平面”，將不同類別的樣本點(diǎn)進(jìn)行劃分。無論樣本點(diǎn)是線性可分的還是非線性可分的，都可以利用“超平面”將樣本點(diǎn)分割開來。對(duì)于非線性可分的樣本點(diǎn)，需要借助核函數(shù)技術(shù)將低維線性不可分的空間轉(zhuǎn)換成高維線性可分的空間，以此實(shí)現(xiàn)線性可分的操作。

本文選用非線性的SVM，假設(shè)原始空間中的一組樣本點(diǎn)的集合為，其中xi∈Rk，yi∈{-1,1}。對(duì)于任意原始空間中的樣本點(diǎn)xi、xj，通過核函數(shù)將原始低維空間樣本映射到更高維空間中，從而使線性不可分問題轉(zhuǎn)化為線性可分問題。在此基礎(chǔ)上引入松弛因子ξi(ξi≥0)和懲罰系數(shù)C(C ＞0)，由于ξi在推導(dǎo)過程中被抵消，最后得到的目標(biāo)函數(shù)可以表示為：

SVM 中核函數(shù)的選擇多樣，其中徑向基核函數(shù)是一種指數(shù)函數(shù)，它可以把原始樣本點(diǎn)映射到高維空間中，同時(shí)也比較常用，所以本文選擇使用徑向基核函數(shù)。徑向基函數(shù)的表達(dá)式為：

1.2 AdaBoost-SVM算法

AdaBoost 算法是基于前一輪的分類結(jié)果對(duì)樣本點(diǎn)設(shè)置不同的權(quán)重，對(duì)于預(yù)測(cè)正確的樣本，在下一輪迭代中減小它的權(quán)重，對(duì)于預(yù)測(cè)錯(cuò)誤的樣本，在下一輪迭代中則增加它的權(quán)重，接著對(duì)權(quán)重更新后的樣本進(jìn)行新一輪的迭代，在新一輪迭代中，基分類器會(huì)更加關(guān)注權(quán)重大的錯(cuò)分類樣本，最后將訓(xùn)練得到的弱分類器組合成一個(gè)強(qiáng)分類器。AdaBoost-SVM 算法是AdaBoost 算法與SVM算法兩者的集成[38]，是將SVM作為AdaBoost框架中的基分類器進(jìn)行循環(huán)迭代，其權(quán)重更新機(jī)制不發(fā)生改變。

1.3 考慮錯(cuò)分代價(jià)的ADASVM-CSLINEX算法

1.3.1 LINEX損失函數(shù)

LINEX損失函數(shù)首先被Varian[34]提出，其表達(dá)式為：

其中，a是一個(gè)非0 的超參數(shù)，它確定了LINEX 的陡峭程度。圖1顯示了不同a值下的LINEX損失函數(shù)，可以看出，a的絕對(duì)值越大，圖形就越陡峭；當(dāng)a＜0 時(shí)，函數(shù)左邊比右邊更陡峭，表示負(fù)類樣本比正類樣本受到更重的懲罰，當(dāng)x趨于負(fù)無窮大的過程中，L(x)呈指數(shù)級(jí)增長(zhǎng)，當(dāng)x趨于正無窮大的過程中，L(x)呈線性增長(zhǎng)；當(dāng)a＞0 時(shí)情況則相反。

圖1 不同a 值下的LINEX損失函數(shù)Fig.1 LINEX loss function at different a values

1.3.2 CSLINEX損失函數(shù)

其中，a為L(zhǎng)INEX損失函數(shù)的參數(shù)。以CSL(yi)=exp(ayi)-ayi-1(a＜0)為例，當(dāng)正類樣本被錯(cuò)分時(shí)，其受到的懲罰為線性懲罰；當(dāng)負(fù)類樣本被錯(cuò)分時(shí)，其受到的懲罰為指數(shù)懲罰，此時(shí)負(fù)類樣本被錯(cuò)分所受到的懲罰要大于正類樣本；如圖1 中的（b）所示，當(dāng)a的絕對(duì)值越大時(shí)，相應(yīng)類別下的樣本受到的懲罰也更重。當(dāng)a＞0 時(shí)，情況則完全相反。由于本文重點(diǎn)關(guān)注的是負(fù)類樣本分類的準(zhǔn)確率，所以后文只研究a＜0 時(shí)的情況。

1.3.3 ADASVM-CSLINEX算法

ADASVM-CSLINEX 算法以SVM 為基分類器，它同時(shí)兼具AdaBoost 和CSLINEX 的優(yōu)點(diǎn)，一方面在基分類器迭代過程中根據(jù)樣本是否被錯(cuò)分重新更新樣本權(quán)重，另一方面在每一次迭代中根據(jù)不同類樣本錯(cuò)分代價(jià)的不同更新權(quán)重。初始平均樣本權(quán)重和樣本權(quán)重更新函數(shù)見式（5）、（6）。

在上述公式中，U是總的迭代次數(shù)，m為訓(xùn)練集的樣本量，a＜0，yi為真實(shí)值，fu(xi)為預(yù)測(cè)值，W1為初始樣本權(quán)重分布，表示經(jīng)過第u次迭代后的樣本權(quán)重，為第u+1次迭代后的樣本權(quán)重。為權(quán)重懲罰方向，若樣本分類正確，取1，在下一輪迭代中其樣本權(quán)重會(huì)減?。蝗魳颖痉诸愬e(cuò)誤，則取?1，在下一輪迭代中其樣本權(quán)重會(huì)增加。針對(duì)yi=1/fu(xi)=-1的情況，其權(quán)重更新公式為exp(αuexp(a)-a-1)；針對(duì)yi=-1/fu(xi)=1 的情況，其權(quán)重更新公式為exp(αuexp(-a)-(-a)-1)，由圖1（b）可知，同一a值下，后者的樣本權(quán)重高于前者。αu是AdaBoost集成的第u個(gè)基分類器的投票權(quán)重，由公式（7）可知，其大小由第u個(gè)基分類器的誤差率eu所決定。

具體的ADASVM-CSLINEX算法如下：

輸入：初始訓(xùn)練集D={(xi,yi)}(i=1,2,…,m)，m為訓(xùn)練集的樣本量。

（2）對(duì)于u=1,2,…,U

①根據(jù)權(quán)重分布Wu從其訓(xùn)練集D中選擇一個(gè)訓(xùn)練數(shù)據(jù)子集Du；

②在訓(xùn)練數(shù)據(jù)子集Du上訓(xùn)練一個(gè)基分類器SVM u，表示為fu(x)；

③計(jì)算基分類器SVM u在Du上的分類錯(cuò)誤率eu；

④如果eu≥0.5，保持u的值不變并返回到步驟①，否則繼續(xù)步驟⑤；

2 研究設(shè)計(jì)

2.1 數(shù)據(jù)來源與樣本選取

本文選取2011 年1 月到2020 年12 月滬深300 指數(shù)所有成分股為研究樣本，數(shù)據(jù)為月度頻率，由于財(cái)務(wù)指標(biāo)僅有季度數(shù)據(jù)，用季度數(shù)據(jù)進(jìn)行月度填充[39]，數(shù)據(jù)均來自于Wind 數(shù)據(jù)庫。在實(shí)際訓(xùn)練中，運(yùn)用滑窗技術(shù)將樣本數(shù)據(jù)分為訓(xùn)練集和測(cè)試集，將窗口長(zhǎng)度設(shè)置為13個(gè)月，前12個(gè)月作為訓(xùn)練集，后1個(gè)月作為測(cè)試集，之后依次向前滑動(dòng)1個(gè)月進(jìn)行下一個(gè)窗口的預(yù)測(cè)。

由于數(shù)據(jù)量龐大，不可避免地會(huì)有數(shù)據(jù)缺失、量綱不統(tǒng)一等問題出現(xiàn)，所以在建模之前先進(jìn)行數(shù)據(jù)預(yù)處理，否則會(huì)嚴(yán)重影響模型的預(yù)測(cè)效果和結(jié)果的可靠性。本文的數(shù)據(jù)預(yù)處理如下：

缺失值處理：（1）某只股票在第t月收盤價(jià)數(shù)據(jù)存在缺失，則剔除該股票在月份t上的所有數(shù)據(jù)；（2）若某只股票因子值的缺失值比例大于等于30%則進(jìn)行刪除處理，對(duì)缺失值比例不超過30%的樣本使用隨機(jī)森林算法進(jìn)行填充。最終，確定了70個(gè)指標(biāo)和296只成分股。

標(biāo)準(zhǔn)化處理：為消除因子量綱不一致的現(xiàn)象，對(duì)所有指標(biāo)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。

本文研究的響應(yīng)變量y為月度收益率漲跌，若上漲取1，若下跌取?1，y的取值由月度收益率R=ln(Pt/Pt-1)確定，其中，Pt為當(dāng)月收盤價(jià)，Pt-1為前一月收盤價(jià)。

2.2 初始因子池的構(gòu)建

在前人研究的基礎(chǔ)上，本文選取了每股指標(biāo)、償付能力因子、營(yíng)運(yùn)能力因子、成長(zhǎng)因子、盈利因子、價(jià)值因子、行情指標(biāo)以及技術(shù)指標(biāo)來構(gòu)建初始因子池。初始因子池的指標(biāo)構(gòu)成見表1。

表1 初始因子池Table 1 Initial factor pool

2.3 變量篩選

隨著時(shí)間的推移，不斷地會(huì)有新數(shù)據(jù)流入，基于歷史數(shù)據(jù)篩選出的重要因子在下一期中可能失去作用，因此，整個(gè)過程需要?jiǎng)討B(tài)地選擇因子，從而保證每一期的因子都是最有效的。該部分使用Lasso-Logistic 回歸算法動(dòng)態(tài)篩選因子。

Lasso回歸是一種縮減性估計(jì)，通過添加L1正則的懲罰項(xiàng)將一些不重要的回歸系數(shù)直接縮減到0，從而降低模型的復(fù)雜度，實(shí)現(xiàn)變量篩選的功能。同時(shí)它也不受自變量多重共線性的影響，當(dāng)出現(xiàn)較為相關(guān)的多個(gè)變量時(shí)它會(huì)選擇其中的一個(gè)，而將其余變量的系數(shù)壓縮為0，非常適用于變量篩選。由于對(duì)股票進(jìn)行預(yù)測(cè)的因變量是二元離散變量，線性回歸模型已經(jīng)不再適用，所以使用Lasso-Logistic 回歸模型。Lasso-Logistic 回歸模型是在求解Logistic回歸的參數(shù)估計(jì)時(shí)加入對(duì)參數(shù)的懲罰項(xiàng)來達(dá)到變量選擇的目的。假設(shè)有一個(gè)包含m條股票數(shù)據(jù)觀測(cè)值的數(shù)據(jù)集，其中xi={xi1,xi2,…,xiK}，yi∈{-1,1}。其估計(jì)值表示如下式：

由圖2可知，運(yùn)用Lasso-Logistic模型分別對(duì)每一期訓(xùn)練集進(jìn)行變量篩選，每個(gè)訓(xùn)練集中重要因子的數(shù)量是不同的，說明了某些因子在某一期內(nèi)與因變量相關(guān)性較強(qiáng)，而在下一期相關(guān)性可能就減弱。為了使所選因子盡可能地反映出因變量的真實(shí)信息，需要對(duì)每一個(gè)訓(xùn)練集重新進(jìn)行特征因子的篩選。圖3 顯示了每個(gè)特征因子的重要程度水平，從圖中可以看出一些因子被選擇的頻率很高，而一些因子被選擇的頻率卻很低，雖然股票池中有70個(gè)初始因子，但因子的重要性卻有很大差異，足以可見動(dòng)態(tài)篩選因子的必要性。

圖2 各測(cè)試集選擇的特征變量個(gè)數(shù)Fig.2 Number of feature variables selected for each test set

圖3 特征變量被選擇的頻率分布圖Fig.3 Frequency distribution of selected feature variable

2.4 模型的評(píng)價(jià)指標(biāo)

在考慮錯(cuò)分代價(jià)的情況下，以總體分類準(zhǔn)確率作為評(píng)價(jià)標(biāo)準(zhǔn)不能反映模型的真實(shí)預(yù)測(cè)性能，所以本文選用ACC、TPR、TNR、Precision、G 值以及AUC 等多個(gè)指標(biāo)同時(shí)衡量各模型的預(yù)測(cè)效果。ACC是模型的整體準(zhǔn)確率；TPR 是正類樣本的準(zhǔn)確率；TNR 是負(fù)類樣本的準(zhǔn)確率；G值是TNR和TPR的幾何平均數(shù)，是一個(gè)同時(shí)衡量正例準(zhǔn)確率與負(fù)例準(zhǔn)確率的綜合指標(biāo)。AUC是ROC曲線下的面積，ROC使用兩個(gè)指標(biāo)值進(jìn)行繪制，其中橫軸為1?TNR，為負(fù)類錯(cuò)判率，縱軸為TPR，為正類準(zhǔn)確率。模型各評(píng)價(jià)指標(biāo)根據(jù)表2所示的混淆矩陣計(jì)算得到，具體計(jì)算公式見式（10）～（14）：

表2 混淆矩陣Table 2 Confusion matrix

3 實(shí)證研究

3.1 選股模型的構(gòu)建

在模型ADASVM-CSLINEX中，由于有108個(gè)測(cè)試集，如果考慮過多的超參數(shù)并對(duì)其在訓(xùn)練集上進(jìn)行交叉驗(yàn)證和網(wǎng)格搜索，會(huì)耗費(fèi)大量時(shí)間，所以針對(duì)基分類器SVM 中的超參數(shù)，在單一的SVM 模型、AdaBoost-SVM 模型以及ADASVM-CSLINEX 模型中所涉及到的關(guān)于SVM 的超參數(shù)均取默認(rèn)值。對(duì)AdaBoost 框架中的迭代次數(shù)U 進(jìn)行網(wǎng)格搜索，綜合考慮模型的預(yù)測(cè)效果與運(yùn)行速度，選取U為20。各模型試驗(yàn)結(jié)果見表3和表4。

表3 各模型混淆矩陣結(jié)果Table 3 Confusion matrix results of each model

表4 各模型投資績(jī)效表現(xiàn)Table 4 Investment performance of each model

由表3可知，就不同參數(shù)a下的ADASVM-CSLINEX模型而言，由于模型對(duì)y=-1 的樣本進(jìn)行指數(shù)級(jí)懲罰，對(duì)y=1 的樣本進(jìn)行線性級(jí)懲罰，從而使模型對(duì)負(fù)例樣本預(yù)測(cè)準(zhǔn)確率增加，所以模型的TNR值會(huì)變大，并且隨著a的絕對(duì)值的增加，懲罰力度越來越大，模型的TNR值也越來越大，由于TNR 的增加是以TPR 的減小為代價(jià)，所以模型的TPR越來越小，TPR和TNR的差值也就越來越大。但一味地提高負(fù)類樣本的準(zhǔn)確率會(huì)導(dǎo)致正類樣本的準(zhǔn)確率變得很小，從而使整個(gè)模型失去預(yù)測(cè)作用。當(dāng)a取?1.5，此時(shí)的TPR 為14.78%，若a繼續(xù)取更小的值（如?1.75），經(jīng)計(jì)算其TPR為個(gè)位數(shù)，模型已經(jīng)失去預(yù)測(cè)的意義，所以這里a只取到?1.5。從表3 可以看出，在a從?0.1 到?1.5 的變化過程中，模型的TPR 在逐漸減小，TNR 在逐漸增加，ACC 有輕微降低的趨勢(shì)、Precision、AUC基本無太大變化，由于TPR和TNR在反向變動(dòng)，當(dāng)兩者的取值越接近，G值越大，所以G值經(jīng)歷了先增后減的過程。

與SVM、AdaBoost-SVM相比，ADASVM-CSLINEX在幾乎相同水平的ACC、Precision、AUC值下，可以通過改變參數(shù)a的大小對(duì)負(fù)類樣本進(jìn)行不同程度的懲罰，從而使模型更關(guān)注負(fù)類樣本的預(yù)測(cè)準(zhǔn)確率，這是SVM、AdaBoost-SVM所不能實(shí)現(xiàn)的。

3.2 選股模型績(jī)效評(píng)估

本文分別對(duì)SVM、AdaBoost-SVM、ADASVMCSLINEX三種模型在股票市場(chǎng)上的量化投資能力進(jìn)行實(shí)證檢驗(yàn)。本文的交易策略為：月初買入預(yù)測(cè)上漲的股票，賣出預(yù)測(cè)下跌的股票，對(duì)于本月預(yù)測(cè)為漲的股票，每次每種股票只買入一股，若下月持續(xù)上漲，則繼續(xù)持有；若下月預(yù)測(cè)為跌，則將其賣出，以收盤價(jià)作為買賣價(jià)格，按月進(jìn)行調(diào)倉，不考慮交易費(fèi)用。股票的漲跌信號(hào)根據(jù)模型對(duì)各個(gè)月份的預(yù)測(cè)值來確定。表4 展示了從2012年1月至2020年12月，基于三種機(jī)器學(xué)習(xí)算法構(gòu)建的投資組合策略績(jī)效與基準(zhǔn)（買入并持有HS300 指數(shù)）的對(duì)比結(jié)果。無風(fēng)險(xiǎn)利率為一年期銀行定期存款利率1.5%。

從表4可以看出，三種機(jī)器學(xué)習(xí)模型的年化收益率、夏普比率、信息比率、索提諾比率均高于基準(zhǔn)。隨著a的絕對(duì)值的增加，ADASVM-CSLINEX模型的四種評(píng)價(jià)指標(biāo)均經(jīng)歷了先增加后減小的過程，a為?1.25 時(shí)模型的投資表現(xiàn)最好。當(dāng)a的絕對(duì)值較小時(shí)，其部分指標(biāo)不如SVM、AdaBoost-SVM，隨著a的絕對(duì)值的增加，模型表現(xiàn)得越來越好，當(dāng)a為?1.5 時(shí)，模型的各項(xiàng)指標(biāo)有輕微下降的趨勢(shì)，這也呼應(yīng)了前文所提到的不能一味地提高負(fù)類樣本的準(zhǔn)確率而不關(guān)注正類樣本的準(zhǔn)確率，從而使模型的性能變差。總的來說，相較于SVM、AdaBoost-SVM，選擇合適的a值會(huì)使ADASVM-CSLINEX 模型獲得較好的投資績(jī)效。在實(shí)際操作中，可以進(jìn)一步利用網(wǎng)格搜索算法在訓(xùn)練集上對(duì)a進(jìn)行最優(yōu)值的搜索，將AUC的均值最大作為評(píng)價(jià)標(biāo)準(zhǔn)來選擇最優(yōu)模型。

圖4展示了ADASVM-CSLINEX（a=?1.25）、SVM、AdaBoost-SVM以及買入并持有策略的累計(jì)收益率隨時(shí)間變化的曲線圖，從圖中可以看出所有機(jī)器學(xué)習(xí)算法的累計(jì)收益率均高于買入并持有策略，ADASVM-CSLINEX算法最高，SVM 算法次之，兩者均高于AdaBoost-SVM算法?？傮w來看，ADASVM-CSLINEX算法可以通過對(duì)負(fù)類樣本的錯(cuò)分代價(jià)進(jìn)行控制，從而在一定程度上減少虧損和增加收益，保證策略取得穩(wěn)定的收益。

圖4 各算法累計(jì)收益率曲線圖Fig.4 Cumulative yield curve plot for each algorithm

4 結(jié)束語

當(dāng)前對(duì)量化選股的研究很少考慮到股票預(yù)測(cè)中兩類錯(cuò)誤的問題，本文通過將LINEX 損失函數(shù)引入AdaBoost-SVM 集成算法的權(quán)重更新方程中，構(gòu)建考慮錯(cuò)分代價(jià)的ADASVM-CSLINEX 股票預(yù)測(cè)模型。利用Lasso-Logistic模型動(dòng)態(tài)的篩選因子，將其作為選股模型的輸入變量。通過對(duì)比SVM、AdaBoost-SVM算法在滬深300 指數(shù)成分股漲跌預(yù)測(cè)中的實(shí)證結(jié)果，發(fā)現(xiàn)可以通過改變a值的大小控制對(duì)負(fù)類樣本的懲罰力度。根據(jù)模型漲跌信號(hào)構(gòu)建投資組合，結(jié)果發(fā)現(xiàn)ADASVMCSLINEX 模型在收益能力以及綜合能力方面表現(xiàn)更優(yōu)。本文得出以下結(jié)論：第一，通過將LINEX損失函數(shù)引入AdaBoost-SVM 中可以實(shí)現(xiàn)對(duì)錯(cuò)誤分類的負(fù)類樣本進(jìn)行指數(shù)級(jí)懲罰而對(duì)錯(cuò)誤分類的正類樣本進(jìn)行線性級(jí)懲罰，從而解決不同類樣本間的錯(cuò)分代價(jià)問題。第二，恰當(dāng)?shù)剡x擇a值會(huì)使根據(jù)ADASVM-CSLINEX選股模型構(gòu)建的投資策略獲得更高的投資績(jī)效。

本文的創(chuàng)新點(diǎn)是通過將具有非對(duì)稱的LINEX損失函數(shù)引入AdaBoost框架，提出了一種ADASVM-CSLINEX算法來解決股票預(yù)測(cè)中的錯(cuò)分代價(jià)問題。在本文中，由于負(fù)類樣本的錯(cuò)分代價(jià)大于正類樣本，通過令a為負(fù)值實(shí)現(xiàn)了對(duì)負(fù)類樣本更大的懲罰；若在其他問題中，正類樣本的錯(cuò)分代價(jià)大于負(fù)類樣本，則令a為正值就可以實(shí)現(xiàn)對(duì)正類樣本更大的懲罰；并且當(dāng)a的絕對(duì)值越大時(shí)，算法對(duì)樣本的懲罰力度也越大?？偟膩碚f，該算法操作簡(jiǎn)便，僅通過控制參數(shù)a的大小和正負(fù)就可以實(shí)現(xiàn)對(duì)不同類樣本不同力度的懲罰；該算法應(yīng)用廣泛，不僅對(duì)諸如疾病診斷、垃圾郵件過濾、信用評(píng)級(jí)等錯(cuò)分代價(jià)不平衡問題具有良好的分類效果，還可以用來解決不同類樣本數(shù)量不平衡問題，由于少數(shù)類樣本更難被準(zhǔn)確分類，通過賦予少數(shù)類樣本更大的懲罰，從而提高少數(shù)類樣本在總體中的重要性，可以使該類問題得到有效解決。