Grid-Search和PSO優(yōu)化的SVM在Shibor回歸預(yù)測(cè)中的應(yīng)用研究

張劍 王波

摘 要 作為一種動(dòng)態(tài)和非穩(wěn)定時(shí)間序列，Shibor發(fā)展變化是隨機(jī)波動(dòng)的，難以準(zhǔn)確預(yù)測(cè)Shibor的波動(dòng)性.支持向量機(jī)（SVM）在回歸預(yù)測(cè)非線(xiàn)性時(shí)間序列方面有很好地預(yù)測(cè)效果，SVM的預(yù)測(cè)精度和泛化能力的核心是參數(shù)的優(yōu)化選擇，分別用網(wǎng)格搜索法（Grid-Search）和粒子群（PSO）算法來(lái)優(yōu)化SVM的參數(shù)c和g.從而將參數(shù)優(yōu)化后的SVM非線(xiàn)性回歸預(yù)測(cè)法與基于傳統(tǒng)ARIMA時(shí)間序列預(yù)測(cè)結(jié)果進(jìn)行對(duì)比分析.實(shí)驗(yàn)表明，優(yōu)化后的SVM回歸預(yù)測(cè)方法比ARIMA時(shí)間序列方法更精確，在實(shí)際中具有很大的應(yīng)用價(jià)值.

關(guān)鍵詞 機(jī)器學(xué)習(xí);非線(xiàn)性回歸預(yù)測(cè);支持向量機(jī);網(wǎng)格搜索法;粒子群算法;Shibor

中圖分類(lèi)號(hào) F830文獻(xiàn)標(biāo)識(shí)碼 A

Abstract As a dynamic and unsteady time series，the development of Shibor is a random fluctuation，and it is difficult to accurately predict the volatility of Shibor.Support vector machine （SVM） has a good predictive effect in the regression prediction of nonlinear time series.SVMs prediction accuracy and generalization ability are due to the optimization of parameters.Grid-search and Particle Group （PSO） algorithm were used to optimize SVM parameters cand g.The SVM nonlinear regression prediction method with parametric optimization was compared with the traditional ARIMA time series prediction results.The experiments show that SVM regression prediction method is more accurate than ARIMA time series method，and it has great application value in practice.

Key words machine learning;nonlinear regression prediction;support vector machines;grid-search algorithm;particle swarm optimization;Shibor

1 引 言

隨著近年來(lái)我國(guó)利率市場(chǎng)化進(jìn)程的不斷加快，作為我國(guó)宏觀(guān)調(diào)控政策工具的利率，其使用的頻率也越來(lái)越高.上海銀行間同業(yè)拆放利率（Shibor）能夠及時(shí)、準(zhǔn)確地反映出貨幣市場(chǎng)資金的供求關(guān)系，在貨幣市場(chǎng)中有著舉足輕重的地位.其變動(dòng)會(huì)迅速影響和傳導(dǎo)我國(guó)金融市場(chǎng)，從而影響銀行和投資者的投資決策，準(zhǔn)確預(yù)測(cè)預(yù)測(cè)Shibor的變化趨勢(shì)以防范利率風(fēng)險(xiǎn)顯得尤為重要.因此，Shibor的預(yù)測(cè)研究對(duì)金融風(fēng)險(xiǎn)控制和金融資產(chǎn)定價(jià)都具有非常重要的理論和實(shí)踐意義[1].

國(guó)內(nèi)的許多學(xué)者也對(duì)Shibor的走勢(shì)進(jìn)行了研究.任兆璋和彭化非（2005）構(gòu)造了我國(guó)Shibor利率期限結(jié)構(gòu)，建立了條件異方差自回歸GARCH以及自回歸移動(dòng)平均ARIMA模型，實(shí)證分析得出ARIMA模型在隔夜Shibor利率走勢(shì)預(yù)測(cè)中效果較好[2].田敏等（2009）基于A(yíng)RMA模型對(duì)Shibor進(jìn)行實(shí)證分析，預(yù)測(cè)結(jié)果表明短期的Shibor預(yù)測(cè)誤差較小，預(yù)測(cè)效果較好，但隨著時(shí)間跨度的增大，模型預(yù)測(cè)的精度越來(lái)越小，預(yù)測(cè)的誤差也越來(lái)越大[3].林宇等（2016）引入了隱馬爾科夫模型，基于HMM-CARCH來(lái)預(yù)測(cè)隔夜的Shibor數(shù)據(jù)，實(shí)證結(jié)果發(fā)現(xiàn)HMM（2）-EGARCH模型的預(yù)測(cè)能力較好[4].以上這些學(xué)者都是基于傳統(tǒng)的ARIMA模型和ARCH/GARCH類(lèi)模型以及這些模型的擴(kuò)展模型等金融時(shí)間序列的分析方法.這些模型雖然短期預(yù)測(cè)效果較好，但還存在著一定的不足和局限性.隨著近些年來(lái)支持向量機(jī)（SVM）和人工神經(jīng)網(wǎng)絡(luò)（ANN）等機(jī)器學(xué)習(xí)方法的快速發(fā)展與應(yīng)用，其也被逐漸運(yùn)用于金融時(shí)間序列數(shù)據(jù)的分析處理與預(yù)測(cè)中.謝小璐等（2012）是將小波神經(jīng)網(wǎng)絡(luò)應(yīng)用于Shibor變化趨勢(shì)的預(yù)測(cè)中，預(yù)測(cè)結(jié)果表明基于小波神經(jīng)網(wǎng)絡(luò)構(gòu)建的Shibor預(yù)測(cè)模型比傳統(tǒng)時(shí)間序列模型的預(yù)測(cè)效果要好[5].林慶添（2016）從人工智能的角度來(lái)預(yù)測(cè)Shibor的走勢(shì)，分別使用了BP神經(jīng)網(wǎng)絡(luò)、小波神經(jīng)網(wǎng)絡(luò)和布谷鳥(niǎo)搜索優(yōu)化的小波神經(jīng)網(wǎng)絡(luò)對(duì)隔夜Shibor進(jìn)行預(yù)測(cè)分析，結(jié)果表明優(yōu)化后的小波神經(jīng)網(wǎng)絡(luò)擬合的效果更好[6].在前人研究成果的基礎(chǔ)上，提出一種基于SVM的回歸預(yù)測(cè)方法，并利用Grid-Search和PSO算法來(lái)優(yōu)化SVM的參數(shù)c和g找到全局最優(yōu)解，以提高預(yù)測(cè)精度.

2 支持向量機(jī)統(tǒng)計(jì)學(xué)習(xí)理論

統(tǒng)計(jì)學(xué)習(xí)理論所研究的是有限樣本或者小樣本條件下的統(tǒng)計(jì)估計(jì)和預(yù)測(cè)學(xué)習(xí)理論.SVM是基于統(tǒng)計(jì)學(xué)習(xí)的結(jié)構(gòu)風(fēng)險(xiǎn)最小和VC維理論之上的機(jī)器學(xué)習(xí)方法，因其具有完善的理論基礎(chǔ)，良好的分類(lèi)和預(yù)測(cè)性能而得到了學(xué)者們的廣泛研究與應(yīng)用.[7-8]

2.1 線(xiàn)性支持向量機(jī)

最優(yōu)的回歸超平面則是全部根據(jù)落在兩條邊界線(xiàn)上的樣本點(diǎn)來(lái)確定，此時(shí)的樣本點(diǎn)就是支持向量.所要尋找的最優(yōu)回歸超平面就是使得幾何間隔最大的分離超平面，線(xiàn)性可分SVM最優(yōu)的學(xué)習(xí)策略可表示為：

其中‖w‖是向量w的第二范數(shù).此時(shí)目標(biāo)函數(shù)是二次函數(shù)且約束函數(shù)是仿射函數(shù)，上式凸最優(yōu)化學(xué)習(xí)策略問(wèn)題就變?yōu)榱饲蠼馔苟我?guī)劃問(wèn)題.為了求解得到線(xiàn)性可分支持向量機(jī)的最優(yōu)解，應(yīng)用拉格朗日對(duì)偶性，通過(guò)求解對(duì)偶問(wèn)題得到原始問(wèn)題的最優(yōu)解.對(duì)偶算法如式（2）所示，這樣做的目的是可以更加簡(jiǎn)單快捷求解原問(wèn)題，與此同時(shí)還可以加入核函數(shù)的概念，從而可以運(yùn)用到非線(xiàn)性支持向量機(jī).

2.2 線(xiàn)性不可分支持向量機(jī)

2.3 非線(xiàn)性支持向量機(jī)與核函數(shù)

3 改進(jìn)的SVM參數(shù)選擇方法

參數(shù)選擇在很大程度上會(huì)影響支持向量機(jī)回歸的準(zhǔn)確性，關(guān)于SVM參數(shù)的優(yōu)化選擇問(wèn)題，到目前為止，學(xué)術(shù)界還沒(méi)有公認(rèn)統(tǒng)一的最好方法.現(xiàn)在，比較常用的參數(shù)尋優(yōu)的方法包括：粒子群算法、實(shí)驗(yàn)法、遺傳算法、網(wǎng)格搜索法等.

3.1 網(wǎng)格搜索法和粒子群算法

網(wǎng)格搜索法的基本原理就是讓參數(shù)c和g在一定的取值范圍內(nèi)劃分網(wǎng)格并遍歷網(wǎng)格內(nèi)所有點(diǎn).對(duì)于取定的c和g利用K-CV方法得到在此組c和g下訓(xùn)練集的準(zhǔn)確率，最終取使得訓(xùn)練集準(zhǔn)確率最高的那組c和g作為最佳的參數(shù).

粒子群算法也叫鳥(niǎo)群覓食算法，源于復(fù)雜適應(yīng)系統(tǒng)，它是一種啟發(fā)式算法.其基本的思想就是通過(guò)群體中個(gè)體之間的相互協(xié)作和信息共享，最終達(dá)到群體最優(yōu)目的的行為.在搜索最優(yōu)參數(shù)時(shí)，把尋優(yōu)的c與δ看作粒子群算法中的粒子，從隨機(jī)解出發(fā)，不斷地進(jìn)行迭代來(lái)求解最優(yōu)解.它簡(jiǎn)單且易實(shí)現(xiàn)，被廣泛應(yīng)用于神經(jīng)網(wǎng)絡(luò)的優(yōu)化、參數(shù)尋優(yōu)、控制系統(tǒng)及其他領(lǐng)域.

3.2 Grid-Search和PSO優(yōu)化SVM的方法

網(wǎng)格搜索方法在參數(shù)尋優(yōu)的過(guò)程中，只要是在所取的區(qū)間足夠大并且步距足夠小的情況下，就可以搜索到全局最優(yōu)解.但這種方法由于懲罰系數(shù)c值過(guò)大，容易導(dǎo)致過(guò)擬合，模型的泛化能力不好，而且遍歷網(wǎng)格將會(huì)浪費(fèi)大量的時(shí)間.通過(guò)對(duì)SVM非線(xiàn)性回歸預(yù)測(cè)原理的分析，我們可以看出參數(shù)c與g的選擇好壞將很大程度上決定Shibor預(yù)測(cè)的準(zhǔn)確度.

基于以上分析，如果可以先確定一個(gè)比較好的參數(shù)尋優(yōu)區(qū)間，接著進(jìn)行精確地搜索，就能夠大大精簡(jiǎn)計(jì)算，提高運(yùn)算效率和精度.一種改進(jìn)的SVM參數(shù)尋優(yōu)的方法是利用Grid-Search和PSO算法來(lái)優(yōu)化SVM參數(shù).先利用網(wǎng)格搜索法大范圍大步距地粗略搜索，初步確定一個(gè)最優(yōu)參數(shù)范圍，接著利用PSO進(jìn)行小步距小范圍地精確搜索，進(jìn)行二次參數(shù)尋優(yōu)，避免了粒子群算法容易陷入局部最優(yōu)的問(wèn)題.

4 Shibor回歸預(yù)測(cè)模型的建立

4.1 樣本數(shù)據(jù)的獲取及預(yù)處理

Shibor數(shù)據(jù)利用python獲取，語(yǔ)法為shibor=ts.shibor_data（2016）.選取的是2016年8月10號(hào)到2017年2月17號(hào)，取前100個(gè)數(shù)據(jù)作為訓(xùn)練集，后30個(gè)數(shù)據(jù)作為預(yù)測(cè)集.為了提高算法的預(yù)測(cè)準(zhǔn)確率和收斂速度，對(duì)原始的Shibor數(shù)據(jù)進(jìn)行歸一化處理，采用歸一化映射將數(shù)據(jù)歸一化到[0，1]之間，歸一化公式如下所示.

4.2模型的建立

4.3訓(xùn)練結(jié)果與分析

4.4 與ARIMA時(shí)間序列預(yù)測(cè)的對(duì)比分析

5 結(jié) 論

首先闡述了準(zhǔn)確預(yù)測(cè)作為我國(guó)貨幣市場(chǎng)核心利率的Shibor的重要性，分析了用于回歸預(yù)測(cè)的支持向量回歸機(jī)的理論基礎(chǔ)，運(yùn)用LIBSVM建立了基于Grid-Search和PSO算法優(yōu)化的SVM模型，提高了預(yù)測(cè)的效率和準(zhǔn)確率.接著選取了2016年8月10日到2017年2月16日的Shibor數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù).最終將參數(shù)優(yōu)化后的模型得到的預(yù)測(cè)結(jié)果與傳統(tǒng)的金融時(shí)間序列預(yù)測(cè)結(jié)果進(jìn)行對(duì)比分析.實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的SVM非線(xiàn)性回歸預(yù)測(cè)比傳統(tǒng)時(shí)間序列預(yù)測(cè)效果要好，在金融研究中具有很好的應(yīng)用價(jià)值.

參考文獻(xiàn)

[1] Naimzada A，Pireddu M.Real and financial interacting markets： A behavioral macro-model[J].Chaos Solitons & Fractals，2015，77（1）：111-131.

[2] 彭化非，任兆璋.中國(guó)銀行間同業(yè)拆借利率預(yù)測(cè)模型研究[J].南方金融，2005（1）：23-25.

[3] 田敏，李純青，馬雷.基于時(shí)間序列的上海銀行間同業(yè)拆放利率（Shibor）[J].寧夏大學(xué)學(xué)報(bào)（人文社會(huì)科學(xué)版），2009，31（2）：129-132.

[4] 林宇，陳粘，陳宴祥.基于HMM-EGARCH的銀行間同業(yè)拆放利率市場(chǎng)波動(dòng)預(yù)測(cè)研究[J].系統(tǒng)工程理論與實(shí)踐，2016，36（3）：593-603.

[5] 謝小璐.基于小波神經(jīng)網(wǎng)絡(luò)的Shibor預(yù)測(cè)研究[J].金融理論與實(shí)踐，2012（8）：57-60.

[6] 林慶添.基于人工智能算法的上海銀行間同業(yè)拆放利率預(yù)測(cè)[D].蘭州大學(xué)，應(yīng)用統(tǒng)計(jì)，2016.

[7] 張學(xué)工.關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)[J].自動(dòng)化學(xué)報(bào)，2000（01）：36-46.

[8] 李航.統(tǒng)計(jì)學(xué)習(xí)方法[M].清華大學(xué)出版社，2012.

[9] 曾鳴，林磊，程文明.基于LIBSVM和時(shí)間序列的區(qū)域貨運(yùn)量預(yù)測(cè)研究[J].計(jì)算機(jī)工程與應(yīng)用，2013（21）：6-10.

[10] 顏曉娟，龔仁喜，張千鋒.優(yōu)化遺傳算法尋優(yōu)的SVM在短期風(fēng)速預(yù)測(cè)中的應(yīng)用[J].電力系統(tǒng)保護(hù)與控制，2016（09）：38-42.