組合核RVM在CPI預(yù)測(cè)中的應(yīng)用研究

李昌良，江　燕，王殿君，韓繼光

(1.昆明理工大學(xué)　a.質(zhì)量發(fā)展研究院； b.信息工程與自動(dòng)化學(xué)院，昆明　650093；2.山西財(cái)經(jīng)大學(xué) 會(huì)計(jì)學(xué)院，太原　030006； 3.云南農(nóng)業(yè)大學(xué) 機(jī)電工程學(xué)院，昆明　650201)

?

組合核RVM在CPI預(yù)測(cè)中的應(yīng)用研究

李昌良1a，江燕2，王殿君1b，韓繼光3

(1.昆明理工大學(xué)a.質(zhì)量發(fā)展研究院； b.信息工程與自動(dòng)化學(xué)院，昆明650093；2.山西財(cái)經(jīng)大學(xué) 會(huì)計(jì)學(xué)院，太原030006； 3.云南農(nóng)業(yè)大學(xué) 機(jī)電工程學(xué)院，昆明650201)

摘要：針對(duì)傳統(tǒng)預(yù)測(cè)模型訓(xùn)練時(shí)間長(zhǎng)、誤差大的缺陷，提出高可靠的組合核相關(guān)向量機(jī)模型用于CPI預(yù)測(cè)。構(gòu)建組合核相關(guān)向量機(jī)預(yù)測(cè)模型，根據(jù)我國(guó)1987年1月至2015年2月的CPI月度數(shù)據(jù)，得到CPI的回歸預(yù)測(cè)曲線，再與支持向量機(jī)和單核相關(guān)向量機(jī)進(jìn)行對(duì)比。仿真模擬表明：組合核相關(guān)向量機(jī)預(yù)測(cè)模型預(yù)測(cè)CPI的平均誤差可控制在1%以內(nèi)，運(yùn)行時(shí)間為1.35 s，預(yù)測(cè)結(jié)果良好。

關(guān)鍵詞：組合核；相關(guān)向量機(jī)；CPI

一、引言

居民消費(fèi)價(jià)格指數(shù)(CPI)，是衡量居民購(gòu)買(mǎi)生活相關(guān)產(chǎn)品及服務(wù)價(jià)格波動(dòng)的宏觀經(jīng)濟(jì)指標(biāo)，通常用以反映通貨水平，與貨幣供應(yīng)量、國(guó)內(nèi)生產(chǎn)總值、匯率、投資與消費(fèi)、需求和供給等有著極其重要的聯(lián)系，它們之間相互依存相互作用。它既是宏觀經(jīng)濟(jì)運(yùn)行的“晴雨表”，也通過(guò)價(jià)格變化影響人民生活水平。全球經(jīng)濟(jì)復(fù)蘇乏力，我們國(guó)家自2014年9月CPI重返“1時(shí)代”，也面臨著很大的經(jīng)濟(jì)下行壓力，因而為保持價(jià)格平穩(wěn)，預(yù)測(cè)CPI異常重要。

目前，研究和預(yù)測(cè)CPI問(wèn)題的方法主要有經(jīng)典時(shí)間序列方法和智能算法。經(jīng)典時(shí)間序列方法如ARMA、ARCH、BVAR等大多是線性模型，而這些模型通常要求數(shù)據(jù)具有正態(tài)性和平穩(wěn)性，因此對(duì)于如同CPI這類非線性非平穩(wěn)時(shí)間序列的預(yù)測(cè)存在著一定的局限性[1-2]。為克服以上不足，一些學(xué)者引入智能算法進(jìn)行時(shí)間序列的分析，其中支持向量機(jī)可以解決小樣本、非線性、高維數(shù)、局部極小點(diǎn)等[3-5]實(shí)際問(wèn)題，常用于金融時(shí)間序列的預(yù)測(cè)[6-8]。但支持向量機(jī)的應(yīng)用需要在馬瑟條件下選擇最優(yōu)參數(shù)，且算法復(fù)雜、運(yùn)算速度較慢、預(yù)測(cè)精度不高；因此 Zhang Lei等將核函數(shù)與相關(guān)向量機(jī)結(jié)合研究、診斷、預(yù)測(cè)電力系統(tǒng)故障[9-11]，韓敏等運(yùn)用相關(guān)向量機(jī)進(jìn)行時(shí)間序列預(yù)測(cè)，通過(guò)相關(guān)向量機(jī)自選最優(yōu)參數(shù)，取得了較好的效果[12]。

上述成果為本文研究提供了極好的參考價(jià)值和理論依據(jù)。同時(shí)，組合核相關(guān)向量機(jī)也恰好彌補(bǔ)了上述方法的不足，且可以利用相關(guān)向量機(jī)的概率預(yù)測(cè)優(yōu)勢(shì)得到其他預(yù)測(cè)模式無(wú)法得到的預(yù)測(cè)誤差范圍[10]。基于此，本文選用組合核相關(guān)向量機(jī)進(jìn)行居民消費(fèi)價(jià)格指數(shù)的預(yù)測(cè)。

二、組合核RVM 的CPI預(yù)測(cè)模型

基于上述CPI的預(yù)測(cè)特點(diǎn)，結(jié)合2001年Michael E Tipping博士基于貝葉斯概率和最大似然等相關(guān)理論建立組合核RVM 的CPI預(yù)測(cè)模型，通過(guò)最大化邊際似然函數(shù)獲取關(guān)聯(lián)向量和權(quán)重。權(quán)重和核函數(shù)充分描述了相關(guān)向量機(jī)的結(jié)構(gòu)。核函數(shù)是指一組輸入的數(shù)據(jù)投影到一個(gè)高維特征空間的基函數(shù)。

(一)RVM 算法

此處將具系統(tǒng)高度非線性的CPI數(shù)據(jù)進(jìn)行外推數(shù)據(jù)重組處理，假定CPI訓(xùn)練樣本總數(shù)為N，則N=(x1,x2,x3,…,xN)， 進(jìn)一步對(duì)訓(xùn)練樣本集進(jìn)行處理，形成M列數(shù)據(jù)，一共產(chǎn)生M-1列測(cè)試集，第M列為訓(xùn)練集：

(1)

(2)

其中，k(x,xi)是核函數(shù)，wi是回歸系數(shù)。對(duì)于整個(gè)樣本集的似然函數(shù)為：

(3)

(4)

其中，α=[α0,α1,…,αN]T是超參數(shù)，每個(gè)超參數(shù)αi都有對(duì)應(yīng)的wi。由貝葉斯公式即可得到權(quán)重后驗(yàn)分布的數(shù)學(xué)表達(dá)式：

p(t|W,α,σ2)=

(5)

m=σ-2∑ΦTt

(6)

∑=(σ-2ΦTΦ+A)-1

(7)

其中，A=diag(α1,α2,…,αN)。并通過(guò)集成權(quán)重獲得最大似然函數(shù)：

(8)

其中，協(xié)方差可表示C=σ2I+ΦA(chǔ)-1ΦT。分別對(duì)α和σ2求偏導(dǎo)，令其等于0，可得：

(9)

(10)

其中mi是第i個(gè)元素，且γi=1-αi∑ii，∑ii是矩陣∑的第i個(gè)對(duì)角元。

相關(guān)向量機(jī)不斷重復(fù)運(yùn)算，同時(shí)不斷更新m和∑，直到滿足收斂要求或達(dá)到最大迭代次數(shù)。也就是說(shuō)在不斷計(jì)算過(guò)程中，大部分權(quán)重趨近于0，產(chǎn)生核函數(shù)矩陣項(xiàng)，而其中大部分不會(huì)參與到實(shí)際預(yù)測(cè)計(jì)算中[11]。

(二)核函數(shù)的選取

滿足 Mercer 定理的函數(shù)都可以作為核函數(shù)。常見(jiàn)的核函數(shù)有高斯徑向基核函數(shù)和多項(xiàng)式核函數(shù)。

(11)

K2(x,x′)=((x,x′)+1)d,d=1,2,…

(12)

大部分實(shí)際問(wèn)題的數(shù)據(jù)均服從高斯分布，因此常選用高斯徑向基核函數(shù)作為RVM的核函數(shù)。徑向基核函數(shù)屬于典型的局部核函數(shù)，而多項(xiàng)式核函數(shù)則是典型的全局核函數(shù)；多項(xiàng)式核函數(shù)具有較強(qiáng)的推廣能力，而徑向基核函數(shù)具有較強(qiáng)的學(xué)習(xí)能力。因此選取高斯徑向基核函數(shù)和多項(xiàng)式核函數(shù)構(gòu)成組合核函數(shù)用于RVM。

結(jié)合式(10)、(11)有組合核函數(shù)：

K(x,x′)=λK1(x,x′)+(1-λ)K2(x,x′)

其中，0≤λ≤1；當(dāng)λ=0或λ=1時(shí)，組合核函數(shù)變成單一核函數(shù)；λ越大則高斯徑向基核函數(shù)占比越大，多項(xiàng)式核函數(shù)占比越小。

三、我國(guó)CPI預(yù)測(cè)仿真實(shí)驗(yàn)

通過(guò)國(guó)家統(tǒng)計(jì)局網(wǎng)站選取我國(guó)1987年1月至2015年2月的CPI月度的338組數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，圖1是我國(guó)此階段的CPI原始數(shù)據(jù)，可以看出從1987年開(kāi)始居民消費(fèi)價(jià)格指數(shù)快速增長(zhǎng)，每年平均增長(zhǎng)20%，直到1999年底；2000年到2006年CPI出現(xiàn)小幅波動(dòng)，但還是屬于比較正常的現(xiàn)象；2007年以來(lái)我國(guó)由于受美國(guó)次貸危機(jī)的影響，居民消費(fèi)價(jià)格指數(shù)出現(xiàn)大幅波動(dòng)，尤其2009年居民消費(fèi)價(jià)格指數(shù)大幅下滑；2010年以來(lái)又大幅上漲，這是由于前期政府4萬(wàn)億元投資顯現(xiàn)，拉動(dòng)CPI上揚(yáng)；2012年下半年由于政府穩(wěn)健的貨幣政策和4萬(wàn)億元刺激的減弱，居民消費(fèi)價(jià)格指數(shù)保持在合理區(qū)間，說(shuō)明經(jīng)濟(jì)環(huán)境整體運(yùn)行良好。為驗(yàn)證本文所提出的核函數(shù)的有效性，將組合核相關(guān)向量機(jī)與模糊神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)進(jìn)行實(shí)例比較分析。數(shù)據(jù)集包含338個(gè)樣本，其中288個(gè)樣本為訓(xùn)練集，50個(gè)樣本為測(cè)試集。實(shí)驗(yàn)表明，令M=10個(gè)因素?cái)?shù)為輸入值，第11個(gè)因素?cái)?shù)為輸出值時(shí)，誤差最小。

圖1　我國(guó)1987年1月至2015年2月CPI原始數(shù)據(jù)

(一)核函數(shù)參數(shù)選取

針對(duì)核函數(shù)k(x,x′)，進(jìn)行核函數(shù)參數(shù)選取,令σ=0.7，d=2[12]。則核函數(shù)成為：

(1-λ)((x,x′)+1)2

(12)

其中λ∈[0.1,0.9]，按照步長(zhǎng)為0.1，對(duì)λ進(jìn)行確定，則關(guān)于參數(shù)λ與參數(shù)生成時(shí)間和誤差的關(guān)系如表1所示。

從表1可以看出，隨著λ的增大，誤差水平總體不斷增大，噪聲水平先增大后減小，運(yùn)行時(shí)間誤差最小。因此選擇λ=0.1，則核函數(shù)為：

0.9((x,x′)+1)2

(13)

表1　參數(shù)選擇示意表

(二)結(jié)果分析

按照上述要求，用Matlab編制仿真實(shí)驗(yàn)程序，選定參數(shù)N=300、noise=0.1、width=3、maxIts=1 200，其中支持向量機(jī)和單核相關(guān)向量機(jī)的核函數(shù)選擇kernel=gauss，相關(guān)向量機(jī)組合核函數(shù)選擇kernel=gauss+poly(如式(11))進(jìn)行運(yùn)行。通過(guò)前面的3種預(yù)測(cè)方法得出50個(gè)CPI預(yù)測(cè)數(shù)據(jù)，3種方法的預(yù)測(cè)結(jié)果如圖2，其中SVM表示支持向量機(jī)CPI回歸預(yù)測(cè)、RVM代表單核相關(guān)向量機(jī)CPI回歸預(yù)測(cè)、CK-RVM代表組合核相關(guān)向量機(jī)CPI回歸預(yù)測(cè)?？梢钥闯鲋С窒蛄繖C(jī)的CPI預(yù)測(cè)準(zhǔn)確度明顯小于單核相關(guān)向量機(jī)CPI預(yù)測(cè)準(zhǔn)確度和組合核相關(guān)向量機(jī)CPI回歸預(yù)測(cè)準(zhǔn)確度，且由于相關(guān)向量機(jī)可以產(chǎn)生CPI預(yù)測(cè)誤差范圍，組合核相關(guān)向量機(jī)CPI回歸預(yù)測(cè)誤差范圍最小，體現(xiàn)出組合核相關(guān)向量機(jī)CPI回歸預(yù)測(cè)最為準(zhǔn)確。

圖2　3種方法回歸預(yù)測(cè)示意圖

3種方法比較參數(shù)為：回歸測(cè)試誤差(Regression test error，RMS)、標(biāo)準(zhǔn)均方根誤差(Normalized root mean square error，NRMSE)、程序運(yùn)行時(shí)間(Time，T)、正確率(Accuracy rate，AR)、超出預(yù)測(cè)誤差個(gè)數(shù)(Exceeding the forecast error number，EFEN)。通過(guò)表2可以看出用組合核函數(shù)的相關(guān)向量機(jī)運(yùn)行時(shí)間最短，但其CPI回歸測(cè)試誤差最低，標(biāo)準(zhǔn)均方根誤差小于1%，測(cè)試結(jié)果的準(zhǔn)確度SVM

表2　3種方法回歸誤差對(duì)比

四、結(jié)語(yǔ)

通過(guò)預(yù)測(cè)，發(fā)現(xiàn)CPI在近幾個(gè)月保持在1%左右，總體來(lái)說(shuō)表現(xiàn)良好，但增速略有放緩，這并不是說(shuō)明CPI越低越好，CPI越低表明人們手中的資本價(jià)值越高，但CPI又不能太高。保持CPI在一個(gè)合理上漲空間是很棘手的事情，可以通過(guò)穩(wěn)健的財(cái)政政策和積極的貨幣政策予以解決。

通過(guò)運(yùn)用組合核相關(guān)向量機(jī)預(yù)測(cè)居民消費(fèi)價(jià)格指數(shù)，可以提高預(yù)測(cè)效率和準(zhǔn)確性。在核方法的算法中，核函數(shù)的選擇是核心部分，因此在具備馬瑟條件的情況下，將數(shù)據(jù)進(jìn)行重組處理找到CPI數(shù)據(jù)自身之間的關(guān)系；先對(duì)數(shù)據(jù)進(jìn)行排列訓(xùn)練，再將具有較強(qiáng)推廣能力的多項(xiàng)式核函數(shù)與具有較強(qiáng)學(xué)習(xí)能力的徑向基核函數(shù)進(jìn)行結(jié)合，選取最優(yōu)核函數(shù)分配參數(shù)權(quán)重，進(jìn)而預(yù)測(cè)我國(guó)CPI的發(fā)展趨勢(shì)。從圖2和表2可以看出，組合核相關(guān)向量機(jī)預(yù)測(cè)模型預(yù)測(cè)CPI的平均誤差可控制在1%以內(nèi)，運(yùn)行時(shí)間為1.35 s，預(yù)測(cè)值和統(tǒng)計(jì)值擬合較好，取得了良好的預(yù)測(cè)結(jié)果。但此方法在運(yùn)用組合核函數(shù)進(jìn)行CPI經(jīng)濟(jì)預(yù)測(cè)過(guò)程中，組合核函數(shù)中λ的更進(jìn)一步精確確定是作者后面研究的主要方向，比如可以運(yùn)用交叉驗(yàn)證或蟻群算法進(jìn)行尋優(yōu)確定。

參考文獻(xiàn)：

[1]李召輝.基于小波分析的CPI實(shí)證研究及預(yù)測(cè)[D].成都：西南財(cái)經(jīng)大學(xué),2011.

[2]戴穩(wěn)勝,呂奇杰,David Pitt.金融時(shí)間序列預(yù)測(cè)模型——基于離散小波分解與支持向量回歸的研究[J].統(tǒng)計(jì)與決策,2007(14):4-7.

[3]TAY F E H,CAO L.Application of support vector machines in financial time series forecasting[J].Omega,2001,29(4):309-317.

[4]MOURA M D C,ZIO E,LINS I D,et al.Failure and reliability prediction by support vector machines regression of time series data[J].Reliability engineering,2011,96(11):1527-1534.

[5]ZHENG B,MYINT S W,THENKABAIL P S,et al.A support vector machine to identify irrigated crop types using time-series landsat NDVI data[J].International journal of applied earth observation & geoinformation,2015,34(1):103-112.

[6]楊新臣,吳仰儒.中國(guó)消費(fèi)者物價(jià)指數(shù)預(yù)測(cè)——基于小波變換與支持向量回歸的分析[J].山西財(cái)經(jīng)大學(xué)學(xué)報(bào),2010(2):1-8.

[7]PREE H,HERWIG B,GRUBER T,et al.On general purpose time series similarity measures and their use as kernel functions in support vector machines[J].Information Sciences,2014,281:478-495.

[8]路世昌，趙博琦，畢建武.基于模糊信息?；疭VM時(shí)序回歸CPI預(yù)測(cè)[J].統(tǒng)計(jì)與決策,2015(14):82-84.[9]ZHANG L.Fault prognostic algorithm based on multivariate relevance vector machine and time series iterative prediction [J].Procedia engineering,2012,29:678- 686.[10]段青，趙建國(guó)，馬艷，等.優(yōu)化組合核函數(shù)相關(guān)向量機(jī)電力負(fù)荷預(yù)測(cè)模型[J].電機(jī)與控制學(xué)報(bào)，2010，14(6):33-38.

[11]朱永利，尹金良.組合核相關(guān)向量機(jī)在電力變壓器故障診斷中的應(yīng)用研究[J].中國(guó)電機(jī)工程學(xué)報(bào)，2013(22):68-74.

[12]韓敏，許美玲，穆大蕓.無(wú)核相關(guān)向量機(jī)在時(shí)間序列預(yù)測(cè)中的應(yīng)用[J].計(jì)算機(jī)學(xué)報(bào)，2014(12):2427-2432.

[13]PSORAKIS I， DAMOULAS T， GIROLAMI M A． Multiclass relevance vector machines： an evaluation of sparsity and accuracy[J]．IEEE Transactions on Neural Networks， 2010，21(10)： 1588-1598.

[14]TOLAMBIYA A,PREM K K．Relevance vector machine with adaptive wavelet kernels for efficient image coding [J].Neurocomputing,2010,73:1417-1424.

[15]王煒，郭小明，王淑艷，等.關(guān)于核函數(shù)選取的方法[J].遼寧師范大學(xué)學(xué)報(bào)(自然科學(xué)版)，2008，31(1):1-4.

(責(zé)任編輯魏艷君)

Study on Application of Compounding Kernels RVM in Prediction of CPI

LI Chang-liang1a，JIANG Yan2，WANG Dian-jun1b，HAN Ji-guang3

(1.a.Institute of Quality Development; b. Institute of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650093, China;2.School of Accountancy, Shanxi University of Finance and Economics, Taiyuan 030006, China;3.School of Mechatronic Engineering, Yunnan Agricultural University, Kunming 650201, China)

Abstract:Traditional forecasting models have defects of needing long training time and producing more errors. This paper presents highly reliable nuclear relevance vector machine model used for the CPI forecasts. Based on the monthly historical data from January 1987 to February 2015 CPI, the paper builds a composite core relevance vector machine predictive model, forecasts regression curves by the CPI. Simulation shows that the combination of nuclear relevance vector machines prediction model can make the average error of the CPI controlled within 1%, and the running time is 1.35 s, so it achieved good results.

Key words:Compounding Kernels (CK); Relevance Vector Machines (RVM); CPI

收稿日期：2015-11-10

作者簡(jiǎn)介：李昌良(1990—)，男，四川簡(jiǎn)陽(yáng)人，碩士研究生，研究方向：數(shù)據(jù)挖掘。

doi:10.3969/j.issn.1674-8425(s).2016.05.006

中圖分類號(hào)：F273.7

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1674-8425(2016)05-0048-05

引用格式：李昌良，江燕，王殿君，等.組合核RVM在CPI預(yù)測(cè)中的應(yīng)用研究[J].重慶理工大學(xué)學(xué)報(bào)(社會(huì)科學(xué))，2016(5):48-52.

Citation format：LI Chang-liang，JIANG Yan，WANG Dian-jun,et al.Study on Application of Compounding Kernels RVM in Prediction of CPI[J].Journal of Chongqing University of Technology(Social Science)，2016(5):48-52.