基于灰色模型和支持向量機(jī)的組合預(yù)測模型

劉齊林,曾 玲,曾祥艷

基于灰色模型和支持向量機(jī)的組合預(yù)測模型

劉齊林,曾 玲,曾祥艷

(桂林電子科技大學(xué)數(shù)學(xué)與計算科學(xué)學(xué)院,廣西桂林 541004)

為提高預(yù)測模型的精度,提出了一種基于灰色模型和支持向量機(jī)的組合預(yù)測模型。該模型將累加序列中每個數(shù)據(jù)分別作為初始條件建立灰色模型,然后對各個灰色模型進(jìn)行最優(yōu)組合,通過支持向量機(jī)建立最優(yōu)預(yù)測模型,并以成都市1993—2001年航空旅客運(yùn)輸量進(jìn)行仿真預(yù)測實驗。實驗結(jié)果表明,相對于傳統(tǒng)灰色模型和灰色神經(jīng)網(wǎng)絡(luò)模型,基于灰色模型和支持向量機(jī)的組合預(yù)測模型提高了預(yù)測精度。

灰色模型;支持向量機(jī);時間序列預(yù)測

自從1982年鄧聚龍?zhí)岢龌疑到y(tǒng)理論[1]以來,研究人員開展了相關(guān)理論探索及在不同領(lǐng)域的應(yīng)用研究。灰色系統(tǒng)理論主要研究“小樣本,貧信息不確定”問題,通過序列生成來尋求其變化規(guī)律,其最大優(yōu)點在于所需數(shù)據(jù)少,預(yù)測精度較高,廣泛應(yīng)用在少數(shù)據(jù)、貧信息的短期預(yù)測中[2-3]。現(xiàn)有的灰色模型主要研究模型參數(shù)的優(yōu)化和改進(jìn)方法[4],以提高灰色模型的預(yù)測精度。

1969年Bates和Gtrange系統(tǒng)地研究了組合預(yù)測模型[5],相比于單一模型,組合預(yù)測模型能較大限度地利用各種模型提供的信息提高預(yù)測精度。近年來,章勇高等[6]提出了一種新型灰色神經(jīng)網(wǎng)絡(luò)優(yōu)化組合的風(fēng)電發(fā)電量預(yù)測方法,將人工神經(jīng)網(wǎng)絡(luò)預(yù)測模型與灰色模型有效結(jié)合,降低了預(yù)測誤差。唐萬梅[7]提出了灰色支持向量機(jī)預(yù)測模型,該模型發(fā)揮了灰色預(yù)測方法中累加生成的優(yōu)點,增強(qiáng)了規(guī)律性,弱化了隨機(jī)性,通過累減還原得到原始數(shù)據(jù)預(yù)測模型,提高了預(yù)測精度。曾振東[8]通過建立網(wǎng)絡(luò)輿情GM(1,1)模型,運(yùn)用支持向量機(jī)對GM(1,1)模型的預(yù)測結(jié)果進(jìn)行殘差修正,提高了預(yù)測精度。

鑒于此,提出一種基于灰色模型和支持向量機(jī)的組合預(yù)測模型,該模型將不同初始條件得到的灰色模型的預(yù)測值作為支持向量機(jī)的輸入,輸出為一個非線性組合,對樣本不斷地進(jìn)行訓(xùn)練和學(xué)習(xí),達(dá)到一定精度后,再將該最優(yōu)組合預(yù)測模型用于預(yù)測,得到最終的預(yù)測結(jié)果。該組合預(yù)測模型避免了傳統(tǒng)組合預(yù)測模型因采用基于最小二乘法的線性組合過分依賴其預(yù)測值及其相應(yīng)權(quán)重的影響,通過支持向量機(jī)訓(xùn)練,得到非線性組合輸出,減少了組合預(yù)測對真實值的偏離[9]。另外,采用灰色模型累加序列中每個數(shù)據(jù)作為初始條件,利用原始數(shù)據(jù)的信息,提高了預(yù)測模型的精度。

1 改進(jìn)的灰色預(yù)測GM(1,1)模型

GM(1,1)模型是一種最常用的灰色模型[2],由僅含一個變量的一階微分方程構(gòu)成。為了說明傳統(tǒng)灰色模型在初始條件選取上的不足,現(xiàn)作簡要分析。

GM(1,1)模型的白化方程為:

其中a、u為待定參數(shù)。求解微分方程(1),

將式(2)離散化,

為求解式(3)的c,需要給定初始條件,灰色模型一般將x(1)(1)作為初始條件,代入式(3)得:

將式(4)代入式(3),得到GM(1,1)模型的時間響應(yīng)序列為:

其中k=0,1,…,n-1。

因此,將累加序列中每個數(shù)據(jù)分別作為初始條件建立灰色模型[4]。設(shè)灰色模型一次累加生成的序列X(1)=(x(1)(1),x(1)(2),…,x(1)(n)),初始條件為x(1)(t)t=m=x(1)(m),m=1,2,…,n,代入式(2)得:

將式(6)代入式(3),得到新的時間響應(yīng)序列為:

由累減還原得到新的預(yù)測公式為:

其中:k=1,2,…,n;m=1,2,…,n。

2 支持向量機(jī)預(yù)測模型

支持向量機(jī)是建立在統(tǒng)計學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險最小化基礎(chǔ)上的新的機(jī)器學(xué)習(xí)方法[10],具有比較完善的理論基礎(chǔ),在理論上充分保證了模型的泛化性。支持向量機(jī)預(yù)測模型是尋求輸入數(shù)據(jù)序列與輸出數(shù)據(jù)序列之間的非線性映射關(guān)系f,對于給定的訓(xùn)練樣本(x1,y1),(x2,y2),…,(xn,yn),xi∈Rn,yi∈R,其中xi為輸入數(shù)據(jù),yi為對應(yīng)的輸出數(shù)據(jù),支持向量機(jī)通過非線性映射φ將輸入數(shù)據(jù)序列xi映射到高維特征空間F,在此特征空間進(jìn)行線性回歸:

其中:w為權(quán)向量;b為偏置量。

由結(jié)構(gòu)風(fēng)險最小化原則可知,w和b可通過求解下面的優(yōu)化問題得到:

其中:ε為Vapnik用ε不敏感損失函數(shù)定義的誤差,其控制支持向量的個數(shù)和模型的復(fù)雜度,提高模型的泛化能力;ξi和ξi*為松弛變量,ξi≥0,ξi*≥0,i=1, 2,…,n;C為懲罰因子。

式(10)為一個凸二次優(yōu)化問題,可以通過引入拉格朗日函數(shù)轉(zhuǎn)化為對偶問題求解:

其中,核函數(shù)K(xi,xj)=〈φ(xi),φ(xj)〉為高維特征空間中定義的內(nèi)積,在高維特征空間中使用核函數(shù),不需要知道非線性映射φ的具體形式,降低了模型的計算復(fù)雜度。最終得到的非線性預(yù)測模型為:

其中αi、α*i為拉格朗日乘子。

3 灰色支持向量機(jī)組合預(yù)測模型

灰色模型所需數(shù)據(jù)少,通過累加序列生成,弱化其隨機(jī)性,增強(qiáng)數(shù)據(jù)的規(guī)律性,但在初始條件選取上存在不足,僅選擇一個數(shù)據(jù)建立灰色模型,未充分利用原始數(shù)據(jù)中每個數(shù)據(jù)的信息,如果數(shù)據(jù)偏差較大,預(yù)測精度將大大降低。支持向量機(jī)是基于結(jié)構(gòu)風(fēng)險最小化原則的機(jī)器學(xué)習(xí)方法,具有良好的非線性擬合能力,能充分挖掘各個信息之間的內(nèi)在關(guān)系?；疑С窒蛄繖C(jī)組合預(yù)測模型首先將累加序列中每個數(shù)據(jù)作為初始條件建立灰色模型,然后將各個灰色模型的預(yù)測值作為支持向量機(jī)的輸入,通過支持向量機(jī)訓(xùn)練,得到各個模型的最優(yōu)組合,運(yùn)用最優(yōu)模型進(jìn)行預(yù)測。具體建模步驟為:

1)設(shè)原始數(shù)據(jù)序列X(0)的一次累加生成序列為X(1)=(x(1)(1),x(1)(2),…,x(1)(n)),將累加序列的每個數(shù)據(jù)作為初始條件建立灰色模型,得到預(yù)測值。

2)將灰色模型得到的預(yù)測值進(jìn)行歸一化處理,并將歸一化處理后的數(shù)據(jù)作為支持向量機(jī)的輸入向量。

3)選擇適當(dāng)?shù)暮撕瘮?shù),如高斯徑向基核函數(shù),通過經(jīng)驗確定支持向量機(jī)的參數(shù)。

4)對樣本進(jìn)行訓(xùn)練,達(dá)到較高精度后,將該模型用于最終預(yù)測。

4 數(shù)值實驗與結(jié)果分析

實驗采用成都市1993—2001年的航空旅客運(yùn)輸量進(jìn)行建模[11],預(yù)測2002年和2003年的客運(yùn)量,并與傳統(tǒng)灰色模型、灰色神經(jīng)網(wǎng)絡(luò)模型的預(yù)測精度進(jìn)行比較分析。

1)選擇1993—2001年累加后的數(shù)據(jù)作為初始條件,建立灰色模型,通過計算,GM(1,1)模型的參數(shù)a=-0.099 1,u=138.338 4。

2)將不同初始條件建立的灰色模型記為GM1-GM9模型,通過9個模型得到原始數(shù)據(jù)序列的擬合值和預(yù)測值。將得到的擬合值與預(yù)測值進(jìn)行預(yù)處理并歸一化,得

其中:z′i為歸一化數(shù)據(jù);zmax和zmin分別為GM1-GM9模型擬合預(yù)測值序列的最大值和最小值。同時將原始數(shù)據(jù)序列也進(jìn)行歸一化處理。

3)設(shè)第1個灰色模型對原始數(shù)據(jù)(z1,z2,…, z11)的擬合值為(t11,t12,…,t19),預(yù)測值為(y11, y12),第2個灰色模型對原始數(shù)據(jù)的擬合值為(t21, t22,…,t29),預(yù)測值為(y21,y22),以此類推,得到第9個灰色模型對原始數(shù)據(jù)的擬合值為(t91,t92,…, t99),預(yù)測值為(y91,y92)。9個灰色模型對原始值x1的擬合值為(t11,t21,…,t91),將(t11,t21,…,t91)作為支持向量機(jī)的輸入,z1作為支持向量機(jī)的輸出,其他8個原始值以同樣方法構(gòu)造支持向量機(jī)訓(xùn)練樣本集,進(jìn)行支持向量機(jī)訓(xùn)練,后2個樣本(y11,y21,…,y91;z10)和(y12,y22,…,y92;z11)作為測試集。

4)不斷地進(jìn)行支持向量機(jī)訓(xùn)練和學(xué)習(xí),最終選擇高斯核函數(shù)K(x,xi)=exp(-γ‖x-xi‖2)作為核函數(shù),支持向量機(jī)其他參數(shù)的取值分別為C=1028, γ=0.1,ε=0.01。

3種預(yù)測模型的預(yù)測值及相對誤差如表1所示。從表1可看出,傳統(tǒng)灰色模型選擇第1個數(shù)據(jù)作為初始條件,其相對誤差為0,擬合效果最好。其他數(shù)據(jù)的相對誤差都比較大,最大相對誤差大于10%,說明傳統(tǒng)灰色模型選擇第1個數(shù)據(jù)作為初始條件具有很大的缺陷?；疑窠?jīng)網(wǎng)絡(luò)模型結(jié)合灰色模型和神經(jīng)網(wǎng)絡(luò)的非線性擬合,平均相對誤差小于傳統(tǒng)灰色模型,預(yù)測精度有所提高。由于支持向量機(jī)基于結(jié)構(gòu)風(fēng)險最小化原則建模,具有良好的非線性擬合能力和泛化能力,綜合運(yùn)用了單一灰色模型提供的有用信息,灰色支持向量機(jī)模型的平均相對誤差小于前2種模型,3種模型的平均相對誤差分別為6.38%、4.54%、2.42%。

表1 3種預(yù)測模型的預(yù)測值及相對誤差Tab.1 The predictive value and relative error of three prediction models

5 結(jié)束語

針對傳統(tǒng)灰色模型初始條件選擇上的缺陷,改進(jìn)了傳統(tǒng)灰色模型,并結(jié)合支持向量機(jī)的小樣本非線性擬合與泛化能力的優(yōu)點,提出了一種基于灰色模型和支持向量機(jī)的組合預(yù)測模型。實驗結(jié)果表明,與傳統(tǒng)灰色模型和灰色神經(jīng)網(wǎng)絡(luò)模型相比,灰色支持向量機(jī)組合預(yù)測模型的預(yù)測精度得到較大的提高。

[1] Deng Julong.Control problems of grey systems[J].Systems and Control Letters,1982,1(5):288-294.

[2] 劉思峰,黨耀國,方志耕,等.灰色系統(tǒng)理論及其應(yīng)用[M].2版.北京:科學(xué)出版社,2010:26-39.

[3] 劉思峰.灰色系統(tǒng)理論的產(chǎn)生與發(fā)展[J].南京航空航天大學(xué)學(xué)報,2004,36(2):267-272.

[4] 張大海,江世芳,史開泉.灰色預(yù)測公式的理論缺陷及改進(jìn)[J].系統(tǒng)工程理論與實踐,2002,22(8):365-368.

[5] Bates J M,Gtrange C W J.The combination of forecasts [J].Operations Research Quarterly,1969,20(4):451-468.

[6] 章勇高,王妍,孫佳,等.基于灰色神經(jīng)網(wǎng)絡(luò)優(yōu)化組合的風(fēng)力發(fā)電量預(yù)測研究[J].電測與儀表,2014,51(22):30-34.

[7] 唐萬梅.基于灰色支持向量機(jī)的新型預(yù)測模型[J].系統(tǒng)工程學(xué)報,2006,21(4):410-413.

[8] 曾振東.基于灰色支持向量機(jī)的網(wǎng)絡(luò)輿情預(yù)測模型[J].計算機(jī)應(yīng)用與軟件,2014,31(2):300-302.

[9] Han Dongmei.The comparative study on linear and nonlinear optimal forecast combination methods[J].Information Science,2007,25(11):1672-1678.

[10] Vapnik V N.統(tǒng)計學(xué)習(xí)理論的本質(zhì)[M].張學(xué)工,譯.北京:清華大學(xué)出版社,2000:91-118.

[11] 王忠桃.灰色預(yù)測模型相關(guān)技術(shù)研究[D].成都:西南交通大學(xué),2008:26-37.

編輯:曹壽平

A combination forecasting model based on grey model and support vector machine

Liu Qilin,Zeng Ling,Zeng Xiangyan
(School of Mathematics and Computational Science,Guilin University of Electronic Technology,Guilin 541004,China)

In order to improve the accuracy of the forecasting model,a combination forecasting model based on grey model and support vector machine is presented.Each data of the accumulated sequence is used for the initial condition to establish the grey model.Then the optimal combination of the grey model is built,and the optimal prediction model is established by support vector machine.The simulation prediction experiment is conducted according to 1993-2001 air travel passenger transportation volume in Chengdu.The experimental result shows that compared with the traditional grey model and the grey neural network model,the combination forecasting model based on grey model and support vector machine effectively improves the prediction precision.

grey model;support vector machine;time series forecasting

TP18

A

1673-808X(2015)05-0416-04

2015-05-11

廣西教育廳科研項目(KY2015YB113);桂林電子科技大學(xué)研究生教育創(chuàng)新計劃(YJCXS201553)

曾玲(1963-),女,廣西荔浦人,教授,研究方向為決策分析、不確定理論及其應(yīng)用。E-mail:lzeng@guet.edu.cn

劉齊林,曾玲,曾祥艷.基于灰色模型和支持向量機(jī)的組合預(yù)測模型[J].桂林電子科技大學(xué)學(xué)報,2015,35(5):416-418.