基于Holt-Winters與最小二乘支持向量機(jī)的混合預(yù)測(cè)模型

劉寶成，張仲榮，盛秀梅，程麗娟

(蘭州交通大學(xué) 數(shù)理學(xué)院，甘肅 蘭州 730070)

基于Holt-Winters與最小二乘支持向量機(jī)的混合預(yù)測(cè)模型

劉寶成，張仲榮，盛秀梅，程麗娟

(蘭州交通大學(xué) 數(shù)理學(xué)院，甘肅 蘭州 730070)

為了提高地下水埋深時(shí)間序列的預(yù)測(cè)精度，本文應(yīng)用Holt-Winters三參數(shù)指數(shù)平滑法作為預(yù)測(cè)模型，使用最小二乘支持向量機(jī)對(duì)殘差序列進(jìn)行預(yù)測(cè)。由于核參數(shù)和懲罰因子在很大程度上直接影響了最小二乘支持向量機(jī)的預(yù)測(cè)性能，本文選用果蠅優(yōu)化算法對(duì)其參數(shù)進(jìn)行優(yōu)化選取，該方法不僅能夠建立最優(yōu)的混合預(yù)測(cè)模型，而且能夠很好地捕獲地下水埋深序列的非線性特征。選用甘肅民勤縣大壩鄉(xiāng)城西八社地下水監(jiān)測(cè)站點(diǎn)的數(shù)據(jù)來(lái)驗(yàn)證所建模型的預(yù)測(cè)性能，實(shí)驗(yàn)結(jié)果表明與傳統(tǒng)的單一預(yù)測(cè)方法相比，本文所建混合預(yù)測(cè)模型提高了預(yù)測(cè)精度。

Holt-Winters三參數(shù)指數(shù)平滑；最小二乘支持向量機(jī)；果蠅優(yōu)化算法；混合預(yù)測(cè)模型

地下水通常具有高質(zhì)量、不需要化學(xué)處理可以直接用于人類(lèi)社會(huì)活動(dòng)的特點(diǎn)[1]，作為自然界重要的優(yōu)質(zhì)水資源，特別在干旱或半干旱地區(qū)地下水已成為人們主要的甚至唯一的供水水源[2]。地下水埋深是指潛水面至地表面的距離，是衡量地下水水量重要的標(biāo)準(zhǔn)，準(zhǔn)確預(yù)測(cè)地下水埋深以減少有害影響并維持供需之間的差距對(duì)于水管理者和工程師來(lái)說(shuō)是必要的[3]。目前時(shí)間序列預(yù)測(cè)方法，比如ARIMA、GM(1,1)、Holt-Winters指數(shù)平滑法以及回歸模型已被廣泛地應(yīng)用地下水埋深[4-6]；地下水埋深由于諸多自然因素以及人類(lèi)活動(dòng)的影響，呈現(xiàn)出復(fù)雜的非線性特征[7]。傳統(tǒng)的預(yù)測(cè)模型由于自身非線性逼近能力的不足，難以提高預(yù)測(cè)精度，基于神經(jīng)網(wǎng)絡(luò)(ANN)與機(jī)器學(xué)習(xí)有很強(qiáng)捕獲非線性特征的能力，許多研究者已將其應(yīng)用于地下水埋深預(yù)測(cè)，比如最小二乘支持向量機(jī)(LSSVM)[7]、GM(1,1)與ANN結(jié)合[8]、ANN與自適應(yīng)模糊系統(tǒng)(ANFIS)結(jié)合[9]等取得了很好的預(yù)測(cè)結(jié)果；為了降低序列噪聲的影響，小波降噪結(jié)合其他方法，比如小波-支持向量回歸(WSVR)、小波-神經(jīng)網(wǎng)絡(luò)(WANN)[10-11]等,但是這些方法不能很好地?cái)M合序列的季節(jié)性[12]。

本文結(jié)合Holt-Winters三參數(shù)指數(shù)平滑、最小二乘支持向量機(jī)(Least Squares Support Vector Machines, LSSVM)和果蠅優(yōu)化算法(fruit fly optimization algorithm, FOA)建立混合預(yù)測(cè)模型Holt-Winters-FOA-LSSVM。首先，應(yīng)用Holt-Winters三參數(shù)指數(shù)平滑對(duì)原序列擬合并預(yù)測(cè)，獲得殘差序列以及預(yù)測(cè)值；其次，應(yīng)用LSSVM對(duì)殘差序列進(jìn)行預(yù)測(cè)，并使用FOA對(duì)LSSVM的兩個(gè)參數(shù)進(jìn)行優(yōu)化，建立最優(yōu)的混合預(yù)測(cè)模型；最后，通過(guò)實(shí)驗(yàn)與傳統(tǒng)單一預(yù)測(cè)方法比較，來(lái)證明本文所建模型的有效性。

1 使用方法

1.1 Holt-Winters三參數(shù)指數(shù)平滑

(1)

，

(2)

(3)

如采用乘法模型，構(gòu)造如下：

(4)

(5)

(6)

1.2 最小二乘支持向量機(jī)

LSSVM是支持向量機(jī)的一種類(lèi)型，是一種新型的人工智能技術(shù)[14]。最小二乘法支持向量機(jī)(LSSVM)模型被廣泛地用于科學(xué)工程，LSSVM模型的優(yōu)點(diǎn)，在有關(guān)的定量和定性方面，有很強(qiáng)的非線性擬合能力。

假設(shè){(xi,yi)}為訓(xùn)練樣本集，輸入變量的值是i=1,2,…,N,xi∈Rn、yi∈Rn是輸出變量，線性回歸函數(shù)可用表示為：

f(x)=ωTφ(x)+b。

(7)

其中：x是輸入向量，ω是權(quán)重矩陣，b是常數(shù)；根據(jù)結(jié)構(gòu)最小化原則，優(yōu)化問(wèn)題就會(huì)轉(zhuǎn)化為尋找函數(shù)f(x)，使達(dá)到最?。?/p>

(8)

其中：γ是懲罰因子，ei是誤差；約束方程表示如下：

yi=ωTφ(xi)+b+ei,i=1,2,…,N。

(9)

引進(jìn)拉格朗日乘子ai，得到：

(10)

根據(jù)KKT條件，LSSVM對(duì)方程(10)兩邊求偏導(dǎo)數(shù)，得到方程：

(11)

(12)

其中：y=[y1,y2,…,yN]T，a=[a1,a2,…,aN]T，lv=[1,1,…,1]T，I是單位矩陣，K是鄰接矩陣，K(xi,xj)=φ(xi,xj)Tφ(xi)是滿(mǎn)足Mercer理論的核矩陣。徑向基函數(shù)具有廣泛的收斂性和較強(qiáng)的泛化能力，是一種理想的回歸核函數(shù)。公式(13)為徑向基函數(shù) 所示：

(13)

其中：σ是核的寬度參數(shù)，它決定了樣本數(shù)據(jù)分布的復(fù)雜性。它影響了LSSVM在特征空間中的超平面獲得最佳分類(lèi)的概括能力。調(diào)節(jié)懲罰因子γ和核參數(shù)σ是兩個(gè)影響LSSVM基于徑向核函數(shù)模型回歸性能的超參數(shù)。a和b可通過(guò)最小二乘方法獲得，則LSSVM的線性回歸預(yù)測(cè)模型表達(dá)式：

(14)

調(diào)節(jié)懲罰因子γ和核參數(shù)σ的選取對(duì)LSSVM有很大的影響。為了獲取最優(yōu)參數(shù)得到最優(yōu)模型以及考慮到算法的復(fù)雜性，本文采用果蠅優(yōu)化算法(FOA)選取一組最優(yōu)參數(shù)。

1.3 果蠅優(yōu)化算法

臺(tái)灣潘文超教授基于果蠅覓食行為，提出了一種新的全局優(yōu)化的方法，稱(chēng)之為果蠅優(yōu)化算法(FOA)，它的基本原理是粒子群優(yōu)化算法[15-16]。作為一種比較全新的全局優(yōu)化算法，果蠅優(yōu)化算法不僅在科學(xué)和工程領(lǐng)域得到了廣泛的應(yīng)用，而且通過(guò)與其他方法進(jìn)行混合運(yùn)用到了數(shù)據(jù)挖掘中[17]。FOA算法的優(yōu)點(diǎn)在于運(yùn)算速度快，算法簡(jiǎn)單，并且對(duì)計(jì)算機(jī)的要求也比較低。根據(jù)上一節(jié)內(nèi)容懲罰因子γ和核參數(shù)σ的選取直接影響LSSVM的擬合性能，因此，本文選用了果蠅優(yōu)化算法優(yōu)化參數(shù)，來(lái)建立最佳的LSSVM擬合模型。

圖1 果蠅組迭代搜索食物示意圖

果蠅組迭代搜索食物示意圖如圖1所示。具體步驟如下：

(1) 果蠅群組的規(guī)模為Sizepop，迭代的最大數(shù)量為Maxgen，隨機(jī)初始化果蠅群體位置為X-axis、Y-axis；

(2) 果蠅群體位置更新由公式(15)計(jì)算，其中隨機(jī)值就是搜索到的距離：

(15)

(3) 計(jì)算果蠅與食物的距離Disti，然后再計(jì)算食物味道濃度判定值Si，Si值是距離的倒數(shù)。

(16)

(17)

味道濃度值Smelli如下：

Smelli=Function(Si)。

(18)

(4) 把味道濃度判定值Si代入味道濃度判定函數(shù)，計(jì)算出果蠅個(gè)體位置的味道濃度[15]；

(5) 找出此果蠅群體中味道濃度最佳的果蠅[16]：

[bestSmellbestindex]=min(Smelli)。

(19)

(6) 記錄并保留最佳味道濃度值與x,y坐標(biāo)[15-16]。此時(shí)果蠅群體利用視覺(jué)不斷向目標(biāo)位置靠近；

(20)

(7)重復(fù)執(zhí)行步驟(3)～步驟(6)迭代尋優(yōu)，當(dāng)味道濃度不再優(yōu)于先前迭代的味道濃度或迭代數(shù)量達(dá)到最大值時(shí)終止計(jì)算。

2 混合預(yù)測(cè)模型Holt-Winters-FOA-LSSVM建立

步驟1:根據(jù)原時(shí)間序列來(lái)確定Holt-Winters三參數(shù)指數(shù)平滑法的3個(gè)參數(shù)α、β、γ；建立Holt-Winters模擬預(yù)測(cè)模型，獲得擬合值與預(yù)測(cè)值；

步驟2:結(jié)合FOA與LSSVM應(yīng)用殘差序列建立最優(yōu)的殘差預(yù)測(cè)模型；

步驟3:設(shè)置FOA的最大迭代次數(shù)、種群個(gè)數(shù)、果蠅隨機(jī)位置及方向和LSSVM兩個(gè)參數(shù)取值范圍；

步驟4:使用真實(shí)值與LSSVM預(yù)測(cè)值的平均絕對(duì)百分比誤差(MAPE)作為適應(yīng)度函數(shù)，其中果蠅優(yōu)化算法搜索達(dá)到最大迭代次數(shù)，最小的MAPE所對(duì)應(yīng)的食物味道濃度判定值，及得到最優(yōu)的一組參數(shù)；

步驟5:帶入LSSVM建立最優(yōu)的混合預(yù)測(cè)模型Holt-Winters-FOA-LSSVM。

3 應(yīng)用實(shí)例

3.1 研究區(qū)及數(shù)據(jù)

本實(shí)驗(yàn)數(shù)據(jù)是甘肅省民勤縣大壩鄉(xiāng)城西八社(東經(jīng)103°00′12″、北緯38°38′11″)從1999年1月至2013年12月(共180個(gè)數(shù)據(jù))地下水監(jiān)測(cè)站點(diǎn)數(shù)據(jù)，并由民勤縣水務(wù)局提供。民勤縣位于河西走廊東部石羊河下游，除西南一角與金昌、涼州區(qū)相接外，其余均被騰格里和巴丹吉林沙漠包圍，是一個(gè)半封閉的內(nèi)陸荒漠區(qū)，在阻礙兩大沙漠匯合中起著極其重要的作用，是我國(guó)典型的資源型缺水地區(qū)[18]。

圖2 Holt-Winters-FOA-LSSVM實(shí)驗(yàn)流程圖

3.2 實(shí)驗(yàn)過(guò)程

Holt-Winters-FOA-LSSVM實(shí)驗(yàn)流程如圖2所示。

步驟1：將原序列1991年1月至2012年12月數(shù)據(jù)(前168個(gè)數(shù)據(jù))作為訓(xùn)練集，2013年12個(gè)月的數(shù)據(jù)(第169至180個(gè)數(shù)據(jù))作為驗(yàn)證集。如圖3原觀測(cè)序列有明顯的趨勢(shì)與季節(jié)性，通過(guò)SAS模塊可直接建立Holt-Winters 3參數(shù)指數(shù)平滑預(yù)測(cè)模型，由于隨著時(shí)間的推移季節(jié)波動(dòng)振幅隨著序列水平的變化而變化，故采用乘法模型[13]，其中α、β取SAS默認(rèn)的值0.106，通過(guò)多次試驗(yàn)γ值取0.5時(shí)擬合優(yōu)度R2=0.971，所建立模型擬合效果如圖4所示。

步驟3：設(shè)置FOA的最大迭代次數(shù)Maxgen=100、種群規(guī)模Sizepop=10、果蠅隨機(jī)位置[-10,10]及方向[-1,1]和LSSVM兩個(gè)參數(shù)γ范圍設(shè)為[0,400]和σ初始范圍為[0,10]；以殘差序列ct(t=1,…,168)為訓(xùn)練集，經(jīng)由FOA的50次迭代動(dòng)態(tài)調(diào)整LSSVM參數(shù)后MAPE收斂情形；圖5所示當(dāng)?shù)?6次時(shí)適應(yīng)度函數(shù)值MAPE達(dá)到最小，對(duì)應(yīng)最優(yōu)參數(shù)為γ=374.228和σ=1.358；

3.3 實(shí)驗(yàn)結(jié)果

通過(guò)與Holt-Winters、LSSVM和SARIMA預(yù)測(cè)模型相比較，由表1表明，本文所建模型預(yù)測(cè)結(jié)果MAE=0.068，MAPE=0.077均小于其他幾種單一預(yù)測(cè)模型，即預(yù)測(cè)精度相對(duì)較好，2013年12個(gè)月預(yù)測(cè)值對(duì)比如圖6所示。

圖3 原觀測(cè)序列 圖4 觀測(cè)序列與擬合序列

圖5 迭代優(yōu)化LSSVM參數(shù)后的MAPE收斂趨勢(shì)圖 圖6 各模型預(yù)測(cè)結(jié)果對(duì)比圖

模型Holt-Winters-FOA-LSSVMHolt-WintersLSSVMSARIMAMAE0.0680.1180.1230.097MAPE0.0770.0840.0970.121

4 結(jié) 語(yǔ)

本文基于建立混合預(yù)測(cè)模型的思路來(lái)提高地下水埋深預(yù)測(cè)精度。根據(jù)原序列的自身季節(jié)和趨勢(shì)，用Holt-Winters三參數(shù)指數(shù)平滑法作為擬合預(yù)測(cè)模型來(lái)逼近其周期和趨勢(shì)；為了很好地捕獲序列的非線性特征，使用了LSSVM來(lái)擬合預(yù)測(cè)殘差序列；考慮到調(diào)節(jié)因子γ和核參數(shù)σ直接影響著LSSVM的預(yù)測(cè)性能，選取了果蠅優(yōu)化算法來(lái)搜索一組最優(yōu)參數(shù)，建立一種最優(yōu)的混合預(yù)測(cè)模型(Holt-Winters-FOA-LSSVM)。通過(guò)對(duì)甘肅民勤縣大壩鄉(xiāng)城西八社2013年地下水埋深數(shù)據(jù)預(yù)測(cè)結(jié)果表明，本文所建模型預(yù)測(cè)精度高于其他幾種單一預(yù)測(cè)模型。本文不足之處為Holt-Winters參數(shù)使用了SAS軟件默認(rèn)值，為了能夠獲得更準(zhǔn)確的預(yù)測(cè)需要進(jìn)行優(yōu)化選取。影響地下水埋深變化的因素有很多，為此，收集更多相關(guān)的數(shù)據(jù)，考慮影響地下水埋深多種因素，建立更精準(zhǔn)的地下水埋深預(yù)測(cè)模型是即將開(kāi)展的工作。

[1] Chitsazan M,Rahmani G,Neyamadpour A.Forecasting groundwater level by artificial neural networks as an alternative approach to groundwater modeling[J].Journal of the Geological Society of India,2015,85(1):98-106.

[2] 陸垂裕,孫青言,李慧,等.基于水循環(huán)模擬的干旱半干旱地區(qū)地下水補(bǔ)給評(píng)價(jià)[J].水利學(xué)報(bào),2014,6(45):701-711.

[3] 閆浩文,劉艷平,曹建君.民勤綠洲地下水埋深影響因素分析及其變化趨勢(shì)預(yù)測(cè)[J].中國(guó)水土保持科學(xué),2013,11(2):45-51.

[4] 張?jiān)圃?高子云,朱家明,等.組合預(yù)測(cè)模型在山東省地下水資源量預(yù)測(cè)中的應(yīng)用[J].高師理科學(xué)刊,2016,36(6):24-28.

[5] 郝健,劉俊民.GM(1,1)模型改進(jìn)技術(shù)在咸陽(yáng)市地下水動(dòng)態(tài)預(yù)測(cè)中的應(yīng)用[J].水土保持研究,2011,18(3):252-256.

[6] 王美.Holt-Winters指數(shù)平滑法的地下水水位預(yù)測(cè)[J].青年時(shí)代,2016,4:161-162.

[7] 龍文,梁昔明,龍祖強(qiáng),等.PSO-LSSVM灰色組合模型在地下水埋深預(yù)測(cè)中的應(yīng)用[J].系統(tǒng)工程理論與實(shí)踐,2013,33(1):243-248.

[8] Hadi E,Taher R.Simulation of groundwater level variations using wavelet combined with neural network,linear regression and support vector machine[J].Global and Planetary Change,2017(148):181-191.

[9] 楊婷,魏曉妹,胡國(guó)杰,等.灰色BP神經(jīng)網(wǎng)絡(luò)模型在民勤盆地地下水埋深動(dòng)態(tài)預(yù)測(cè)中的應(yīng)用[J].干旱地區(qū)農(nóng)業(yè)研究,2011,29(3):204-208.

[10] Mamgholizadeh S,Moslemi K,Karami G.Prediction the Groundwater Level of Bastam Plain(Iran) by Artificial Neural Network(ANN) and Adaptive Neuro-Fuzzy Inference System (ANFIS)[J].Water Resources Management,2014,28(15):5433-5446.

[11] Suryanarayana C,Sudheer C,Mahammood V,et al.An integrated wavelet-support vector machine for groundwater level prediction in Visakhapatnam,India[J].Neurocomputing,2014,145(18):324-335.

[12] Guo Z H,Zhao J B,Zhang W Y,et al.A corrected hybrid approach for wind speed prediction in Hexi Corridor of China[J].Energy,2011,36:1668-1679.

[13] 王燕.應(yīng)用時(shí)間序列分析[M].北京:中國(guó)人民大學(xué)出版社,2015:196-198.

[14] Gu Y P,Zhao W J,Wu Z S.Least squares support vector machine algorithm[J].Qinghua Daxue Xuebao/journal of Tsinghua University,2010,50(7):1063-1057.

[15] Wu X W,Li Q.Research of optimizing performance of fruit fly optimization algorithm and five kinds of intelligent algorithm [J].Fire Control & Command Control,2013,38(4):17-22.

[16] Pan W T,Pan W T.A new fruit fly optimization algorithm:taking the financial distress model as an example.Knowledge Based Systems[J].Knowledge-Based System,2012,26(2):69-74.

[17] Han J,Liu C.Fruit fly optimization algorithm based on bacterial chemotaxis[J].Journal of Computer Applications,2013,33(4):964-938.

[17] 肖篤寧,李小玉,宋冬梅,等.民勤綠洲地下水開(kāi)采時(shí)空動(dòng)態(tài)模擬[J].地球科學(xué),2006,36(6):567-578.

Hybrid Prediction Model Based on Holt-Winters and Least Squares Support Vector Machine

LIU Baocheng, ZHANG Zhongrong, SHENG Xiumei, CHENG Lijuan

(Lanzhou Jiaotong University, Lanzhou 730070, China)

In order to improve the prediction accuracy of the time series of groundwater depth, Holt-Winters three-parameter exponential smoothing method was used as the prediction model. The least squares support vector machine was also used to predict the residual sequence. As the prediction performance of least squares support vector machine, to a large extent, is directly affected by the kernel parameters and penalty factors, in this paper, the fruit fly optimization algorithm is used to optimize the parameters, which can not only establish the optimal hybrid forecasting model, but also can capture the Non-Linear characteristics and the predicted model was verified by the data collected from the groundwater monitoring station in the Minqin County Daba in Gansu Province. The experimental results show that the hybrid prediction model proposed in this paper improves the prediction accuracy compared with the traditional single prediction method.

Holt-Winters three-parameters exponential smoothing; least squares support vector machine; fruit fly optimization algorithm; hybrid prediction model

10.3969/j.issn.1674-5403.2017.04.018

O273.4

A

1674-5403(2017)04-0079-06

2017-06-16

劉寶成(1991-)，男，甘肅隴南人，在讀碩士研究生，主要從事時(shí)空預(yù)測(cè)、機(jī)器學(xué)習(xí)、智能優(yōu)化等方面的研究.

國(guó)家自然科學(xué)基金項(xiàng)目(41371435).