等維新息SVR模型對(duì)隧道沉降時(shí)間序列的預(yù)測(cè)研究

李 偉,嚴(yán) 珂,陸慧娟,葉敏超

(中國(guó)計(jì)量大學(xué) 信息工程學(xué)院,浙江 杭州 310018)

城市地鐵隧道在其施工和使用過(guò)程中必然會(huì)發(fā)生沉降現(xiàn)象.為了預(yù)防沉降帶來(lái)的安全隱患,達(dá)到確保工程安全施工,隧道能正常運(yùn)行維護(hù)的目的,對(duì)隧道的沉降進(jìn)行精準(zhǔn)的預(yù)測(cè)研究具有十分重要的意義[1].目前針對(duì)隧道沉降的預(yù)測(cè)有很多的方法,如經(jīng)驗(yàn)公式Peak法、時(shí)間序列法、回歸分析法、馬爾可夫鏈法、灰色聚類(lèi)法、人工神經(jīng)網(wǎng)絡(luò)法等[2].因?yàn)橛绊懰淼莱两档囊蛩乇姸?所以對(duì)沉降的預(yù)測(cè)問(wèn)題是一個(gè)非線(xiàn)性的回歸問(wèn)題[3-4].SVR支持向量回歸模型在基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理的基礎(chǔ)上具有處理小樣本,避免局部最優(yōu)和泛化能力好的優(yōu)點(diǎn)[5].時(shí)間序列是指某一變量的觀(guān)測(cè)值按時(shí)間順序排列,通過(guò)對(duì)此排序的研究,從中尋找和分析事物的變化特征、發(fā)展趨勢(shì)和規(guī)律.對(duì)時(shí)間序列的研究起源于計(jì)量經(jīng)濟(jì)學(xué),現(xiàn)已被廣泛用于預(yù)測(cè)路基沉降、建筑物沉降以及邊坡位移等.因?yàn)楸疚难芯康乃淼莱两禂?shù)據(jù)為小樣本時(shí)間序列,所以本文選用SVR支持向量回歸并結(jié)合等維新息理論處理時(shí)間序列數(shù)據(jù),構(gòu)建了等維新息SVR模型進(jìn)行預(yù)測(cè)研究.

SVR模型參數(shù)的選取對(duì)模型的表現(xiàn)有重要的影響,現(xiàn)有多種優(yōu)化算法可以用于尋參,例如：遺傳算法(GA)、模擬退火(SA)、蟻群算法(ACO)和粒子群算法(PSO)等[6].其中粒子群算法尋優(yōu)收斂速度快,不容易陷入局部最小,且算法容易實(shí)現(xiàn),所以比較適合SVR模型的參數(shù)尋優(yōu).PSO-SVR模型已應(yīng)用于許多不同的領(lǐng)域,并且都取得了良好的效果.在生物工程方面,熊偉麗等人將PSO-SVR模型應(yīng)用到發(fā)酵過(guò)程狀態(tài)預(yù)估中,解決了發(fā)酵過(guò)程中微生物數(shù)無(wú)法測(cè)量的問(wèn)題[7];在旅游行業(yè),翁鋼民等人提出將季節(jié)調(diào)整和PSO-SVR模型相結(jié)合對(duì)北京游客人數(shù)進(jìn)行預(yù)測(cè),大大的提高了預(yù)測(cè)的準(zhǔn)確性[8];顏七笙等人也發(fā)現(xiàn)PSO-SVR方法是一種科學(xué)有效的邊坡穩(wěn)定性評(píng)價(jià)方法[9].

1 SVR支持向量回歸簡(jiǎn)介

SVM支持向量機(jī)是Vapnik等人于上個(gè)世紀(jì)90年代針對(duì)模式識(shí)別問(wèn)題在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上發(fā)展而來(lái)的機(jī)器學(xué)習(xí)算法[10].SVM嚴(yán)格的數(shù)學(xué)理論基礎(chǔ),與其能較好地解決小樣本、非線(xiàn)性、局部極小等問(wèn)題,使得其在很多領(lǐng)域都取得了成功應(yīng)用[11].

在支持向量機(jī)發(fā)展的過(guò)程中,人們又發(fā)現(xiàn)SVM能夠很好地應(yīng)用于求解回歸問(wèn)題,所以在SVM基礎(chǔ)上又發(fā)展了SVR支持向量回歸.SVR支持向量回歸實(shí)質(zhì)上就是用非線(xiàn)性函數(shù)f(x)=ω·Φ(x)+b擬合樣本數(shù)據(jù),即在約束條件下尋找最優(yōu)擬合超平面,盡量使超平面與數(shù)據(jù)點(diǎn)間的距離最小[12].最終確定回歸函數(shù)如下:

(1)

2 PSO粒子群優(yōu)化算法簡(jiǎn)介

粒子群優(yōu)化算法是人們?cè)谘芯匡w鳥(niǎo)的覓食行為時(shí)提出的,其主要思想就是：在群體的覓食過(guò)程中,群體中的每個(gè)個(gè)體都會(huì)受益于所有成員在這個(gè)過(guò)程中的所發(fā)現(xiàn)和積累的經(jīng)驗(yàn)[14].

PSO算法中,群體中的每個(gè)粒子都有兩個(gè)參數(shù)：粒子自身的位置和速度.每個(gè)粒子還擁有一個(gè)由適應(yīng)度函數(shù)所決定的適應(yīng)度值(fitness value).所以粒子的飛行區(qū)域就代表著求解空間,每個(gè)粒子的位置都是解空間中的一個(gè)解.每個(gè)粒子所經(jīng)歷過(guò)的最好位置就是個(gè)體的最優(yōu)解,叫做個(gè)體極值;整個(gè)群體經(jīng)歷過(guò)的最好位置是群體目前找到的最優(yōu)解,叫做群體極值[15].每次迭代,粒子根據(jù)自身以往的移動(dòng)經(jīng)驗(yàn)以及其他粒子的移動(dòng)經(jīng)驗(yàn)來(lái)進(jìn)行本次自身的移動(dòng)以實(shí)現(xiàn)調(diào)整自身的位置，因而可以借助這兩個(gè)參數(shù)進(jìn)行迭代尋優(yōu).PSO算法流程圖如圖1.

圖1 粒子群算法流程圖Figure 1 Flow chart of particle swarm optimization

粒子根據(jù)式(2)(3)不斷更新自身的速度和位置：

(2)

(3)

3 等維新息SVR支持向量回歸模型的搭建

3.1 SVR中參數(shù)選擇

對(duì)于支持向量回歸SVR,參數(shù)的選擇對(duì)模型的優(yōu)劣有著非常大的影響.懲罰因子C、核函數(shù)參數(shù)g和不敏感損失函數(shù)系數(shù)ε都對(duì)SVR模型的學(xué)習(xí)精度和魯棒性起著決定性的作用[17].

懲罰因子C是在確定的數(shù)據(jù)子空間中調(diào)節(jié)SVR置信范圍和經(jīng)驗(yàn)風(fēng)險(xiǎn)的比例.不同的數(shù)據(jù)子空間對(duì)應(yīng)不同的C值.C值過(guò)大則模型預(yù)測(cè)誤差會(huì)變大;C值過(guò)小模型精度提高但是泛化能力變?nèi)?

核函數(shù)參數(shù)g影響著數(shù)據(jù)在高維特征空間中分布的復(fù)雜程度,反映了支持向量之間的相關(guān)程度.g過(guò)小支持向量間的聯(lián)系比較松弛,模型比較復(fù)雜,泛化能力差;反之g過(guò)大,支持向量的聯(lián)系影響過(guò)強(qiáng),模型的精度較差.

不敏感損失函數(shù)系數(shù)ε決定著回歸函數(shù)對(duì)樣本數(shù)據(jù)的不敏感區(qū)域的寬度,即影響著支持向量的個(gè)數(shù),同時(shí)還影響著擬合誤差的大小.ε過(guò)大,則支持向量的個(gè)數(shù)減少,模型過(guò)于簡(jiǎn)單,預(yù)測(cè)精度下降;ε過(guò)小,支持向量個(gè)數(shù)偏多,回歸精度變高但模型會(huì)過(guò)于復(fù)雜,泛化能力下降.

由分析可知SVR模型的復(fù)雜度、泛化能力取決于C、g、ε這三個(gè)參數(shù),尤其是C和g的相互關(guān)系.對(duì)于SVR模型參數(shù)的選擇,傳統(tǒng)的方法是重復(fù)多次的“試湊法”,即不斷地用實(shí)驗(yàn)測(cè)試來(lái)取得比較滿(mǎn)意的參數(shù)選擇[18].現(xiàn)將優(yōu)化算法引入SVR模型實(shí)現(xiàn)參數(shù)的優(yōu)化選擇.本文便是采用PSO粒子群優(yōu)化算法對(duì)懲罰系數(shù)C和核函數(shù)參數(shù)g進(jìn)行優(yōu)化選擇.適應(yīng)度函數(shù)對(duì)衡量一個(gè)PSO算法的優(yōu)劣有很大的影響[19],本文選取均方誤差(MSE)作為適應(yīng)度函數(shù),每個(gè)粒子的適應(yīng)度函數(shù)值由如下函數(shù)得出：

(4)

3.2 等維新息SVR模型的建立

因?yàn)檠芯繑?shù)據(jù)是時(shí)間序列數(shù)據(jù),沒(méi)有其它特征的一維數(shù)據(jù),所以需要使用預(yù)測(cè)時(shí)間點(diǎn)的先前歷史數(shù)據(jù)輸入SVR模型進(jìn)行訓(xùn)練測(cè)試.等維新息采用灰色理論中新陳代謝的思想,每次輸入的數(shù)據(jù)都是去掉最老舊的信息而加上最新的數(shù)據(jù)[20],以此保持輸入數(shù)據(jù)的維度相等.假設(shè){xi}(i=1,2,…,m)為一組時(shí)間序列數(shù)據(jù).則：

{{x1,x2,…,xn},{x2,x3,…,xn+1},…,{xp,xp+1,…,xn+p-1}}作為輸入樣本序列;

{xn,xn+1,…,xn+p}T作為輸出樣本序列.

用這樣的等維新息樣本序列輸入到SVR模型中進(jìn)行訓(xùn)練和預(yù)測(cè).

本文研究的隧道沉降數(shù)據(jù)為時(shí)間序列,所以采用等維新息理論處理,經(jīng)過(guò)多次實(shí)驗(yàn)驗(yàn)證得出取歷史數(shù)據(jù)數(shù)為3,即每次用三個(gè)連續(xù)時(shí)間點(diǎn)的數(shù)據(jù)去預(yù)測(cè)下一個(gè)點(diǎn),也就是第四個(gè)時(shí)間點(diǎn)的沉降值.算法整體步驟如下：

Step1 載入訓(xùn)練數(shù)據(jù);

Step2 等維新息化處理數(shù)據(jù);

Step3 利用PSO粒子群算法尋找最優(yōu)的SVR模型參數(shù)懲罰系數(shù)C和核函數(shù)參數(shù)g;

Step4 利用最佳參數(shù)對(duì)C、g和libsvm工具箱構(gòu)建SVR支持向量回歸模型;

Step5 使用訓(xùn)練數(shù)據(jù)訓(xùn)練SVR模型;

Step6 測(cè)試數(shù)據(jù)等維輸入訓(xùn)練完成的模型,輸出回歸預(yù)測(cè)結(jié)果.

關(guān)于模型整體流程圖,如圖2.

圖2 模型整體流程圖Figure 2 Overall flow chart of model

4 仿真實(shí)驗(yàn)實(shí)現(xiàn)

4.1 數(shù)據(jù)來(lái)源

數(shù)據(jù)來(lái)源于隧道工程實(shí)際采集的時(shí)間序列數(shù)據(jù),為寧波市2015—2016年交通隧道和珠海市2016—2017年交通隧道施工時(shí)隧道上方采集的地表沉降數(shù)據(jù).實(shí)驗(yàn)隨機(jī)選取部分珠海(采集點(diǎn)序號(hào)：180～250)和寧波(采集點(diǎn)序號(hào)：550～580)采集點(diǎn)的實(shí)測(cè)數(shù)據(jù)進(jìn)行預(yù)測(cè)研究.

4.2 實(shí)驗(yàn)結(jié)果

選取寧波與珠海的采集點(diǎn)數(shù)據(jù)進(jìn)行仿真,選定ε=0.000 1,選取RBF函數(shù)為核函數(shù);使用PSO優(yōu)化算法優(yōu)化選取C和g,本文設(shè)定C∈[0.01,1 000]和g∈[0.000 1,200].針對(duì)不同的采集點(diǎn)利用粒子群算法得到不同的最佳懲罰系數(shù)C和核函數(shù)參數(shù)g值如表1.

表1 不同采集點(diǎn)對(duì)應(yīng)的C和g

使用得到的最優(yōu)參數(shù)構(gòu)建SVR模型,訓(xùn)練完成后,選取若干具有代表性的采集點(diǎn)擬合曲線(xiàn)如圖3(a)、3(b)、3(c)、3(d).不同模型預(yù)測(cè)效果的評(píng)價(jià)結(jié)果如表2.

4.3 結(jié)果對(duì)比分析

為檢測(cè)基于等維新息SVR模型的預(yù)測(cè)效果,實(shí)驗(yàn)還做了與PSO-BP模型與ELM模型的對(duì)比.幾個(gè)模型的預(yù)測(cè)效果見(jiàn)上述實(shí)驗(yàn)結(jié)果.表1對(duì)SVR模型的參數(shù)選擇做出了解釋,給出了詳細(xì)的針對(duì)不同采集點(diǎn)數(shù)據(jù)SVR模型參數(shù)的選擇.擬合曲線(xiàn)圖展現(xiàn)出,PSO-SVR模型的擬合值與真實(shí)值最為接近,預(yù)測(cè)效果要明顯優(yōu)于其他兩個(gè)模型.表2對(duì)模型的預(yù)測(cè)結(jié)果數(shù)據(jù)進(jìn)行了具體分析,通過(guò)用均方誤差(MSE)和標(biāo)準(zhǔn)誤差(RMSE)以及平均絕對(duì)百分誤差(MAPE)統(tǒng)計(jì)指標(biāo)分別對(duì)三個(gè)模型進(jìn)行評(píng)價(jià)對(duì)比.從表中可以看出,等維新息SVR模型的預(yù)測(cè)誤差最小,模型的MAPE值最大為2.490 363%,遠(yuǎn)小于PSO-BP模型的11.486 1%和ELM模型的8.178 366%.其余兩個(gè)誤差評(píng)判指標(biāo),也是等維新息SVR模型表現(xiàn)最好,誤差最小.

圖3 預(yù)測(cè)擬合曲線(xiàn)Figure 3 Predicted fitting curve

采集點(diǎn)序號(hào)預(yù)測(cè)結(jié)果(SVR)MSERMSEMAPE/%預(yù)測(cè)結(jié)果(BPNN)MSERMSEMAPE/%預(yù)測(cè)結(jié)果(ELM)MSERMSEMAPE/%1800.005 4480.073 8100.008 4010.019 5090.139 6730.081 7020.055 6390.235 8800.542 6341810.002 5280.050 2821.335 9951.421 6561.192 3323.003 3733.022 0591.738 4074.294 1641840.000 1580.012 5620.653 3950.472 5100.687 3931.956 5440.246 7690.496 7591.412 0071850.001 2050.034 7090.692 1470.651 1860.806 9612.915 9400.268 5880.518 2541.878 6931900.000 6990.026 4400.354 0900.130 7570.361 6031.024 1900.031 8180.178 3770.459 3211910.000 3810.019 5150.120 5250.020 5100.143 2150.611 7940.018 7980.137 1070.642 7221920.000 2420.015 5681.153 0070.057 4400.239 66711.005 7300.014 3570.119 8233.166 8071930.000 2310.015 2091.780 7810.078 0460.279 3672.180 7820.047 9880.219 0621.650 4402010.000 3810.019 5170.039 6430.255 7250.505 6931.613 7880.020 3610.142 6920.385 1802200.002 5640.050 6340.039 0210.398 0090.630 8795.880 5200.396 3900.629 5955.869 1132300.000 1280.011 3330.141 4770.134 1720.366 2950.757 7070.117 4230.342 6710.969 6425690.001 8090.042 5331.441 1620.378 4790.615 2062.444 4531.046 2431.022 8603.023 0075700.002 6520.051 5021.116 0730.419 2820.647 5201.932 6070.509 0270.713 4612.194 1945710.001 2870.035 8740.351 6810.570 8130.755 5220.957 6280.794 0740.891 1081.856 4345800.003 6290.060 2412.490 3631.560 8991.249 36011.486 1000.509 9740.714 1258.178 366

所以等維新息SVR模型的預(yù)測(cè)精度要明顯高于PSO-BP人工神經(jīng)網(wǎng)絡(luò)模型與ELM極限學(xué)習(xí)機(jī)的預(yù)測(cè)精度.我們得出結(jié)論等維新息SVR模型適用于對(duì)隧道沉降時(shí)間序列數(shù)據(jù)的預(yù)測(cè)研究.

5 結(jié)語(yǔ)

SVR是基于SVM發(fā)展而來(lái)的回歸預(yù)測(cè)方法,實(shí)際應(yīng)用顯示出其具有很好的回歸精度和泛化能力,然而此模型與SVM一樣都必須要選取到最優(yōu)的參數(shù),才可以有良好的表現(xiàn).所以本文在對(duì)SVR模型參數(shù)對(duì)模型的精度和泛化性影響的研究基礎(chǔ)上,使用具有全局優(yōu)化性能且簡(jiǎn)單方便的PSO粒子群算法來(lái)優(yōu)化SVR參數(shù),不僅避免了參數(shù)選取的盲目性而且也節(jié)省了時(shí)間;另外，本文還運(yùn)用了等維新息理論處理時(shí)間序列數(shù)據(jù),利用了數(shù)據(jù)之間的聯(lián)系,有助于預(yù)測(cè)精度的提升,綜合以上最終提出了等維新息SVR支持向量回歸預(yù)測(cè)模型.仿真結(jié)果表明,等維新息SVR模型能較好地對(duì)隧道沉降時(shí)間序列進(jìn)行預(yù)測(cè)研究.