基于灰狼算法和支持向量回歸機(jī)的非線性沉降變形預(yù)測(cè)方法

徐培云 周兆璽 閔 陽(yáng) 袁 輝 陳玉奇

(1. 中鐵第四勘察設(shè)計(jì)院集團(tuán)有限公司, 湖北 武漢 430063;2. 中國(guó)地質(zhì)大學(xué)(武漢)地理與信息工程學(xué)院, 湖北 武漢 430078;3. 武漢市勘察設(shè)計(jì)有限公司, 湖北 武漢 430022)

0 引言

工程結(jié)構(gòu)體的變形受多種因素影響,這個(gè)過(guò)程一般是一種非常復(fù)雜的非線性變化,用單一的模型、方法難以對(duì)這個(gè)變化的過(guò)程進(jìn)行描述。傳統(tǒng)的數(shù)學(xué)回歸模型在對(duì)變形數(shù)據(jù)進(jìn)行擬合和預(yù)測(cè)時(shí),會(huì)因?yàn)閿?shù)據(jù)的波動(dòng)性導(dǎo)致擬合精度差,難以對(duì)施工現(xiàn)場(chǎng)提供高精度的預(yù)測(cè)數(shù)據(jù)支持和有效的安全保障[1]。近些年來(lái),支持向量機(jī)(support vector machine, SVM)被有效應(yīng)用于結(jié)構(gòu)體的變形預(yù)測(cè)。國(guó)內(nèi)外的學(xué)者對(duì)此展開(kāi)了系列研究,在參數(shù)取值優(yōu)化算法上,自Seyedali Mirjalili在2014年提出模擬灰狼捕獵和領(lǐng)導(dǎo)機(jī)制的灰狼算法(grey wolf optimizer, GWO)[2]后,文獻(xiàn)[3-4]通過(guò)不同的策略、算法改進(jìn)經(jīng)典的灰狼算法,有效解決了算法容易在局部最優(yōu)處難以跳出迭代而過(guò)早收斂的問(wèn)題,提高了灰狼算法的搜索效率;文獻(xiàn)[5]將GWO算法和粒子群算法(particle swarm optimization, PSO)結(jié)果結(jié)合,提出PSO-GWO-SVR模型，其中SVR是指支持向量回歸(support vector regression);文獻(xiàn)[6]將小波變換的方法和GWO-SVR方法結(jié)合,通過(guò)和現(xiàn)有方法的對(duì)比,顯示該方法更加有效。但是支持向量機(jī)預(yù)測(cè)模型中仍然存在一些問(wèn)題： (1)核函數(shù)參數(shù)需要在算法外部定義,人為干擾過(guò)大;(2)每一種核函數(shù)特性單一,需要增強(qiáng)綜合性; (3)支持向量機(jī)的學(xué)習(xí)能力需要進(jìn)一步加強(qiáng)。鑒于此,本文利用小波變換去噪的方法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,并結(jié)合改進(jìn)的灰狼算法優(yōu)化的支持向量機(jī)構(gòu)建組合預(yù)測(cè)模型,提高了對(duì)非線性變形觀測(cè)數(shù)據(jù)的預(yù)測(cè)精度。

1 支持向量回歸機(jī)

支持向量機(jī)是機(jī)器學(xué)習(xí)領(lǐng)域廣泛使用做分類(lèi)的機(jī)器學(xué)習(xí)模型[7],若將支持向量機(jī)的思想應(yīng)用到回歸問(wèn)題,求解支持向量到模型中超平面的距離最小值,從而找到一組數(shù)據(jù)的內(nèi)在關(guān)系,實(shí)現(xiàn)回歸擬合。支持向量回歸(support vector regression, SVR)的應(yīng)用拓寬了支持向量機(jī)的應(yīng)用領(lǐng)域[8-9]。

1.1 多核支持向量回歸模型

支持向量回歸機(jī)可以將無(wú)法線性分類(lèi)的問(wèn)題,利用支持向量機(jī)中的核函數(shù)將數(shù)據(jù)映射到高維空間,在高維空間實(shí)現(xiàn)線性分類(lèi)。核函數(shù)映射效果的好壞,關(guān)系到分類(lèi)結(jié)果的準(zhǔn)確性。核函數(shù)按分類(lèi)特性可區(qū)分為全局特性和局部特性,對(duì)應(yīng)效果為后期數(shù)據(jù)分類(lèi)效果較好和前期數(shù)據(jù)分類(lèi)效果較好。每一種核函數(shù)只具有單一的特性,文獻(xiàn)[10-11]對(duì)核函數(shù)進(jìn)行的組合,提供了改善核函數(shù)特性的方法。根據(jù)Mercer定理,任何半正定的函數(shù)都可以當(dāng)作核函數(shù),按照矩陣的運(yùn)算法則,核函數(shù)的乘積形式也可作為核函數(shù)。于是為綜合核函數(shù)的特性,本文結(jié)合具有不同特性的多項(xiàng)式核函數(shù)和柯西核函數(shù),構(gòu)建多核核函數(shù),表達(dá)式為[12]

(1)

式中，Kmix為多核核函數(shù)簡(jiǎn)表達(dá)式；KPoly為多項(xiàng)式核函數(shù)的簡(jiǎn)易表達(dá)式；KCauchy為柯西核函數(shù)的簡(jiǎn)易表達(dá)式。將多核核函數(shù)引入支持向量回歸的超平面f(x)=ωx+b中,構(gòu)造多核支持向量回歸模型(簡(jiǎn)稱(chēng)為kSVR模型),對(duì)于訓(xùn)練集S,超平面函數(shù)表達(dá)式為

(2)

式中,x表示訓(xùn)練集中的向量；xi表示支持向量；ω表示回歸函數(shù)的代求系數(shù)；N表示樣本點(diǎn)數(shù)量；βi表示引入的拉格朗日乘子,利用算法求解；b是根據(jù)函數(shù)求解的常數(shù),函數(shù)表達(dá)式展開(kāi)可以寫(xiě)作

(3)

式中,d為多項(xiàng)式核函數(shù)的多項(xiàng)式系數(shù)；σ為柯西核函數(shù)的參數(shù)。

2 灰狼算法及改進(jìn)

2.1 灰狼算法模型

在實(shí)際應(yīng)用中,支持向量回歸機(jī)的學(xué)習(xí)泛化能力和預(yù)測(cè)能力十分依賴于核參數(shù)δ、懲罰參數(shù)C等參數(shù)的取值。本文利用灰狼算法來(lái)對(duì)參數(shù)進(jìn)行算法尋優(yōu),減少外部的人為干擾,以達(dá)到提高預(yù)測(cè)的精度目的。模型的表達(dá)式如下

(4)

式中,t表示當(dāng)前算法迭代的次數(shù)；tmax表示算法的最大迭代次數(shù)；XP(t)表示獵物的位置；X(t)表示算法迭代次數(shù)為t時(shí)灰狼當(dāng)前位置；D為獵物與灰狼之間的距離;A和B分別為兩個(gè)協(xié)同因子,通過(guò)調(diào)整A和B這兩個(gè)向量能夠讓灰狼到達(dá)不同的位置；r1、r2∈[0,1]。

2.2 灰狼算法改進(jìn)

2.2.1收斂因子

收斂因子α在最初的定義上是在[0,2]區(qū)間里線性減小,但若讓收斂因子α在迭代前期大于1,全局的搜索能力變強(qiáng);迭代后期小于1,局部的搜索能力變強(qiáng),可以進(jìn)一步提高算法的收斂效率。對(duì)于收斂因子的研究文獻(xiàn)[13]提出余弦變化的收斂因子;文獻(xiàn)[14]在非線性收斂因子α基礎(chǔ)上提出關(guān)于對(duì)數(shù)形式的改進(jìn);文獻(xiàn)[15]提出正弦變化的收斂因子。本文提出新的收斂因子,在迭代的前期,搜索能力強(qiáng),讓?duì)恋闹灯?迭代后期收斂速度加快,提高收斂的效率,在迭代數(shù)滿足0≤t≤tmax時(shí),令T=t/tmax有

(5)

對(duì)比現(xiàn)有的幾種收斂因子,本文提出收斂因子在收斂方式上和余弦變化類(lèi)似,新的收斂方式能夠綜合迭代前期增強(qiáng)全局搜索能力和迭代后期增強(qiáng)局部搜索能力,以達(dá)到提高算法收斂效率的目的。

2.2.2算法擾動(dòng)性

經(jīng)典灰狼算法進(jìn)行算法尋優(yōu)時(shí),容易陷入局部最優(yōu),無(wú)法跳出循環(huán),導(dǎo)致過(guò)早收斂。為了改善算法的能力,增強(qiáng)其在局部最優(yōu)位置的跳出能力,往往都是在經(jīng)典算法中加入擾動(dòng)算子,以改善算法陷入局部最優(yōu)的問(wèn)題。多項(xiàng)式變異[16]是Deb等人在1996年提出的變異算法,目前該算法被廣泛應(yīng)用于研究多目標(biāo)的參數(shù)優(yōu)化問(wèn)題。其表達(dá)式為

(6)

其中,

(7)

式中,μ表示一個(gè)隨機(jī)數(shù),μ∈ [0,1]；ηm是分布指數(shù)。其中：

(8)

式中,υk和υk+1分別表示群體中最優(yōu)的個(gè)體位置和變異之后群體中的最優(yōu)個(gè)體位置;μk和lk分別表示群體位置的上限和下限。

在經(jīng)典灰狼算法中采用新的收斂因子,同時(shí)引入多項(xiàng)式變異算子,構(gòu)造改進(jìn)的灰狼算法(improved grey wolf optimization,IGWO)模型。

2.2.3 改進(jìn)灰狼算法實(shí)驗(yàn)及其非線性預(yù)測(cè)能力分析

為了測(cè)試IGWO算法的性能,驗(yàn)證其非線性的預(yù)測(cè)能力,在文獻(xiàn)[2]中按照測(cè)試函數(shù)的類(lèi)型,在每個(gè)類(lèi)型中隨機(jī)抽取標(biāo)準(zhǔn)非線性函數(shù)模型,進(jìn)行峰值預(yù)測(cè)的實(shí)驗(yàn)分析。并與粒子群算法(PSO)、經(jīng)典灰狼算法模算法(GWO)、基于差分進(jìn)化的灰狼算法(hybrid Grey Wolf optimizer, HGWO)進(jìn)行比較。為了保證實(shí)驗(yàn)的合理性,對(duì)各算法參數(shù)作如表1設(shè)置,并分別對(duì)測(cè)試函數(shù)運(yùn)行30次,利用平均值和標(biāo)準(zhǔn)差評(píng)價(jià)各模型,運(yùn)算結(jié)果如表2所示。

表1 算法的參數(shù)設(shè)置

表2 幾種模型對(duì)12個(gè)非線性測(cè)試函數(shù)峰值的預(yù)測(cè)比較

通過(guò)分析得出以下結(jié)論：

(1)在單峰函數(shù)和多峰函數(shù)中,IGWO算法標(biāo)準(zhǔn)差指標(biāo)最優(yōu),具有更好的搜索能力,對(duì)這幾種非線性函數(shù)峰值的預(yù)測(cè)精度更高。固定維度的多峰函數(shù)中,尋優(yōu)能力也十分穩(wěn)定、突出;

(2)收斂因子的加入,能夠有效提高GWO算法的預(yù)測(cè)效率,提高收斂能力;

(3)通過(guò)12個(gè)非線性測(cè)試函數(shù)的測(cè)試結(jié)果可知,IGWO算法的搜索能力大多數(shù)情況下優(yōu)于其他幾種算法,尋優(yōu)能力穩(wěn)定,對(duì)非線性模型的預(yù)測(cè)能力更強(qiáng)。

2.3 改進(jìn)灰狼算法優(yōu)化的多核SVR模型構(gòu)造

結(jié)合kSVR模型和IGWO算法構(gòu)建基于灰狼算法和支持向量回歸的組合模型(簡(jiǎn)寫(xiě)為IGWO-kSVR模型)。具體流程如下：

(1)初始定義模型中的算法參數(shù)及待尋優(yōu)懲罰因子C和核函數(shù)參數(shù)δ;

(2)對(duì)初始群體中的灰狼個(gè)體的目標(biāo)值進(jìn)行排序,更新位置最優(yōu)的Xα、Xβ、Xδ;

(3)利用灰狼數(shù)學(xué)模型算法,讓狼群靠近目標(biāo)其中收斂因子使用公式(5)進(jìn)行更新。對(duì)灰狼個(gè)體的目標(biāo)函數(shù)值并進(jìn)行排序,獲取最優(yōu)位置Xα;

(4)引入多項(xiàng)式變異算子：比較本次迭代最優(yōu)位置灰狼個(gè)體的函數(shù)值和上次迭代的最優(yōu)位置灰狼個(gè)體的函數(shù)值,如果小于則保留目前最優(yōu)個(gè)體位置Xα,不發(fā)生變異;如果大于則對(duì)目前最優(yōu)個(gè)體進(jìn)行多項(xiàng)式變異,得到更新后的Xα;

(5)判斷是否達(dá)到最大迭代數(shù),未完成迭代,則回到第(2)步再次循環(huán)。完成迭代,則輸出最優(yōu)位置Xα作為尋優(yōu)結(jié)果,其不同維度下的結(jié)果分別為參數(shù)懲罰因子C和核函數(shù)參數(shù)δ的尋優(yōu)值;

(6)將參數(shù)懲罰因子C和核函數(shù)參數(shù)δ的值帶入模型中進(jìn)行回歸擬合,得到預(yù)測(cè)結(jié)果。

3 實(shí)例分析

為了驗(yàn)證本文提出算法的有效性,以武漢市某基坑監(jiān)測(cè)項(xiàng)目變形監(jiān)測(cè)的數(shù)據(jù),時(shí)間序列間隔為1 d。進(jìn)行粗差剔除后,該數(shù)據(jù)量共95期,將前90期數(shù)據(jù)作為學(xué)習(xí)樣本,后5期數(shù)據(jù)作為測(cè)試數(shù)據(jù)集用來(lái)比較分析。

首先對(duì)獲取到的監(jiān)測(cè)數(shù)據(jù)預(yù)處理,使用Mallat小波去噪算法對(duì)變形監(jiān)測(cè)序列進(jìn)行處理。經(jīng)過(guò)反復(fù)實(shí)驗(yàn),發(fā)現(xiàn)使用db5小波函數(shù)將形變位移序列分解為2層時(shí),小波分解信噪比為30.084 2,均方誤差(mean square error,MSE)為0.093 3 mm2,可以獲得最優(yōu)的去噪效果。

利用去噪后的工程實(shí)例數(shù)據(jù),結(jié)合基于改進(jìn)灰狼算法的多核SVR構(gòu)建組合模型(IGWO-kSVR),與粒子群算法(PSO)、經(jīng)典灰狼算法(GWO)、基于差分進(jìn)化的灰狼算法(HGWO)優(yōu)化的支持向量回歸模型進(jìn)行預(yù)測(cè)對(duì)比,來(lái)驗(yàn)證模型的有效性,并以絕對(duì)百分比誤差(mean absolute percentage error,MAPE)、均方根誤差(root mean squared error,RMSE)和平均絕對(duì)誤差(mean absolute error,MAE)作為評(píng)價(jià)指標(biāo),對(duì)模型精度進(jìn)行評(píng)定[17]。預(yù)測(cè)結(jié)果如表3所示。

表3 各模型預(yù)測(cè)結(jié)果/mm

圖1 各模型預(yù)測(cè)結(jié)果對(duì)比

圖2 各模型殘差對(duì)比

表4 各模型精度對(duì)比

分析以上結(jié)果,對(duì)比指標(biāo)平均絕對(duì)百分比誤差,可以得到以下結(jié)論：

(1)較WT-PSO-SVR模型,WT-IGWO-kSVR模型提高約6.4%,WT-HGWO-kSVR模型提高約3.2%,WT-GWO-kSVR模型提高約2.8%,綜合說(shuō)明灰狼算法的尋優(yōu)能力要強(qiáng)于粒子群算法。

(2)WT-IGWO-kSVR模型較WT-GWO-kSVR模型提高約3.7%,WT-IGWO-kSVR模型較WT-HGWO-kSVR模型提高約3.1%,綜合說(shuō)明基于改進(jìn)灰狼算法和支持向量回歸的預(yù)測(cè)模型,獲得最佳的效果,能夠驗(yàn)證模型的有效性。

4 結(jié)束語(yǔ)

本文通過(guò)引入柯西核函數(shù)和多項(xiàng)式核函數(shù)的乘積,以平衡預(yù)測(cè)模型的局部擬合和整體擬合的能力。通過(guò)構(gòu)造經(jīng)典灰狼算法新的收斂因子,以提高算法的收斂效率。通過(guò)在灰狼算法中引入多項(xiàng)式變異算子,提高算法的局部擾動(dòng)能力,以提高灰狼算法對(duì)支持向量機(jī)核函數(shù)參數(shù)尋優(yōu)的精度?；谏鲜?種算法的改進(jìn),提出一種基于改進(jìn)灰狼算法的支持向量回歸非線性預(yù)測(cè)組合模型,提高了向量機(jī)模型對(duì)預(yù)測(cè)數(shù)據(jù)集的整體預(yù)測(cè)精度。實(shí)驗(yàn)采用基坑監(jiān)測(cè)數(shù)據(jù)對(duì)模型預(yù)測(cè)能力進(jìn)行檢驗(yàn),同時(shí)與PSO算法、GWO算法、HGWO算法優(yōu)化的支持向量機(jī)預(yù)測(cè)模型進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果表明,IGWO算法的收斂效率更高,對(duì)結(jié)構(gòu)變形發(fā)展演化的非線性特征擬合精度更高,預(yù)測(cè)能力更強(qiáng)。