基于多核學(xué)習(xí)支持向量機算法的隧道掘進速度預(yù)測

張海波 曹 科 劉鑫昌 宋康磊 張 帥

(1.中鐵十八局集團有限公司, 天津 300222;2.重慶大學(xué) 土木工程學(xué)院, 重慶 400045)

盾構(gòu)機因其自動化程度高、安全性強、施工進度快、對地面建筑物干擾較小、不受天氣影響等優(yōu)點被廣泛應(yīng)用.目前,盾構(gòu)法已成為隧道施工的主要方式,尤其是對于城市地鐵隧道和長隧道[1].盾構(gòu)機雖然優(yōu)勢明顯,但對地質(zhì)條件十分敏感且成本較高,有效預(yù)測特定地質(zhì)條件下盾構(gòu)機性能對于施工方法選擇、進度安排以及工程預(yù)算尤為重要,性能預(yù)測即對凈掘進速度、施工速度、使用率和刀具磨損進行預(yù)測[2].

目前,國內(nèi)外的科研工作者在掘進機性能預(yù)測方面做了很多的研究,經(jīng)過不懈的努力,開發(fā)了很多種掘進機性能預(yù)測模型.在眾多預(yù)測模型中,最著名的是CSM 模型[3]和NTNU 模型[4].CSM 模型由科羅拉多礦業(yè)學(xué)院的Rostami和Ozdemir提出,它基于大量完整巖石的全尺寸切割試驗,綜合考慮了巖石單軸抗壓強度、抗拉強度以及滾刀特征等因素,為多變量回歸方程;Yagiz引入了節(jié)理面角度、軟弱層間距等指標(biāo),對CSM 模型進行了修正[5].NTNU 模型由挪威科技大學(xué)Bruland提出,它能夠預(yù)測掘進速度、滾刀損耗及費用預(yù)算,由于其采用了多個巖石物理力學(xué)參數(shù)和機器性能參數(shù),讓模型使用較為復(fù)雜[6].此外,為了考慮復(fù)雜的圍巖特性對隧道掘進的影響,Barton對巖體質(zhì)量Q 分級系統(tǒng)進行改進,選用了多個參數(shù),提出了QTBM 模型[7],用來預(yù)測隧道掘進機(TBM)的掘進速度.

近年來,機器學(xué)習(xí)異軍突起,成為了解決復(fù)雜工程和科學(xué)問題的一大利器.Yagiz等將神經(jīng)網(wǎng)絡(luò)運用到掘進機性能預(yù)測中,建立的模型預(yù)測結(jié)果準(zhǔn)確度有所提高[8];Grima等通過模糊神經(jīng)網(wǎng)絡(luò)建立了TBM掘進速度預(yù)測模型[9].Mahdevari等利用支持向量回歸建立了一種TBM 掘進速度預(yù)測模型[10].Armaghani等建立了基于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)和粒子群優(yōu)化人工神經(jīng)網(wǎng)絡(luò)以及帝國競爭算法優(yōu)化神經(jīng)網(wǎng)絡(luò)三種算法的TBM 掘進速度預(yù)測模型[11-12].然而神經(jīng)網(wǎng)絡(luò)模型是以傳統(tǒng)統(tǒng)計學(xué)中樣本無窮大時的漸進理論為基礎(chǔ)的,在面對實際問題中有限的樣本數(shù)據(jù)時往往難以取得較好的預(yù)測效果.此外,普通的支持向量機在核函數(shù)選擇上也比較復(fù)雜,不能適應(yīng)不同的問題.

本文將多核學(xué)習(xí)支持向量回歸算法應(yīng)用于地鐵盾構(gòu)機性能預(yù)測,前期通過收集整理深圳地鐵10號線坂貝區(qū)間的地質(zhì)勘察資料和盾構(gòu)機掘進數(shù)據(jù),經(jīng)數(shù)據(jù)預(yù)處理組成本文的樣本集,而后分別建立了支持向量回歸(support vector regression,SVR)及多核學(xué)習(xí)支持向量回歸(multiple kernel learning-Support Vector Regression,MKL-SVR)智能預(yù)測模型,將模型應(yīng)用于預(yù)測盾構(gòu)機凈掘進速度,取得了良好的成效,對后續(xù)施工方法選擇、進度安排以及工程預(yù)算等有重要參考意義.

1 支持向量回歸基本原理

1.1 支持向量回歸模型

SVM 是由Vapnik等人提出的一種機器學(xué)習(xí)算法[13-14].SVM 建立在VC 維(vapnik-chervonenkis dimension)理論和結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則基礎(chǔ)上,基于最大化分類間隔的方法,首先提取位于類邊界上的支持向量,然后利用這些支持向量來構(gòu)造最優(yōu)的分類超平面,該分類超平面能夠保證數(shù)據(jù)點被錯分的概率最小,在最小化樣本點誤差的同時,最小化結(jié)構(gòu)風(fēng)險,提高了模型的泛化能力.SVR 是在SVM 的基礎(chǔ)上進一步延伸得到的,其核心是將SVR 問題轉(zhuǎn)化為SVM問題[15-18],因其良好的性能而被廣泛應(yīng)用于回歸或者預(yù)測等方面.

當(dāng)SVR 用于線性回歸時,其最優(yōu)化問題的形式如下:

公式(3)是SVR 問題的一般表達(dá)式,通過SMO算法可以得到SVR 的決策函數(shù)為:

SVR 的核函數(shù)和核參數(shù)決定了模型的性能,如若選取不當(dāng),則性能較差,此外核函數(shù)所含核參數(shù)的數(shù)目過多時,因各個參數(shù)相互獨立將會導(dǎo)致最優(yōu)參數(shù)的選取極度困難.

線性核函數(shù)、多項式核函數(shù)、徑向基核函數(shù)、sigmoid核函數(shù)是幾種常用的核函數(shù).線性核函數(shù)一般適用于簡單的線性回歸,多項式核因涉及參數(shù)太多,各參數(shù)相互獨立,很難尋找參數(shù)的最佳組合,sigmoid核函數(shù)一般適用于大數(shù)據(jù)樣本,而徑向基核具有較好的兼容性,且參數(shù)數(shù)量合理,便于尋找最佳參數(shù),是應(yīng)用最廣泛的核函數(shù),所以結(jié)合本文數(shù)據(jù)數(shù)量以及復(fù)雜程度,選擇徑向基核作為支持向量回歸機的核函數(shù).

1.2 多核學(xué)習(xí)支持向量回歸模型

雖然SVR 能夠在非線性回歸中變現(xiàn)良好,但由于核函數(shù)和核參數(shù)的選擇十分困難,往往要依靠經(jīng)驗不斷嘗試才能找到相對較好的組合.此外,由于不同核函數(shù)有各自的擅長領(lǐng)域,在SVR 中只能選擇對大多數(shù)數(shù)據(jù)表現(xiàn)良好的核函數(shù),往往不能照顧到一些異構(gòu)點[19].

為了解決上述問題,本節(jié)采用加權(quán)線性組合的方式將多個核函數(shù)融合,建立MKL-SVR 模型,解決了核函數(shù)選擇的難題,融合后的核同時具有其組成核的性質(zhì),能夠更好地適應(yīng)樣本中的異構(gòu)點.

在多核學(xué)習(xí)中,核函數(shù)K(x,x′)由一系列基本的核函數(shù)組合而成:

采用梯度下降法來計算權(quán)值向量d,將J(d)對d m求偏導(dǎo)得:

通過公式(10),可以求得梯度下降方向D的各個元素,最終求得D;在得到梯度下降方向D之后,根據(jù)Simple MKL算法[20]來求得最優(yōu)權(quán)值向量d;將d代入公式(5)以求出核函數(shù)K(x,x′);將K(x,x′)代入公式(6)可以將MKL-SVR 問題轉(zhuǎn)化為SVR 問題求解,然后利用2.1節(jié)的求解方法進行求解.

2 應(yīng)用實例

本文依托深圳地鐵10號線坂田北路站至貝爾路站區(qū)間工程,該區(qū)間地質(zhì)條件如圖1所示.隧道穿越復(fù)合地層和孤石群,其中復(fù)合地層從上到下依次為礫質(zhì)黏性土、全風(fēng)化花崗巖、砂土狀強風(fēng)化花崗巖,孤石巖性為微風(fēng)化花崗巖.地下水位埋深1.80～4.90 m,參照地區(qū)以往水位變化情況,地下水位的年平均變化幅度為0.5～2.0 m.根據(jù)地質(zhì)勘察資料和盾構(gòu)機掘進數(shù)據(jù),從盾構(gòu)機、土層和孤石3個維度共選取10個參數(shù)作為盾構(gòu)機凈掘進速度的影響因素,其中盾構(gòu)機的掘進參數(shù)選取土倉壓力、總推力、刀盤扭矩和刀盤轉(zhuǎn)速,土層參數(shù)選取黏聚力、內(nèi)摩擦角和壓縮模量,另孤石參數(shù)選取孤石占比、抗壓強度和巖石質(zhì)量指標(biāo)(rock quality designation,RQD),而后經(jīng)數(shù)據(jù)預(yù)處理形成樣本集.樣本集中10個參數(shù)為輸入變量,凈掘進速度(penetration rate,PR)為輸出變量,分別采用SVR 和MKL-SVR 模型對凈掘進速度進行預(yù)測,并對兩種模型的預(yù)測結(jié)果進行了對比分析.為了評估模型的性能,采用R2、均方根誤差(root mean squared error,RMSE)作為評價指標(biāo).R2越接近1,證明模型相關(guān)性越強;RMSE越小,證明模型誤差越小.

圖1 局部地質(zhì)剖面圖

本文樣本集總共包含503環(huán)的掘進數(shù)據(jù),由于掘進速度與盾構(gòu)機及地質(zhì)條件相關(guān),因此樣本數(shù)據(jù)中包含這兩個維度的相關(guān)參數(shù).此外,隧道穿越孤石群會影響掘進速度,因此需要加入孤石相關(guān)參數(shù).根據(jù)訓(xùn)練集和測試集劃分的一般原則[21],將350 環(huán)(70%)數(shù)據(jù)設(shè)定為訓(xùn)練集,將余下的153組(30%)數(shù)據(jù)作為測試集.

2.1 SVR模型預(yù)測

SVR 的核參數(shù)直接影響其性能,本文選用徑向基核作為SVR 的核函數(shù),此時,SVM 模型中有兩個參數(shù)需要確定,分別為懲罰參數(shù)C和核參數(shù)的gamma,其中懲罰參數(shù)C決定模型對于誤差的容忍性,當(dāng)C越大時,模型對誤差的容忍程度越低,那么導(dǎo)致的結(jié)果就是模型欠擬合,當(dāng)C越小時,模型對誤差的容忍程度越高,那么此時模型的泛化能力將受到影響;gamma決定樣本點在經(jīng)過核函數(shù)映射后的分布,支持向量與gamma的值呈負(fù)相關(guān).用SVR 模型進行計算時,首先要確定兩個參數(shù)的值,本文的方法是在C、gamma組成的二維參數(shù)矩陣中,依次對每一對參數(shù)進行計算,從而尋求其最優(yōu)值.在運行過程中,C、gamma相互獨立,便于并行化運算,為了盡可能減少數(shù)據(jù)劃分對結(jié)果產(chǎn)生的影響,采用網(wǎng)格搜索與k折交叉驗證相結(jié)合的方式,把訓(xùn)練集拆分成k份,輪流將其中(k-1)份作為訓(xùn)練集,1份作為測試集,總計訓(xùn)練k次,取其平均值作為其最終結(jié)果,最終確定最佳參數(shù)C和gamma分別為4和22.627.采用SVR 模型進行PR 預(yù)測的結(jié)果如圖2所示.

圖2對比了實測值和SVR 模型的預(yù)測值,其中藍(lán)色點表示實測值,紅色點表示預(yù)測值.在訓(xùn)練集中,多數(shù)預(yù)測值與實際值較為接近,整體擬合效果較好.在測試集中,能夠反映實測值的整體走勢,但相對預(yù)測集而言,誤差比較大.表1列出了此時SVR 模型的性能指標(biāo),模型在測試集和預(yù)測集的R2分別為0.928和0.777,訓(xùn)練集上各樣本點比較靠攏擬合線,而在測試集上樣本點分布比較散亂,所以模型在訓(xùn)練集上的表現(xiàn)很好,但在測試集上的表現(xiàn)略差,此時是因為模型出現(xiàn)了過度學(xué)習(xí)的情況,從而在測試集上預(yù)測效果不好.圖3為SVR 模型相關(guān)性分析.

圖2 SVR 模型在訓(xùn)練集和測試集上的預(yù)測結(jié)果

表1 SVR 模型性能指標(biāo)

圖3 SVR 模型相關(guān)性分析

2.2 MKL-SVR模型預(yù)測

本節(jié)采用加權(quán)線性組合的方式將多個核函數(shù)融合,建立MKL-SVR 模型,解決了核函數(shù)選擇的難題,融合后的核同時具有其組成核的性質(zhì),能夠更好地適應(yīng)樣本中的異構(gòu)點.多核不但可以由多個不同的核函數(shù)融合而成,也可以由多個同一類型不同核參數(shù)的核函數(shù)組成.

MKL-SVR 的流程如圖4所示,首先輸入數(shù)據(jù),選定所要進行多核融合的基礎(chǔ)核函數(shù),在基礎(chǔ)核函數(shù)選擇上,應(yīng)選擇涵蓋面較廣的多個基礎(chǔ)核,由核函數(shù)將樣本集映射到不同的特征空間,根據(jù)數(shù)據(jù)的適應(yīng)度得出各個基礎(chǔ)核函數(shù)在多核合成中占的權(quán)重,而后進行核函數(shù)的融合,建立MKL-SVR 模型進行回歸預(yù)測并對其性能進行分析.

圖4 MKL-SVR 流程圖

在多核合成時,選用12參數(shù)不同徑向基核和4個參數(shù)不同的多項式核進行組合,12個徑向基核的gamma參數(shù)分別取0.01、0.1、0.5、1、2、5、8、10、13、15、17 和20,多項式核的gamma 參數(shù)設(shè)置為1,degree參數(shù)分別取1、2、3和4,訓(xùn)練5次,取其回歸預(yù)測的平均值.

圖5給出了MKL-SVR 模型的預(yù)測值和實測值對比,其中藍(lán)色點表示實測值,紅色點表示預(yù)測值.在訓(xùn)練集上,預(yù)測值能夠很好地貼合實測值,整體走勢一致;在測試集上,能夠比較好地預(yù)測實測值,依舊存在個別突變點擬合不到位的情況.如圖6所示,其中黑色點表示測試集數(shù)據(jù),紅色點表示預(yù)測集數(shù)據(jù),可以看出兩類點都比較貼合圖中藍(lán)色直線,表明預(yù)測結(jié)果與實測值誤差不大.在預(yù)測集中,當(dāng)凈掘進速度較小時,相關(guān)性非常強,當(dāng)凈掘進速度在20～30 mm/min時,預(yù)測值誤差增大;在測試集中,當(dāng)凈掘進速度在30 mm/min 以上時,誤差較小,當(dāng)凈掘進速度在5～15 mm/min時,此時預(yù)測值誤差略大,在實測值上下波動.

圖5 MKL-SVR 模型在訓(xùn)練集和測試集上的預(yù)測結(jié)果

圖6 MKL-SVR 模型預(yù)測值與實測值相關(guān)性分析

表2給出了MKL-SVR 模型在訓(xùn)練集和測試集上的性能指標(biāo).

表2 MKL-SVR 模型性能指標(biāo)

2.3 兩種預(yù)測模型的比較

表3 兩種模型的性能對比

通過兩種模型預(yù)測性能的對比,可以得出多個核函數(shù)融合的多核學(xué)習(xí)支持向量機模型在預(yù)測性能上要明顯優(yōu)于傳統(tǒng)支持向量機.這是因為傳統(tǒng)SVR 在核函數(shù)和核參數(shù)選擇上十分困難,往往要依靠經(jīng)驗不斷嘗試才能找到相對較好的組合.由于不同核函數(shù)有各自的擅長領(lǐng)域,在SVR 中只能選擇對大多數(shù)數(shù)據(jù)表現(xiàn)良好的核函數(shù),往往不能照顧到一些異構(gòu)點[19].本文采用加權(quán)線性組合的方式將多個核函數(shù)融合,建立MKL-SVR 模型,解決了核函數(shù)選擇的難題,融合后的核函數(shù)可以兼具多種核函數(shù)的優(yōu)點,能夠更好地適應(yīng)樣本中的異構(gòu)點,這正符合本文樣本數(shù)據(jù)中有孤石數(shù)據(jù)的輸入.此外,多核不但可以由多個不同的核函數(shù)融合而成,也可以由多個同一類型不同核參數(shù)的核函數(shù)組成,面對復(fù)雜多變的實際施工條件,可以靈活選用和融合核函數(shù),以適應(yīng)復(fù)雜的地質(zhì)條件,具有很好的工程適用性.

3 結(jié) 論

本文提出了一種基于多核學(xué)習(xí)支持向量機算法的地鐵盾構(gòu)機凈掘進速度預(yù)測模型,并利用深圳地鐵10號線坂貝區(qū)間的數(shù)據(jù)驗證了該模型的有效性,最終得出以下結(jié)論:

1)盾構(gòu)機的掘進性能和地質(zhì)條件、掘進及施工參數(shù)等因素相關(guān),很難從理論上全面揭示其相關(guān)性.本文提出的MKL-SVR 模型能夠擬合多種相關(guān)因素與掘進速度之間的非線性關(guān)系,有效預(yù)測掘進效率.

2)為了克服神經(jīng)網(wǎng)絡(luò)需要大量數(shù)據(jù)和SVR 核函數(shù)選擇困難的缺點,首次將MKL-SVR 模型應(yīng)用于盾構(gòu)機凈掘進速度預(yù)測,與已有模型相比,既增強了處理小數(shù)據(jù)量的能力又避免了核函數(shù)和核參數(shù)選擇的負(fù)擔(dān),提高了模型的魯棒性和泛化能力,在對樣本集進行預(yù)測時,MKL-SVR 模型的R2達(dá)到了0.895,較SVR 模型的R2提高了0.118,MKL-SVR 模型在適應(yīng)性和精確度方面較SVR 模型都有較大提高.