基于貝葉斯優(yōu)化XGBoost的隧道沉降量預(yù)測(cè)①

何 軍,林廣東,申小軍,徐龍飛,裴莉莉,余 婷

1(中交隧道工程局有限公司,北京 100102)

2(中交一公局集團(tuán)有限公司,北京 100020)

3(長(zhǎng)安大學(xué) 公路學(xué)院,西安 710064)

4(長(zhǎng)安大學(xué) 信息工程學(xué)院,西安 710064)

隧道在建設(shè)中往往伴隨著地質(zhì)復(fù)雜,工程量大,建設(shè)條件惡劣等因素的影響,并且在山體結(jié)構(gòu)中時(shí)常分布有裂隙發(fā)育較嚴(yán)重風(fēng)化巖體,這導(dǎo)致隧道施工過(guò)程中不可避免地會(huì)造成地表沉降,甚至可能會(huì)導(dǎo)致地面沉陷、建筑物開(kāi)裂及管線破壞等情況的發(fā)生[1,2]. 因此對(duì)隧道沉降的變化規(guī)律進(jìn)行科學(xué)分析與處理,對(duì)最終沉降量做出準(zhǔn)確的預(yù)測(cè),具有十分重要理論意義與實(shí)際應(yīng)用價(jià)值[3,4].

近年來(lái),國(guó)內(nèi)外學(xué)者對(duì)隧道沉降量的分析及預(yù)測(cè)進(jìn)行了大量的研究并取得了一定的成果[5,6]. 曾學(xué)宏等[7]使用BP (backpropagation)神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(long short term memory network,LSTM)兩種網(wǎng)絡(luò)模型獨(dú)立對(duì)實(shí)際工程中獲取到的兩組地鐵隧道數(shù)據(jù)進(jìn)行了分析研究,并對(duì)兩種模型的預(yù)測(cè)精準(zhǔn)度進(jìn)行了對(duì)比.針對(duì)地表沉降的預(yù)測(cè),趙振華等[8]采用回歸分析法,使用Peck 公式得到了較好的地表沉降預(yù)測(cè). 他們建立的BP 神經(jīng)網(wǎng)絡(luò)地表沉降預(yù)測(cè)模型,同樣獲得了較為理想的預(yù)測(cè)結(jié)果. 潘愷等[9]提出了動(dòng)態(tài)灰色時(shí)序神經(jīng)網(wǎng)絡(luò)組合模型. 對(duì)于南京二號(hào)線的地鐵沉降數(shù)據(jù),利用3 種算法的組合對(duì)其進(jìn)行分析預(yù)測(cè),并對(duì)比了其與動(dòng)態(tài)灰色模型和動(dòng)態(tài)灰色時(shí)序模型的預(yù)測(cè)精準(zhǔn)度. 李偉等[10]提出一種Adaboost.RT 算法集成多種不同基學(xué)習(xí)模型的隧道預(yù)測(cè)方法. 針對(duì)非線性回歸問(wèn)題且研究對(duì)象是交通隧道沉降的隨機(jī)性強(qiáng)的小樣本數(shù)據(jù),可以使用Adaboost算法得到強(qiáng)學(xué)習(xí)模型,以此得到較優(yōu)的預(yù)測(cè)精度. 姚凱等[11]利用廣義回歸神經(jīng)網(wǎng)絡(luò)參數(shù)少、使用簡(jiǎn)單的特點(diǎn),結(jié)合FOA 算法預(yù)測(cè)隧道圍巖變形. 明祖濤等[12]分別用規(guī)范雙曲線、修正雙曲線、三點(diǎn)法、Asaoka 法和GM(1,1)模型,結(jié)合某高速鐵路橋隧的沉降觀測(cè)數(shù)據(jù),對(duì)各模型在鐵路橋隧的準(zhǔn)確性、適用性進(jìn)行了分析. 畢旋旋等[13]使用了小波分析理論對(duì)所得到的隧道沉降數(shù)據(jù)序列進(jìn)行分解重構(gòu)得到高頻分量和低頻分量,進(jìn)而分別構(gòu)建ARIMA 模型進(jìn)行預(yù)測(cè),最后疊加預(yù)測(cè)結(jié)果得到最終的沉降值. 莫云等[14]發(fā)現(xiàn)武漢市軌道交通二號(hào)線第24 標(biāo)段的監(jiān)測(cè)數(shù)據(jù)滿足Logistic 曲線,故運(yùn)用Logistic 時(shí)間函數(shù)模型對(duì)隧道“發(fā)生”“劇變”“平穩(wěn)”的過(guò)程進(jìn)行描述.

基于以上研究,可以發(fā)現(xiàn)已有一些基于機(jī)器學(xué)習(xí)的方法對(duì)沉降進(jìn)行預(yù)測(cè),然而以上模型在時(shí)間序列規(guī)律性的考慮上還有所欠缺,同時(shí)在數(shù)據(jù)預(yù)處理方面未能結(jié)合多源數(shù)據(jù)表中的時(shí)空域信息進(jìn)行修復(fù),大多是對(duì)異常數(shù)據(jù)直接進(jìn)行刪除. 因此本文首先對(duì)采集到原始沉降監(jiān)測(cè)數(shù)據(jù)通過(guò)融合多源異構(gòu)數(shù)據(jù)表中的時(shí)空信息對(duì)缺失及異常數(shù)據(jù)修復(fù),然后采用貝葉斯算法優(yōu)化在眾多項(xiàng)目表現(xiàn)較優(yōu)的XGBoost 集成模型[15,16]對(duì)隧道拱頂沉降、地表沉降和周邊收斂數(shù)據(jù)進(jìn)行演變分析及預(yù)測(cè),最后與原始XGBoost 集成模型和常用于時(shí)序序列預(yù)測(cè)的LSTM 時(shí)間序列模型進(jìn)行對(duì)比,以證明本文提出的最優(yōu)沉降量預(yù)測(cè)模型的有效性,從而對(duì)隧道沉降變化進(jìn)行科學(xué)的監(jiān)測(cè)與預(yù)測(cè). 整體實(shí)驗(yàn)流程如圖1.

圖1 整體研究路線

1 隧道沉降監(jiān)測(cè)數(shù)據(jù)集建立

1.1 原始工程數(shù)據(jù)采集

(1)工程概況

以沙嶺壕隧道、十里坡隧道、中坪隧道以及白家莊隧道的實(shí)際工程量測(cè)沉降統(tǒng)計(jì)數(shù)據(jù)為依托,分別對(duì)隧道拱頂沉降、地表沉降、周邊收斂進(jìn)行分析,具體隧道信息如下:

1)沙嶺壕隧道: 沙嶺壕隧道為鄭西高速欒雙段在建分離式隧道,該隧道位于河南省南陽(yáng)市西峽縣,隧道施工區(qū)域穿越淺埋段5 條,地質(zhì)構(gòu)造復(fù)雜,隧道內(nèi)突水涌砂情況頻發(fā),存在6 處溢出泉和流塑粉砂層,圍巖通常情況下基本上是Ⅳ、V 級(jí)圍巖,在實(shí)際的施工中會(huì)遇到反坡涌水、圍巖破碎、地形條件復(fù)雜等困難,施工難度大,安全風(fēng)險(xiǎn)高. 隧道左線樁號(hào)ZK102+290–ZK103+609,全長(zhǎng)1 319 m; 右線樁號(hào)K102+228–K103+438,全長(zhǎng)1 210 m.

2)十里坡隧道: 十里坡隧道為鄭西高速欒雙段在建分離式隧道,該隧道位于河南省南陽(yáng)市西峽縣,隧道左線樁號(hào)ZK109+840–ZK110+094,全長(zhǎng)254 m; 右線樁號(hào)K109+733–K109+994,全長(zhǎng)261 m.

3)中坪隧道: 中坪隧道是鄭西高速欒雙段在建分離式隧道,該隧道位于河南省南陽(yáng)市西峽縣,位于兩河口附近,隧道緊鄰311 國(guó)道,爆破作業(yè)安全等級(jí)要求高.隧道左線樁號(hào)ZK108+702–ZK109+159,全長(zhǎng)457 m;右線樁號(hào)K108+612–K109+115,全長(zhǎng)503 m.

4)白家莊隧道: 白家莊隧道為鄭西高速欒雙段在建分離式隧道,該隧道位于河南省南陽(yáng)市西峽縣,隧道左線樁號(hào)ZK104+214–ZK105+526,全長(zhǎng)1 312 m; 右線樁號(hào)K104+116–K105+416,全長(zhǎng)1 300 m.

(2)原始數(shù)據(jù)分析

本文選擇上述4 段隧道為試驗(yàn)對(duì)象. 每段隧道選取左右兩個(gè)部分,每個(gè)部分又具體的分為地表、拱頂及周邊監(jiān)測(cè)位置,這里以白家莊隧道部分采集數(shù)據(jù)為樣例,見(jiàn)表1.

表1 白家莊隧道部分原始數(shù)據(jù)

從原始數(shù)據(jù)可知: 前15 次測(cè)量是每天不間斷測(cè)量,從第16 次之后,測(cè)量周期改為每?jī)商鞙y(cè)一次. 對(duì)于不同空間信息的監(jiān)測(cè)點(diǎn),時(shí)間采樣信息也不一致,存在時(shí)空尺度不對(duì)齊的問(wèn)題. 同時(shí)研究表中沉降監(jiān)測(cè)量演變規(guī)律可以發(fā)現(xiàn),監(jiān)測(cè)初期,隧道每天的累計(jì)沉降量都在增加,但增加速率逐漸放緩; 在進(jìn)行20 次左右的測(cè)量即25 天左右后,隧道沉降趨于收斂,僅有微小變化量;在50 天之后的沉降測(cè)量值基本不再發(fā)生變化,保持穩(wěn)定. 整體符合“發(fā)生”“劇變”“平穩(wěn)”的變化過(guò)程.

1.2 融合時(shí)空信息的隧道沉降監(jiān)測(cè)數(shù)據(jù)修復(fù)

(1)時(shí)空尺度對(duì)齊

由于不同空間位置的沉降監(jiān)測(cè)的采樣間隔不同,首先需要對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行尺度統(tǒng)一. 在這里,采用平均插值算法對(duì)原始數(shù)據(jù)中第17–21 期間隔為2 天的采樣數(shù)據(jù)進(jìn)行插值,得到采樣間隔為1 天的共26 期沉降監(jiān)測(cè)數(shù)據(jù). 同時(shí)將采樣間隔時(shí)間較長(zhǎng)的長(zhǎng)期穩(wěn)定不變化的數(shù)據(jù)去掉.

(2)數(shù)據(jù)修復(fù)

同時(shí)數(shù)據(jù)中存在一些異常和缺失的情況,需要首先對(duì)原始數(shù)據(jù)進(jìn)行修復(fù),以減少異常和缺失數(shù)據(jù)對(duì)沉降預(yù)測(cè)精度的影響,同時(shí)避免因數(shù)據(jù)異常導(dǎo)致程序卡頓等問(wèn)題. 對(duì)于孤立點(diǎn)異常和數(shù)據(jù)中部缺失(即頭尾有合理數(shù)據(jù))的監(jiān)測(cè)數(shù)據(jù),采用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)對(duì)孤立點(diǎn)異常數(shù)據(jù)及中間的缺失數(shù)據(jù)進(jìn)行修復(fù); 對(duì)于其他異常情況和大量數(shù)據(jù)缺失(后期數(shù)據(jù)連續(xù)缺失)的情況直接對(duì)其進(jìn)行刪除.

根據(jù)修復(fù)后的K106-405 樁號(hào)的監(jiān)測(cè)數(shù)據(jù),分別繪制了該樁號(hào)對(duì)應(yīng)的拱頂、地表和周邊收斂的沉降量變化速率、沉降量累計(jì)變化值、沉降量累計(jì)變化回歸曲線,如圖2 所示. 總體來(lái)說(shuō),隧道3 個(gè)不同位置的變化趨勢(shì)基本一致,在25 天后就趨于平穩(wěn).

圖2 沉降量3 項(xiàng)參數(shù)變化

2 基于貝葉斯優(yōu)化的XGBoost 隧道沉降預(yù)測(cè)模型

2.1 XGBoost 模型

XGBoost 模型基于回歸決策樹(shù),通過(guò)固定第一顆回歸樹(shù)經(jīng)過(guò)第一輪迭代已學(xué)習(xí)的數(shù)據(jù)特征,增加新的回歸樹(shù)以彌補(bǔ)誤差提升精度,前t個(gè)集成的模型產(chǎn)生的誤差數(shù)據(jù),會(huì)被第t+1 棵樹(shù)作為建立時(shí)的參考. 即將多個(gè)回歸樹(shù)前一個(gè)輸出與后一棵樹(shù)的輸入連接起來(lái)(串聯(lián)),以此,隨著回歸樹(shù)的不斷加入,損失函數(shù)Obj小于期望閾值,如式(1).

其中,l(yi,)為原始數(shù)據(jù)中指標(biāo)樣本xi的訓(xùn)練誤差,?(fk)表示第k顆樹(shù)的某種范數(shù)約束,這里可取L1 范數(shù)或L2范數(shù)來(lái)實(shí)現(xiàn)正則化約束過(guò)程; 其中,回歸樹(shù)的每片葉子都可以產(chǎn)生一個(gè)預(yù)測(cè)結(jié)果,通常情況下,將該片葉子擁有的訓(xùn)練集元素的輸出進(jìn)行累加,然后求均值作為最終輸出; 則XGBoost 模型見(jiàn)式(2).

其中,k是回歸樹(shù)的總量,fk是第k棵回歸樹(shù),也是樣本xi的最終預(yù)測(cè)值.

整個(gè)算法的過(guò)程如下: 首先進(jìn)行初始化,然后把第1 棵樹(shù)加入預(yù)測(cè)模型中,接著把第2 棵樹(shù)加入預(yù)測(cè)模型中,以此類推,直至把第t棵樹(shù)加入預(yù)測(cè)模型中:

訓(xùn)練模型的復(fù)雜度見(jiàn)式(5):

其中,q(x)是樣本x在樹(shù)中的位置,w是樹(shù)葉的得分值,T是該樹(shù)葉子結(jié)點(diǎn)的數(shù)目,復(fù)雜度也可以表示為式(6).

其中,γ表示葉子個(gè)數(shù),w2j表示w的L2 模平方.

2.2 貝葉斯優(yōu)化算法

機(jī)器學(xué)習(xí)算法中每種模型都具有多個(gè)超參數(shù),超參數(shù)的設(shè)置和組合對(duì)模型最終的預(yù)測(cè)效果有很大影響.例如層數(shù)太多導(dǎo)致梯度消失無(wú)法訓(xùn)練,或者學(xué)習(xí)率過(guò)大可能導(dǎo)致收斂效果差,過(guò)小又可能收斂速度過(guò)慢. 調(diào)參過(guò)程是模型優(yōu)化的重要思路,由于本文初始樣本點(diǎn)有限,不適用于遺傳算法和PSO 這些群體優(yōu)化算法,同時(shí)網(wǎng)格搜索算法因?yàn)橐闅v參數(shù)的所有組合因此優(yōu)化效率也不高. 采用貝葉斯算法對(duì)XGBoost 的超參數(shù)進(jìn)行優(yōu)化可以在樣本點(diǎn)有限的情況下大大提升調(diào)參效率,可以根據(jù)當(dāng)前已經(jīng)試驗(yàn)的超參數(shù)組合來(lái)預(yù)測(cè)下一個(gè)可能帶來(lái)最大收益的組合.

貝葉斯優(yōu)化框架有兩個(gè)關(guān)鍵部分: ① 使用概率模型代理原始評(píng)估代價(jià)高昂的復(fù)雜目標(biāo)函數(shù); ② 利用代理模型的后驗(yàn)信息構(gòu)造主動(dòng)選擇策略,即收益函數(shù). 假設(shè)超參數(shù)優(yōu)化的函數(shù)f(x)服從高斯過(guò)程,根據(jù)已有的N組試驗(yàn)的輸入輸出{x,f(x)},計(jì)算f(x)的后驗(yàn)分布p(f(x)|x)來(lái)估計(jì)f(x).

其中,p(f(x))是先驗(yàn)概率;p(x|f(x))是樣本x相對(duì)于函數(shù)f(x)的條件概率;p(x)是用于歸一化的證據(jù)因子. 即利用高斯隨機(jī)過(guò)程,使用貝葉斯定義,將假設(shè)的先驗(yàn)概率分布轉(zhuǎn)換為后驗(yàn)分布. 后驗(yàn)概率分布描述通過(guò)已觀測(cè)數(shù)據(jù)集對(duì)先驗(yàn)進(jìn)行修正后未知目標(biāo)函數(shù)的置信度.

為了使得后驗(yàn)分布接近其真實(shí)分布,就需要樣本空間進(jìn)行足夠多的采樣. 但是超參數(shù)優(yōu)化中每一個(gè)樣本的生成成本很高,需要用盡可能少的樣本使得p(f(x)|x)接近于真實(shí)分布. 因此需要定義一個(gè)收益函數(shù)來(lái)判斷一個(gè)樣本能否給建模提供更多的收益,收益越大,其修正的高斯過(guò)程會(huì)越接近目標(biāo)函數(shù)的真實(shí)分布. 常用的收益函數(shù)有改善概率(PI)、期望改善函數(shù)(EI)、高斯過(guò)程置信上界(GP-UCB)等. 收益函數(shù)將在新的區(qū)域和局部最優(yōu)解附近尋求全局最優(yōu)解,優(yōu)化目標(biāo)則是在全集A中尋找使f(x)值達(dá)到最大或最小的x集合,如式(8)所示:

3 沉降預(yù)測(cè)結(jié)果與分析

3.1 結(jié)果評(píng)價(jià)指標(biāo)

本文使用R2和MAE分別作為評(píng)價(jià)模型的精確度指標(biāo)和誤差度指標(biāo),計(jì)算公式如式(9)和式(10).

其中,yi表示原始回歸值,表示原始回歸值的平均,表示預(yù)測(cè)回歸值,n為待測(cè)數(shù)據(jù)總數(shù).

R2(R-square)決定系數(shù)用于衡量原始回歸值和預(yù)測(cè)回歸值的相關(guān)性,該值越接近1 代表模型擬合效果越好,模型越優(yōu)秀.

MAE(mean absolute error)平均絕對(duì)誤差反映原始回歸值和預(yù)測(cè)回歸值的真實(shí)誤差,該值越接近0,表明預(yù)測(cè)結(jié)果與真實(shí)情況平均絕對(duì)誤差越小,模型預(yù)測(cè)結(jié)果越好.

不同類(精度類、誤差類等)評(píng)價(jià)指標(biāo)之間沒(méi)有明確的精度越高誤差越小的說(shuō)法,例如R2一般會(huì)隨著樣本數(shù)量的增加而增加,不能絕對(duì)意義上說(shuō)明準(zhǔn)確程度.同理,誤差類評(píng)價(jià)指標(biāo)受某些異常值影響變化明顯,只能從不同角度大概定量反映預(yù)測(cè)值與真實(shí)值之間的誤差. 因此需要結(jié)合不同類指標(biāo)來(lái)綜合評(píng)估模型優(yōu)劣.

3.2 沉降預(yù)測(cè)結(jié)果

本文利用十里坡+沙嶺壕+中坪隧道共732 條數(shù)據(jù)來(lái)訓(xùn)練模型,取200 條白家莊隧道數(shù)據(jù)用于測(cè)試模型精度,通過(guò)指標(biāo)計(jì)算進(jìn)行對(duì)比分析,得到基于貝葉斯優(yōu)化XGBoost 最優(yōu)模型的參數(shù)設(shè)置,如表2 所示. 同時(shí)最優(yōu)模型的訓(xùn)練集和測(cè)試集在不同監(jiān)測(cè)點(diǎn)的真實(shí)值和預(yù)測(cè)值的對(duì)比效果如圖3 所示.

表2 最優(yōu)參數(shù)組

圖3 中黑色曲線為隧道沉降監(jiān)測(cè)真實(shí)值,灰色曲線為貝葉斯優(yōu)化XGBoost 模型的預(yù)測(cè)結(jié)果,從圖中可以發(fā)現(xiàn),兩條曲線重合度較高,這表明在不同的沉降監(jiān)測(cè)點(diǎn),貝葉斯優(yōu)化的XGBoost 沉降預(yù)測(cè)模型的曲線趨勢(shì)能夠與隧道監(jiān)測(cè)數(shù)據(jù)的周邊收斂、地表沉降和拱頂沉降真實(shí)數(shù)據(jù)高精度吻合,預(yù)測(cè)誤差較小.

圖3 最優(yōu)模型訓(xùn)練及測(cè)試結(jié)果

訓(xùn)練時(shí)序預(yù)測(cè)較優(yōu)的LSTM 模型[17,18]和原始XGBoost 模型與貝葉斯優(yōu)化的XGBoost 模型進(jìn)行對(duì)比驗(yàn)證,預(yù)測(cè)結(jié)果由表3 可得: 總體來(lái)說(shuō)基于貝葉斯優(yōu)化的XGBoost 模型對(duì)隧道3 種不同位置的沉降預(yù)測(cè)效果最好,平均精度最高,達(dá)到0.979 4. 同時(shí)由圖4 可得優(yōu)化的XGBoost 模型對(duì)拱頂沉降,地表沉降和周邊收斂的預(yù)測(cè)效果均要優(yōu)于LSTM. LSTM 在對(duì)拱頂沉降和周邊收斂的預(yù)測(cè)中精度達(dá)到0.9 以上,對(duì)地表沉降的預(yù)測(cè)效果偏低. 綜上,在實(shí)際的隧道施工監(jiān)測(cè)工程中,建立基于貝葉斯優(yōu)化的XGBoost 隧道沉降模型能更好地掌握隧道沉降變化規(guī)律,服務(wù)隧道施工工程要求.

圖4 不同方法預(yù)測(cè)結(jié)果對(duì)比

表3 不同方法預(yù)測(cè)結(jié)果對(duì)比

4 結(jié)論

通過(guò)對(duì)實(shí)體工程隧道沉降監(jiān)測(cè)數(shù)據(jù)進(jìn)行整理,對(duì)其中的拱頂沉降、周邊收斂及地表沉降分別進(jìn)行預(yù)測(cè),主要有以下結(jié)論.

(1)采用平均插值方法對(duì)時(shí)空尺度不對(duì)齊的監(jiān)測(cè)數(shù)據(jù)進(jìn)行尺度對(duì)齊,對(duì)于孤立點(diǎn)異常和部分缺失監(jiān)測(cè)數(shù)據(jù),融合時(shí)間空間信息采用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)對(duì)其進(jìn)行修復(fù),大大提高后期沉降預(yù)測(cè)的準(zhǔn)確性和程序可執(zhí)行性.

(2)以沙嶺壕隧道、十里坡隧道、中坪隧道以及白家莊隧道的監(jiān)測(cè)點(diǎn)實(shí)測(cè)數(shù)據(jù)為樣本建立貝葉斯優(yōu)化的XGBoost 模型,分析結(jié)果表明在不同位置的沉降預(yù)測(cè)中貝葉斯優(yōu)化的XGBoost 模型表現(xiàn)均優(yōu)于LSTM和原始XGBoost 模型,精度可以達(dá)到0.979 4,能夠達(dá)到工程監(jiān)測(cè)要求.

在未來(lái)的研究中,可以將重點(diǎn)轉(zhuǎn)向隧道使用過(guò)程中的沉降變化量監(jiān)測(cè),檢測(cè)和采集更多指標(biāo)數(shù)據(jù)構(gòu)建隧道使用過(guò)程中各項(xiàng)指標(biāo)的演變模型.