利用人工魚群算法優(yōu)化高斯過程模型及應用分析

邱小夢，周世健，王奉偉，歐陽亮酉

(1. 東華理工大學測繪工程學院，江西 南昌 330013； 2. 流域生態(tài)與地理環(huán)境監(jiān)測國家測繪地理信息局重點實驗室，江西 南昌 330013； 3. 南昌航空大學，江西 南昌 330063； 4. 同濟大學測繪與地理信息學院，上海 200092)

目前常用的變形監(jiān)測數(shù)據處理或分析方法主要有：回歸分析、時間序列分析、傳統(tǒng)灰色預測模型、神經網絡和支持向量機等[1-5]，但是這些方法都有局限性?；貧w分析和時間序列分析適用于觀測序列長、信息量大的數(shù)據[6]，但在實際工程中時常獲得小樣本數(shù)據，信息量小。傳統(tǒng)灰色預測模型一般要求累加生成的序列具有灰指數(shù)規(guī)律并且是非負的[7]。神經網絡存在著大樣本、收斂速度慢和局部優(yōu)化的缺點[8]。支持向量機存在如何選取合適的懲罰項、輸出結果不具有概率意義等問題[9]。

高斯過程(Gaussian process，GP)對處理高維數(shù)、小樣本、非線性等復雜問題具有很好的適應性，且泛化能力強[10]。蘇國韻[11]和羅亦泳[12]分別將高斯過程應用于基坑位移時間序列分析和GPS高程轉換，取得了較好的效果，從而驗證了該方法的可靠性。目前通常采用共軛梯度法搜索超參數(shù)，存在對初始值依賴性強、容易陷入局部最優(yōu)的缺點，該算法的適用性具有局限性[13-14]。人工魚群算法(artificial fish swarm algorithm，AFSA)具有對初始值與參數(shù)選擇不敏感的優(yōu)點。筆者應用該算法對超參數(shù)進行智能尋優(yōu)，建立AFSA-GP預測模型。利用該模型對等間距隧道位移和非等間距基坑沉降進行預測，以殘差絕對值和與平均相對誤差作為評價指標，選擇神經網絡(neural network，NN)、平方指數(shù)(squared exponential，SE)和有理二次型(rational quadratic，RQ)3種核函數(shù)分別進行預測，均具有較高的預測精度，其中以NN為核函數(shù)的模型預測效果最好。

1 模型建立

1.1 高斯過程原理

高斯過程是近期發(fā)展起來的一種新的機器學習方法，其對處理高維數(shù)、小樣本、非線性等復雜問題具有很好的適應性?；貧w模型[10,15]可以表示為

y=f(x)+ε

(1)

(2)

(3)

高斯過程中常用的核函數(shù)有NN、SE和RQ 3種核函數(shù)，其NN核函數(shù)一般形式為

(4)

SE核函數(shù)一般形式為

(5)

RQ核函數(shù)一般形式為

(6)

式(4)、式(5)和式(6)中，Q=diagl-2為超參數(shù)矩陣；l為樣本數(shù)據點間的相關性；γ為核函數(shù)的形狀參數(shù)。

利用傳統(tǒng)共軛梯度法對偏導數(shù)進行最小化，從而獲得最優(yōu)超參數(shù)。負對數(shù)似然函數(shù)L(θ)和超參數(shù)θ的偏導數(shù)如下所示

(7)

(8)

1.2 AFSA-GP模型

針對共軛梯度法搜索超參數(shù)存在對初始值依賴性強、容易陷入局部最優(yōu)的缺點，利用AFSA算法[16]代替?zhèn)鹘y(tǒng)共軛梯度法智能搜索最優(yōu)超參數(shù)，建立AFSA-GP預測模型。主要步驟如下：

(1) 初始化AFSA算法中的參數(shù)，主要包括人工魚數(shù)目、最大迭代次數(shù)、最大試探次數(shù)、視野范圍、擁擠度因子和移動步長。然后隨機產生初始人工魚群。

(2) 利用高斯過程對樣本進行訓練和測試，根據食物濃度函數(shù)計算出當前每條人工魚的食物濃度。

(3) 各人工魚分別執(zhí)行聚群行為和追尾行為，選擇最有利的行為執(zhí)行，缺省行為時執(zhí)行覓食行為。

(4) 各人工魚每試探一次，將自身食物濃度與最優(yōu)食物濃度進行比較，若自身食物濃度比最優(yōu)食物濃度更好，則用自身食物濃度代替最優(yōu)食物濃度。

(5) 判斷是否達到設定的最大迭代次數(shù)。如果已經達到最大迭代次數(shù)，則輸出最優(yōu)超參數(shù)。若未達到最大迭代次數(shù)，則迭代次數(shù)gen=gen+1，轉到步驟(3)。

(6) 根據獲取的最優(yōu)超參數(shù)建立高斯過程模型進行預測。

2 實例分析

工程實例應用中采用了滾動預測方法[17]對變形體未來的形變量進行建模預測。AFSA-GP預測模型中采用了NN、SE和RQ 3種核函數(shù)分別進行計算，其目標函數(shù)(即食物濃度函數(shù))設置為

(9)

式中，g(xi)第i個測試樣本的預測值；yi為第i個測試樣本的實測值；m為測試樣本個數(shù)。

2.1 隧道變形監(jiān)測的應用

依據文獻[18]走馬崗特長隧道采用分離式設計，建筑范圍為14.75 m×5.0 m，最大埋深約為183 m。觀測點YK21+715位于隧道出口右線上，選取其2012年6月連續(xù)18期周邊位移數(shù)據作為試驗數(shù)據，實測數(shù)據見表1。

表1 監(jiān)測點的各期實測數(shù)據

AFSA-GP預測模型中的參數(shù)初始化為：人工魚數(shù)目為150，最大迭代次數(shù)為200，視野范圍為5，移動步長為0.3。運用滾動預測方法進行預測時，k取13，P取10，t取1(即學習樣本為10、測試樣本數(shù)為3、預測期數(shù)為1)。GP核函數(shù)分別采用NN、SE和RQ核函數(shù)，目標函數(shù)為式(9)，求其最小值。利用AFSA-GP預測模型對隧道變形進行預測分析，目標函數(shù)值隨迭代次數(shù)變化的曲線如圖1所示，預測結果見表2，預測殘差見表3，預測結果相對誤差見表4。

圖1 目標函數(shù)值隨迭代次數(shù)變化的曲線

mm

表3 不同核函數(shù)的預測殘差 mm

表4 不同核函數(shù)的預測結果相對誤差 (%)

從表2、表3和表4可以看出，AFSA-GP預測模型的預測精度比GP預測模型有了很大的提高。AFSA-GP中殘差絕對值和都小于1 mm，最大值為0.71 mm，而GP中最大值為2.20 mm。GP中最小相對誤差為3.21%，AFSA-GP中僅為0.15%。NN、SE和RQ 3種核函數(shù)平均相對誤差分別提高了3.26%、4.49%和3.35%，其中SE核函數(shù)提高最大。兩種預測模型中NN核函數(shù)的預測精度高于SE、RQ核函數(shù)，表明NN核函數(shù)具有很好的預測能力。基于3種核函數(shù)預測的相對誤差大于3%的，GP總計15個，而AFSA-GP只有2個。

從圖1中目標函數(shù)值隨迭代次數(shù)變化的曲線可以看出，AFSA-GP具有很好的預測精度，其中目標函數(shù)值的減小就是AFSA算法對GP超參數(shù)智能尋優(yōu)的過程。目標函數(shù)值在迭代20—40次時基本處于穩(wěn)定，迭代200次能夠獲得較為滿意的工程應用要求。表3中的預測殘差也表明AFSA優(yōu)化GP超參數(shù)的有效性。

2.2 基坑變形監(jiān)測的應用

依據文獻[19]選取某基坑北側邊坡上監(jiān)測點的觀測數(shù)據作為試驗數(shù)據，其非等間距實測數(shù)據見表5。

表5 監(jiān)測點的實測值

AFSA-GP預測模型中的參數(shù)初始化為：人工魚數(shù)目為150，最大迭代次數(shù)為200，視野范圍為2.5，移動步長為0.3。運用滾動預測方法進行預測時，k取11，P取8，t取1(即學習樣本為11、測試樣本為3、預測期數(shù)為1)。GP核函數(shù)分別采用NN、SE和RQ核函數(shù)，目標函數(shù)為式(9)，求其最小值。利用AFSA-GP預測模型對基坑變形進行預測分析，目標函數(shù)值隨迭代次數(shù)變化的曲線如圖2所示，預測結果見表6，預測殘差見表7，預測相對誤差見表8。

從表6、表7和表8可以看出，AFSA-GP預測模型的預測精度比GP預測模型有了很大的提高。GP預測模型中殘差絕對值和最大值為4.90 mm，而AFSA-GP預測模型僅為1.96 mm。NN、SE和RQ 3種核函數(shù)平均相對誤差都有所提高，其中SE核函數(shù)提高最大，為3.38%。GP中最大相對誤差為7.33%，AFSA-GP中僅為3.25%。兩種預測模型中NN核函數(shù)的預測精度高于SE、RQ核函數(shù)，表明NN核函數(shù)具有很好的預測能力?；?種核函數(shù)的預測相對誤差大于3%的，GP總計4個，而AFSA-GP只有1個。

圖2 目標函數(shù)值隨迭代次數(shù)變化的曲線

mm

表7 不同核函數(shù)的預測殘差 mm

表8 不同核函數(shù)的預測相對誤差 (%)

從圖2中目標函數(shù)值隨迭代次數(shù)變化的曲線可以看出，AFSA-GP具有很好的預測精度，其中目標函數(shù)值的減小就是AFSA算法對GP超參數(shù)智能尋優(yōu)的過程。目標函數(shù)值在迭代20—40次時基本處于穩(wěn)定，迭代200次能夠獲得較為滿意的工程應用要求。表7中的預測殘差也表明AFSA優(yōu)化GP超參數(shù)的有效性。

3 結 論

(1) 人工魚群算法具有對初值和參數(shù)選擇不敏感的特點，利用人工魚群算法代替?zhèn)鹘y(tǒng)共軛梯度法搜索最優(yōu)超參數(shù)彌補了傳統(tǒng)共軛梯度法的不足之處。兩個工程實例殘差絕對值和最大分別減小了1.49和2.94 mm，驗證了該方法的有效性。

(2) 不同的核函數(shù)影響著機器的學習能力，對兩種預測模型中3種核函數(shù)的預測精度進行比較，NN核函數(shù)預測精度最高，表明該核函數(shù)具有較好的外推預測能力。

(3) 將AFSA-GP模型應用于等間距隧道和非等間距基坑變形監(jiān)測數(shù)據處理中，其中NN核函數(shù)預測的平均相對誤差分別為0.69%和1.06%，表明該方法對等間距與非等間距變形監(jiān)測數(shù)據處理均具有很好的適應性。

[1] 王衛(wèi)東，何暉.回歸分析在隧道拱頂沉降監(jiān)測中的應用[J].科技信息，2011(7): 271-272.

[2] 袁金榮，趙福勇.基坑變形預測的時間序列分析[J].土木工程學報，2001，34(6):55-59.

[3] 潘國榮，王穗輝.深基坑事故隱患的灰色預測[J].同濟大學學報(自然科學版)，1999，27(3):319-322.

[4] 陶津，劉燕，賀可強.神經網絡在深基坑工程變形預測中的應用研究[J].青島理工大學學報，2005，26(6): 39-42.

[5] 高永剛，岳建平，石杏喜.支持向量機在變形監(jiān)測數(shù)據處理中的應用[J]. 水電自動化與大壩監(jiān)測，2005，29(5):36-39.

[6] 李曉蕾，劉睿，田永瑞，等. 基于灰色預測的空間多點殘差修正模型研究[J]. 大地測量與地球動力學，2010，30(5):125-128.

[7] 霍玉華. 隧道圍巖變形量預測的灰色模型應用比較研究[J]. 北京交通大學學報，2006，30(4):42-45.

[8] 肖智旺，鐘登華. 基于RBF神經網絡算法的連拱隧道圍巖變形預測方法研究[J]. 中國工程科學，2008，10(7):77-81.

[9] 熊志化，張繼承，邵惠鶴. 基于高斯過程的軟測量建模[J].系統(tǒng)仿真學報，2005，17(4):793-794，800.

[10] WILLIAMS C K,RASMUSSEN C E.Gaussian Processes for Regression[J]. Advances in Neural Information Processing Systems,1996,8(6)：514-520.

[11] 蘇國韶，燕柳斌，張小飛，等. 基坑位移時間序列預測的高斯過程方法[J]. 廣西大學學報(自然科學版)，2007，32(2):223-226.

[12] 羅亦泳，姚宜斌，張立亭，等. 基于高斯過程的GPS高程轉換模型[J].測繪通報，2015(11)：11-14.

[13] 劉開云，方昱，劉保國，等. 隧道圍巖變形預測的進化高斯過程回歸模型[J]. 鐵道學報，2011，33(12):101-106.

[14] 徐沖，劉保國，劉開云，等. 基于粒子群-高斯過程回歸耦合算法的滑坡位移時序分析預測智能模型[J]. 巖土力學，2011，32(6):1669-1675.

[15] 何志昆，劉光斌，趙曦晶，等. 高斯過程回歸方法綜述[J]. 控制與決策，2013，28(8):1121-1129，1137.

[16] 李曉磊. 一種新型的智能優(yōu)化方法——人工魚群算法[D].杭州：浙江大學，2003.

[17] 劉開云，劉保國，徐沖. 基于遺傳-組合核函數(shù)高斯過程回歸算法的邊坡非線性變形時序分析智能模型[J]. 巖石力學與工程學報，2009，28(10):2128-2134.

[18] 雷鳴. 基于高斯過程的變形預測算法研究[D].南昌：東華理工大學，2013.

[19] 尹暉，周曉慶，張曉鳴. 非等間距多點變形預測模型及其應用[J]. 測繪學報，2016，45(10):1140-1147.