基于啟發(fā)式動(dòng)態(tài)規(guī)劃的盾構(gòu)土壓平衡優(yōu)化控制

劉 宣 宇， 許 勝， 張 凱 舉， 曹 雨 濛

（1.遼寧石油化工大學(xué) 信息與控制工程學(xué)院，遼寧 撫順 113001；2.吉林大學(xué) 數(shù)學(xué)學(xué)院，吉林 長春 130012）

0 引 言

隨著城市化進(jìn)程不斷加快，土壓平衡盾構(gòu)已被廣泛應(yīng)用于軟土地層的地下工程建設(shè).各地地質(zhì)條件不同，對盾構(gòu)施工過程中盾構(gòu)密封艙土壓控制要求也就不同.施工過程中，盾構(gòu)密封艙土壓無法得到有效控制，易導(dǎo)致地表變形和嚴(yán)重的安全事故.因此，實(shí)現(xiàn)土壓平衡盾構(gòu)的密封艙土壓平衡控制，是避免地表變形和保障施工安全的關(guān)鍵所在.

土壓平衡盾構(gòu)主要通過調(diào)整螺旋輸送機(jī)轉(zhuǎn)速，改變密封艙渣土體積，維持密封艙土壓與開挖面壓力平衡，有效控制地表變形［1］.王林濤等［2］提出基于前饋-密封艙壓力反饋的土壓控制方法，通過調(diào)節(jié)推進(jìn)速度實(shí)現(xiàn)土壓平衡.張曉峰［3］以螺旋輸送機(jī)轉(zhuǎn)速為控制量，利用神經(jīng)網(wǎng)絡(luò)算法優(yōu)化控制量，實(shí)現(xiàn)土壓平衡控制.曹麗娟等［4］提出基于PID神經(jīng)元的密封艙土壓控制方法.Yang等［5］利用傳統(tǒng)PID控制器控制密封艙土壓，取得了較好控制效果.但以上控制方法均是以單變量優(yōu)化控制密封艙土壓，沒有考慮其他控制參數(shù)的影響作用，密封艙土壓控制精度有待進(jìn)一步提高.

啟發(fā)式動(dòng)態(tài)規(guī)劃 （heuristic dynamic programming，HDP）是自適應(yīng)動(dòng)態(tài)規(guī)劃的一種，是解決傳統(tǒng)動(dòng)態(tài)規(guī)劃“維數(shù)災(zāi)”問題的一種近似最優(yōu)控制方法［6］.其利用函數(shù)近似結(jié)構(gòu)逼近代價(jià)函數(shù)，通過離線迭代或在線更新方式獲得系統(tǒng)的最優(yōu)代價(jià)函數(shù)及最優(yōu)控制律，能有效解決非線性系統(tǒng)的多變量優(yōu)化控制問題.其已被應(yīng)用于倒立擺平衡控制［7］、水泥立磨生料細(xì)度控制［8］、儲(chǔ)能系統(tǒng)優(yōu)化控制［9］等實(shí)際系統(tǒng)中，成為現(xiàn)代科學(xué)理論與工程領(lǐng)域中對復(fù)雜系統(tǒng)研究的一種重要方法.

因此，本文提出基于HDP的密封艙土壓優(yōu)化控制方法.通過對盾構(gòu)掘進(jìn)經(jīng)驗(yàn)數(shù)據(jù)分析，發(fā)現(xiàn)刀盤扭矩是影響密封艙土壓平衡的重要因素，兩者之間存在非線性依賴關(guān)系［10－11］.為提高密封艙土壓預(yù)測精度，本文將刀盤扭矩作為模型輸入之一，建立密封艙土壓預(yù)測模型，進(jìn)而構(gòu)建密封艙土壓優(yōu)化控制代價(jià)函數(shù)和HDP控制器.最后，通過實(shí)驗(yàn)仿真驗(yàn)證所提出方法的有效性.

1 HDP基本結(jié)構(gòu)與原理

密封艙土壓HDP控制器結(jié)構(gòu)如圖1所示.

圖1 密封艙土壓HDP控制器結(jié)構(gòu)Fig.1 Structure of HDP controller for soil pressure in sealed cabin

圖1 中，p（k）為k時(shí)刻密封艙土壓；p（k＋1）為k＋1時(shí)刻密封艙土壓；γ∈（0，1］，為折扣因子；u（k）＝（n（k） v（k） F（k） T（k））T，為k時(shí)刻控制向量，其中F（k）、n（k）、v（k）、T（k）分別為總推力、螺旋輸送機(jī)轉(zhuǎn)速、推進(jìn)速度、刀盤扭矩；U（k）＝f（p（k），u（k），k），為密封艙效用函數(shù)，對密封艙土壓和控制向量做出評價(jià)；J（·）為密封艙土壓優(yōu)化控制代價(jià)函數(shù).

各信號(hào)流向如實(shí)線所示，評價(jià)網(wǎng)絡(luò)與執(zhí)行網(wǎng)絡(luò)的誤差反饋路徑如虛線所示.密封艙土壓作為執(zhí)行網(wǎng)絡(luò)的輸入，輸出為控制向量；模型網(wǎng)絡(luò)的輸入為密封艙土壓和控制向量，輸出為下一時(shí)刻密封艙土壓，其作為評價(jià)網(wǎng)絡(luò)的輸入，輸出密封艙土壓優(yōu)化控制代價(jià)函數(shù)近似值.評價(jià)網(wǎng)絡(luò)實(shí)現(xiàn)密封艙土壓優(yōu)化控制代價(jià)函數(shù)的近似，執(zhí)行網(wǎng)絡(luò)以最小化密封艙土壓優(yōu)化控制代價(jià)函數(shù)為目標(biāo)，優(yōu)化控制向量.各網(wǎng)絡(luò)詳細(xì)訓(xùn)練流程和參數(shù)優(yōu)化過程，見下文HDP控制器設(shè)計(jì)部分.

HDP的基本原理是采用迭代形式訓(xùn)練評價(jià)網(wǎng)絡(luò)以近似Bellman動(dòng)態(tài)規(guī)劃方程中的代價(jià)函數(shù)：

其中J（k）表示效用函數(shù)從k時(shí)刻開始的迭代值.通過折扣因子進(jìn)行折算，顯示效用函數(shù)迭代的時(shí)間效應(yīng).HDP的目標(biāo)是選擇最優(yōu)控制向量，使得式（1）取極小值.

盾構(gòu)機(jī)為高度復(fù)雜的非線性系統(tǒng)，本文假設(shè)盾構(gòu)系統(tǒng)為下式所示的離散系統(tǒng)：

對于盾構(gòu)系統(tǒng)式（2），式（1）可表示為

式（3）經(jīng)過推導(dǎo)可表示為

根據(jù)Bellman優(yōu)化原理，若以式（4）作為網(wǎng)絡(luò)權(quán)值調(diào)整的目標(biāo)，則可以通過網(wǎng)絡(luò)訓(xùn)練使得代價(jià)函數(shù)逐步趨向當(dāng)前控制策略下的最優(yōu)值.本文以式（4）作為密封艙土壓優(yōu)化控制的代價(jià)函數(shù)，設(shè)計(jì)基于HDP的土壓平衡控制器.為了使評價(jià)網(wǎng)絡(luò)近似J（k），定義如下評價(jià)網(wǎng)絡(luò)誤差：

其中J＊（k）為k時(shí)刻代價(jià)函數(shù)估計(jì)值，J＊（k＋1）為k＋1時(shí)刻代價(jià)函數(shù)估計(jì)值.

執(zhí)行網(wǎng)絡(luò)的訓(xùn)練以最小化式（4）為目標(biāo)，獲得最優(yōu)控制向量.因此，定義如下執(zhí)行網(wǎng)絡(luò)誤差：

2 HDP控制器設(shè)計(jì)

2.1 密封艙土壓預(yù)測模型建立

王洪新等［12－13］通過對盾構(gòu)掘進(jìn)過程機(jī)理分析，推導(dǎo)出盾構(gòu)總推力、密封艙土壓、螺旋輸送機(jī)轉(zhuǎn)速、推進(jìn)速度等掘進(jìn)參數(shù)間的關(guān)系表達(dá)式.根據(jù)該研究結(jié)果，設(shè)定本文的密封艙土壓預(yù)測模型的輸入變量為當(dāng)前密封艙土壓p（k）、當(dāng)前螺旋輸送機(jī)轉(zhuǎn)速n（k）、當(dāng)前推進(jìn)速度v（k）、當(dāng)前總推力F（k）、當(dāng)前刀盤扭矩T（k）；輸出為下一時(shí)刻密封艙土壓p（k＋1）.即有

BP神經(jīng)網(wǎng)絡(luò)因其強(qiáng)大的非線性映射能力，被廣泛用于復(fù)雜工業(yè)控制系統(tǒng)的建模.本文將雙極性函數(shù)和線性函數(shù)作為隱藏層和輸出層的傳遞函數(shù)；隱藏層節(jié)點(diǎn)個(gè)數(shù)選擇對模型的訓(xùn)練效果至關(guān)重要，因此本文首先統(tǒng)計(jì)了隱藏層節(jié)點(diǎn)個(gè)數(shù)為5～16的土壓預(yù)測模型的土壓預(yù)測誤差；通過Matlab仿真驗(yàn)證，當(dāng)網(wǎng)絡(luò)隱藏層節(jié)點(diǎn)個(gè)數(shù)為9時(shí)，密封艙土壓預(yù)測誤差為10.5%，而其他的均超過12.2%.因而，構(gòu)建基于3層BP神經(jīng)網(wǎng)絡(luò)的密封艙土壓預(yù)測模型，結(jié)構(gòu)如圖2所示.

圖2 密封艙土壓預(yù)測模型Fig.2 Forecasting model of soil pressure in sealed cabin

2.2 密封艙土壓效用函數(shù)

密封艙土壓效用函數(shù)是整個(gè)HDP控制器設(shè)計(jì)過程中與密封艙土壓直接相關(guān)的重要指標(biāo).實(shí)際上，在自適應(yīng)動(dòng)態(tài)規(guī)劃中，設(shè)計(jì)效用函數(shù)的過程本質(zhì)上就是優(yōu)化設(shè)計(jì)HDP控制器的過程.在某種程度上，效用函數(shù)的選擇決定了控制器動(dòng)態(tài)控制的優(yōu)劣.在對工業(yè)系統(tǒng)的控制過程中，效用函數(shù)必須能夠反映實(shí)際系統(tǒng)的控制特效和系統(tǒng)自身屬性，所設(shè)計(jì)的控制器才可滿足控制要求.本文控制對象是密封艙土壓，目的是使其穩(wěn)定于0.18～0.22MPa，因此選擇的效用函數(shù)為

2.3 評價(jià)網(wǎng)絡(luò)的訓(xùn)練

隱藏層節(jié)點(diǎn)個(gè)數(shù)的選擇方法同2.1節(jié)，通過仿真驗(yàn)證，當(dāng)隱藏層節(jié)點(diǎn)個(gè)數(shù)為8時(shí)，代價(jià)函數(shù)收斂值為0.068，其他節(jié)點(diǎn)個(gè)數(shù)的代價(jià)函數(shù)收斂值大于0.1.因此，本文評價(jià)網(wǎng)絡(luò)采用1-8-1結(jié)構(gòu)的3層BP神經(jīng)網(wǎng)絡(luò).評價(jià)網(wǎng)絡(luò)的訓(xùn)練流程如圖3所示，各信號(hào)流向如實(shí)線所示，反向傳播路徑如虛線所示.

根據(jù)Bellman優(yōu)化原理，k時(shí)刻密封艙土壓控制器的最優(yōu)代價(jià)函數(shù)可表示為

由式（5）、（6）定義的誤差，根據(jù)梯度下降算法和鏈?zhǔn)椒▌t，評價(jià)網(wǎng)絡(luò)隱藏層到輸出層的權(quán)值更新規(guī)則如下：

輸入層到隱藏層的權(quán)值更新規(guī)則如下：

式中：lc∈（0，1］，為評價(jià)網(wǎng)絡(luò)學(xué)習(xí)率；ΔWc（k）為k時(shí)刻評價(jià)網(wǎng)絡(luò)權(quán)值增量；Wc1（k）為k時(shí)刻評價(jià)網(wǎng)絡(luò)輸入層到隱藏層的權(quán)值；Wc2（k）為k時(shí)刻評價(jià)網(wǎng)絡(luò)隱藏層到輸出層的權(quán)值；Wc（k＋1）為k＋1時(shí)刻評價(jià)網(wǎng)絡(luò)權(quán)值.

2.4 模型網(wǎng)絡(luò)的訓(xùn)練

本文模型網(wǎng)絡(luò)采用如圖2所示的3層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).將該模型網(wǎng)絡(luò)輸出與上文基于BP神經(jīng)網(wǎng)絡(luò)的密封艙土壓預(yù)測模型式（9）輸出之間產(chǎn)生的誤差em（k＋1），用于模型網(wǎng)絡(luò)權(quán)值更新.

根據(jù)梯度下降算法和鏈?zhǔn)椒▌t，通過最小化下式定義的模型網(wǎng)絡(luò)誤差實(shí)現(xiàn)權(quán)值更新：

其中p（k＋1）為密封艙土壓預(yù)測模型輸出，p＊（k＋1）為模型網(wǎng)絡(luò)輸出.

同理，模型網(wǎng)絡(luò)隱藏層到輸出層的權(quán)值更新規(guī)則如下：

輸入層到隱藏層的權(quán)值更新規(guī)則如下：

式中：lm∈（0，1］，為模型網(wǎng)絡(luò)學(xué)習(xí)率；ΔWm（k）為k時(shí)刻模型網(wǎng)絡(luò)權(quán)值增量；Wm1（k）為k時(shí)刻模型網(wǎng)絡(luò)輸入層到隱藏層的權(quán)值；Wm2（k）為k時(shí)刻模型網(wǎng)絡(luò)隱藏層到輸出層的權(quán)值；Wm（k＋1）為k＋1時(shí)刻模型網(wǎng)絡(luò)權(quán)值.

2.5 執(zhí)行網(wǎng)絡(luò)的訓(xùn)練

隱藏層節(jié)點(diǎn)個(gè)數(shù)的選擇方法同2.1節(jié)，通過仿真驗(yàn)證，相較于其他節(jié)點(diǎn)個(gè)數(shù)，當(dāng)隱藏層節(jié)點(diǎn)個(gè)數(shù)為8時(shí)，由執(zhí)行網(wǎng)絡(luò)優(yōu)化獲得的控制向量更加近似實(shí)際參數(shù)值.因此，本文執(zhí)行網(wǎng)絡(luò)采用1-8-4結(jié)構(gòu)的3層BP神經(jīng)網(wǎng)絡(luò).執(zhí)行網(wǎng)絡(luò)目標(biāo)是最小化評價(jià)網(wǎng)絡(luò)輸出的密封艙土壓優(yōu)化控制代價(jià)函數(shù)，獲得最優(yōu)控制向量.執(zhí)行網(wǎng)絡(luò)利用反向傳播的評價(jià)網(wǎng)絡(luò)誤差，實(shí)現(xiàn)其權(quán)值更新.執(zhí)行網(wǎng)絡(luò)的訓(xùn)練流程如圖4所示，各信號(hào)流向如實(shí)線所示，反向傳播路徑如虛線所示.

圖4 執(zhí)行網(wǎng)絡(luò)的訓(xùn)練流程Fig.4 Training process of action network

根據(jù)Bellman優(yōu)化原理，k時(shí)刻的最優(yōu)土壓控制向量可表示為

根據(jù)式（7）、（8）定義的誤差，同理，執(zhí)行網(wǎng)絡(luò)隱藏層到輸出層的權(quán)值更新規(guī)則如下：

輸入層到隱藏層的權(quán)值更新規(guī)則如下：

式中：la∈（0，1］，為執(zhí)行網(wǎng)絡(luò)學(xué)習(xí)率；ΔWa（k）為k時(shí)刻執(zhí)行網(wǎng)絡(luò)權(quán)值增量；Wa1（k）為k時(shí)刻執(zhí)行網(wǎng)絡(luò)輸入層到隱藏層的權(quán)值；Wa2（k）為k時(shí)刻執(zhí)行網(wǎng)絡(luò)隱藏層到輸出層的權(quán)值；Wa（k＋1）為k＋1時(shí)刻執(zhí)行網(wǎng)絡(luò)權(quán)值.

2.6 HDP控制器訓(xùn)練策略

（1）初始各網(wǎng)絡(luò)的權(quán)值，賦值各網(wǎng)絡(luò)學(xué)習(xí)率和折扣因子，并設(shè)置最大迭代步數(shù)qmax.

（2）設(shè)定初始密封艙土壓p（k）.將其作為執(zhí)行網(wǎng)絡(luò)輸入，輸出控制向量u（k）＝（n（k） v（k）F（k） T（k））T.

（3）將p（k）輸入評價(jià)網(wǎng)絡(luò)，輸出密封艙土壓優(yōu)化控制代價(jià)函數(shù)J＊（k）；同時(shí)，將當(dāng)前密封艙土壓p（k）與控制向量u（k）輸入模型網(wǎng)絡(luò)，獲得k＋1時(shí)刻密封艙土壓p＊（k＋1）.

（4）求解效用函數(shù)U（k）.

（5）將p＊（k＋1）作為評價(jià)網(wǎng)絡(luò)輸入，輸出下一時(shí)刻密封艙土壓優(yōu)化控制代價(jià)函數(shù)J＊（k＋1）.

（6）依據(jù)評價(jià)網(wǎng)絡(luò)誤差ec（k），更新網(wǎng)絡(luò)權(quán)值，逼近密封艙土壓優(yōu)化控制代價(jià)函數(shù).

（7）執(zhí)行網(wǎng)絡(luò)根據(jù)評價(jià)反饋的誤差ea（k），實(shí)現(xiàn)權(quán)值更新，優(yōu)化控制向量.

（8）判斷迭代誤差.在誤差允許范圍內(nèi)，執(zhí)行下一步；反之，返回（5），循環(huán)更新網(wǎng)絡(luò)權(quán)值.

（9）判斷迭代步數(shù)，若q≤qmax，更新狀態(tài)和控制向量，返回（3）；否則，訓(xùn)練結(jié)束.

3 仿真實(shí)驗(yàn)

3.1 預(yù)測模型訓(xùn)練及仿真

為建立密封艙土壓預(yù)測模型，需要足夠多的樣本數(shù)據(jù)才能反映實(shí)際掘進(jìn)過程.本文實(shí)驗(yàn)所用數(shù)據(jù)來源于北京某地鐵施工現(xiàn)場的實(shí)測數(shù)據(jù).密封艙土壓數(shù)據(jù)通過4個(gè)安置于密封艙隔板的壓力傳感器獲取，傳感器分布如圖5所示.本文以傳感器1的壓力數(shù)據(jù)為例進(jìn)行仿真實(shí)驗(yàn).

圖5 密封艙隔板壓力傳感器分布Fig.5 Pressure sensor distribution of the seal bulkhead

本次實(shí)驗(yàn)仿真采集了800組實(shí)測數(shù)據(jù)，經(jīng)過數(shù)據(jù)處理，剔除一部分異常數(shù)據(jù)后得到650組有效數(shù)據(jù)，用其中的550組作為訓(xùn)練樣本，另外100組作為測試樣本.通過Matlab對密封艙土壓預(yù)測模型進(jìn)行仿真.有無刀盤扭矩的密封艙土壓預(yù)測模型仿真如圖6所示；密封艙土壓預(yù)測誤差如圖7所示；兩種預(yù)測模型均方誤差如表1所示.

圖6 有無刀盤扭矩的密封艙土壓預(yù)測模型仿真Fig.6 Simulation of soil pressure prediction model for sealed cabin with or without cutterhead torque

圖7 密封艙土壓預(yù)測誤差Fig.7 Prediction error of soil pressure in sealed cabin

表1 預(yù)測模型均方誤差Tab.1 Mean square error of prediction models

由表1可知，當(dāng)?shù)侗P扭矩作為模型控制量之一時(shí)，其均方誤差更小，說明考慮刀盤扭矩的土壓預(yù)測模型具有更好的預(yù)測精度.如圖6、7所示，考慮刀盤扭矩的模型，其預(yù)測值與實(shí)測值整體擬合效果較好.由于地質(zhì)條件或工況的不確定性，個(gè)別點(diǎn)擬合效果較差，但誤差基本在±0.02MPa（10%）以內(nèi)，滿足工程要求.

3.2 HDP控制器仿真

根據(jù)本文HDP控制器設(shè)計(jì)部分，通過Matlab對提出的控制方法進(jìn)行實(shí)驗(yàn)仿真.系統(tǒng)初始密封艙土壓p（k）＝0.18MPa；la、lc初始值為0.7；折扣因子γ＝1.

密封艙土壓優(yōu)化控制代價(jià)函數(shù)軌跡如圖8所示；密封艙土壓優(yōu)化軌跡如圖9所示；相應(yīng)的，刀盤扭矩、總推力、推進(jìn)速度、螺旋輸送機(jī)轉(zhuǎn)速的優(yōu)化軌跡如圖10所示.

圖8 密封艙土壓優(yōu)化控制代價(jià)函數(shù)軌跡Fig.8 Cost function trajectory of optimization control of soil pressure in sealed cabin

圖9 密封艙土壓優(yōu)化軌跡Fig.9 Optimization trajectory of soil pressure in sealed cabin

圖10 控制量優(yōu)化軌跡Fig.10 Optimization trajectory of control variables

為了驗(yàn)證HDP控制器對密封艙土壓優(yōu)化效果，本文采用文獻(xiàn)［3］中盾構(gòu)土壓平衡控制器進(jìn)行仿真對比，其密封艙土壓控制軌跡如圖11所示.

圖11 盾構(gòu)土壓平衡控制器土壓控制軌跡Fig.11 Soil pressure control trajectory of controller of soil pressure balance of shield

通過對土壓優(yōu)化和控制軌跡圖9、11對比，可以看出，相較于文獻(xiàn)［3］中設(shè)計(jì)的控制器，HDP控制器對密封艙土壓優(yōu)化調(diào)節(jié)時(shí)間更短，超調(diào)更小，優(yōu)化控制過程更加穩(wěn)定.文獻(xiàn)［3］盾構(gòu)土壓平衡控制器僅可對螺旋輸送機(jī)轉(zhuǎn)速單變量控制，而HDP控制器可實(shí)現(xiàn)對刀盤扭矩、總推力、推進(jìn)速度、螺旋輸送機(jī)轉(zhuǎn)速多變量同步協(xié)調(diào)控制.對4個(gè)控制量的調(diào)整過程及相應(yīng)密封艙土壓變化趨勢，符合實(shí)際盾構(gòu)施工時(shí)控制參數(shù)變化情況.

為了驗(yàn)證HDP控制器抗干擾能力，在迭代70步時(shí)加入干擾.如圖8所示，密封艙土壓優(yōu)化控制代價(jià)函數(shù)仍能快速收斂，說明HDP控制器對密封艙土壓優(yōu)化控制是有效的，具有較好的動(dòng)態(tài)性能.如圖9、10所示，加入干擾后密封艙土壓很快達(dá)到穩(wěn)定狀態(tài)，4個(gè)控制量同樣達(dá)到最優(yōu)，說明HDP控制器具有較強(qiáng)的抗干擾能力.

4 結(jié) 語

本文基于BP神經(jīng)網(wǎng)絡(luò)將刀盤扭矩作為預(yù)測模型控制量之一，建立密封艙土壓預(yù)測模型.與不考慮刀盤扭矩模型相比，考慮刀盤扭矩能夠有效提高預(yù)測模型的預(yù)測精度.針對密封艙土壓難以穩(wěn)定控制的問題，在上述密封艙土壓預(yù)測模型的基礎(chǔ)上，本文提出基于HDP的密封艙土壓優(yōu)化控制方法.相較于單變量控制，該方法可實(shí)現(xiàn)對刀盤扭矩、總推力、推進(jìn)速度、螺旋輸送機(jī)轉(zhuǎn)速的多變量控制；并且該方法收斂速度更快，穩(wěn)定性較好，具有強(qiáng)抗干擾能力.基于HDP的密封艙土壓控制器，能夠滿足密封艙土壓的控制要求，達(dá)到穩(wěn)定土壓目的，為實(shí)現(xiàn)盾構(gòu)掘進(jìn)過程的優(yōu)化控制提供了一種新途徑.如何提高密封艙土壓模型的預(yù)測精度并增強(qiáng)HDP控制器的魯棒性及其跟蹤效果是今后的研究重點(diǎn).