一種基于強(qiáng)化學(xué)習(xí)的絞吸挖泥船施工參數(shù)智能自主尋優(yōu)方法研究

魯嘉俊，楊波，徐婷

（中交疏浚技術(shù)裝備國(guó)家工程研究中心有限公司，上海 201208）

0 引言

絞吸挖泥船是挖泥船中挖掘土質(zhì)最廣泛，排岸距離變化最大的一種吸揚(yáng)式挖泥船[1]。目前，我國(guó)絞吸挖泥船的疏浚作業(yè)基本還停留在手工操作模式，在疏浚作業(yè)過(guò)程中，作業(yè)參數(shù)主要由操作人員根據(jù)自己的經(jīng)驗(yàn)、試挖情況以及挖泥船的實(shí)際作業(yè)效果靈活確定[2]。為了降低人工成本并提升疏浚效率，丁樹(shù)友等[3]開(kāi)發(fā)了絞吸挖泥船智能型無(wú)人操控自動(dòng)挖泥控制系統(tǒng)軟件，軟件功能包含集成監(jiān)控功能與自動(dòng)挖泥功能兩部分，實(shí)現(xiàn)了疏浚作業(yè)過(guò)程的無(wú)人操控，但缺乏疏浚參數(shù)的自主尋優(yōu)功能。Changyun Wei等提出了一種基于強(qiáng)化學(xué)習(xí)的絞吸式挖泥船智能優(yōu)化控制策略，利用神經(jīng)網(wǎng)絡(luò)的泛化能力建立橫移過(guò)程的動(dòng)態(tài)模型，分別采用強(qiáng)化學(xué)習(xí)Sarsa算法[4]和Sarsa-Lambda算法[5]開(kāi)發(fā)絞吸船擺動(dòng)過(guò)程中的智能決策方法，并仿真驗(yàn)證了強(qiáng)化學(xué)習(xí)方法能成功模仿經(jīng)驗(yàn)豐富的人工操作員的疏浚行為。但Sarsa算法和Sarsa-Lambda算法均受限于緩慢的收斂速度，且對(duì)狀態(tài)空間要求必須是離散的且空間較小。相關(guān)的研究還有利用強(qiáng)化學(xué)習(xí)的智能體感知環(huán)境并經(jīng)過(guò)自學(xué)習(xí)選擇絞吸挖泥船橫移過(guò)程的最優(yōu)動(dòng)作[6]，基于深度強(qiáng)化學(xué)習(xí)的絞吸挖泥船橫移過(guò)程控制方法[7]，橫移過(guò)程線(xiàn)性二次型產(chǎn)量最優(yōu)控制方法[8]等，但以上研究均只考慮了疏浚過(guò)程的橫移問(wèn)題。

本文利用強(qiáng)化學(xué)習(xí)policy gradient算法在連續(xù)動(dòng)作空間中更高效、收斂速度快的優(yōu)勢(shì)，提出了一種基于強(qiáng)化學(xué)習(xí)的絞吸式挖泥船施工參數(shù)自主尋優(yōu)方法。利用機(jī)器學(xué)習(xí)的方法尋求疏浚過(guò)程的最佳作業(yè)參數(shù)，實(shí)現(xiàn)疏浚過(guò)程的自主分析與決策，可為疏浚技術(shù)的智能化發(fā)展提供思路參考[9]。

1 絞吸船強(qiáng)化學(xué)習(xí)模型設(shè)計(jì)

1.1 絞吸挖泥船理論模型

絞吸挖泥船是疏浚工程中使用數(shù)量最多的挖泥船，在疏浚施工中，瞬時(shí)產(chǎn)量是評(píng)價(jià)挖泥船性能最重要的指標(biāo)之一，其直接決定了疏浚工程的效益[10]。絞吸挖泥船的瞬時(shí)產(chǎn)量計(jì)算公式為：

式中：W為瞬時(shí)產(chǎn)量；r為排泥管直徑；v為管道流速；Cw為泥漿濃度。其中管道流速在挖泥過(guò)程中變化較小，所以泥漿濃度可直接反映產(chǎn)量情況。在疏浚作業(yè)中，泥漿濃度由絞刀切削泥土的體積量決定。

在挖掘過(guò)程中，實(shí)際切削的體積與縱向切泥厚度（由臺(tái)車(chē)推進(jìn)距離決定）、垂直切泥厚度（由斗橋位置決定）和橫移速度有關(guān)：

式中：Vc為單位時(shí)間泥沙體積量；Bc為切削寬度，又稱(chēng)為縱向切泥厚度；Dc為切削深度，又稱(chēng)為垂直方向切泥厚度；Vs為挖泥船的橫移速度，在傳感器采集數(shù)據(jù)中主要表現(xiàn)為左/右橫移絞車(chē)轉(zhuǎn)速或左/右橫移繩速。

在正常疏浚情況下，單位時(shí)間內(nèi)絞刀切削泥沙體積按式（3）進(jìn)行換算：

式中：K為絞刀挖掘系數(shù)，取0.8～0.9[11]；Vm為單位時(shí)間進(jìn)入管道的泥沙體積。在管道輸送中水下泵轉(zhuǎn)速和甲板泵或艙內(nèi)泵轉(zhuǎn)速也會(huì)對(duì)泥沙輸送流速產(chǎn)生一定的影響。

通過(guò)式（1）～式（3）可知絞刀轉(zhuǎn)速、橫移速度、泥泵轉(zhuǎn)速、步進(jìn)距離、橋架下放深度等均對(duì)瞬時(shí)產(chǎn)量產(chǎn)生影響。但在實(shí)際施工過(guò)程中，現(xiàn)場(chǎng)作業(yè)環(huán)境多變，控制參數(shù)與實(shí)際操作下輸出量的關(guān)系不明確，難以用傳統(tǒng)的理論研究和數(shù)學(xué)物理方法搭建絞吸挖泥船的疏浚作業(yè)過(guò)程模型[12]。而通過(guò)強(qiáng)化學(xué)習(xí)的方法來(lái)開(kāi)展相關(guān)研究并建立其仿真環(huán)境模型，然后利用強(qiáng)化學(xué)習(xí)的自學(xué)習(xí)能力獲取知識(shí)，改進(jìn)行動(dòng)方案并適應(yīng)環(huán)境，具備較強(qiáng)的優(yōu)勢(shì)。

1.2 強(qiáng)化學(xué)習(xí)Policy Gradient算法

Policy Gradient算法是一種基于策略的算法[13]，相對(duì)于基于值函數(shù)的強(qiáng)化學(xué)習(xí)方法通過(guò)引入動(dòng)作價(jià)值函數(shù)Q（s，a），策略梯度（Policy Gradient，PG）采用回合更新的方式，通過(guò)不斷調(diào)整參數(shù)θ實(shí)現(xiàn)策略πθ（s，a）的優(yōu)化更新，收斂速度更快[14]。

為了評(píng)估不同參數(shù)對(duì)策略πθ（s，a）的影響，引入目標(biāo)函數(shù)，目標(biāo)函數(shù)的值越大，模型質(zhì)量越高。目標(biāo)函數(shù)主要有3種形式：使用初始狀態(tài)的期望為優(yōu)化目標(biāo)（式（4））；對(duì)于連續(xù)性任務(wù)，沒(méi)有明確的初始狀態(tài)，優(yōu)化目標(biāo)是平均價(jià)值（式（5））；將每一時(shí)間步的平均獎(jiǎng)勵(lì)作為優(yōu)化目標(biāo)（式（6））。

本次研究采用式（6）作為目標(biāo)函數(shù)。在策略函數(shù)πθ的設(shè)計(jì)上，采用連續(xù)動(dòng)作空間的高斯策略（Gaussian Policy）：

J（θ）考慮單步的馬爾科夫過(guò)程，R（s，a）考慮獎(jiǎng)勵(lì)函數(shù)，對(duì)目標(biāo)函數(shù)求導(dǎo)得到式（8），即對(duì)目標(biāo)函數(shù)J（θ）求導(dǎo)最終轉(zhuǎn)化為對(duì)策略πθ求梯度。在Policy Gradient算法中，策略πθ按式（9）進(jìn)行參數(shù)更新：

2 基于強(qiáng)化學(xué)習(xí)的絞吸挖泥船疏浚參數(shù)自主尋優(yōu)方法

2.1 數(shù)據(jù)預(yù)處理

1）kalman濾波

絞吸挖泥船上的大部分信號(hào)采集裝置在信號(hào)產(chǎn)生、轉(zhuǎn)換、傳輸?shù)母鱾€(gè)環(huán)節(jié)中易受供電電源及現(xiàn)場(chǎng)施工條件干擾，導(dǎo)致這些信號(hào)點(diǎn)存儲(chǔ)的數(shù)據(jù)中包含噪聲和干擾信號(hào)，因此有必要對(duì)采集的實(shí)船數(shù)值進(jìn)行濾波。在濾波方法的選擇上，本次研究嘗試卡爾曼濾波、移動(dòng)平均濾波、中值濾波、維納濾波等多種方法。對(duì)比發(fā)現(xiàn)卡爾曼相比其他濾波方法更為平穩(wěn)，能夠剔除尖刺并反映樣本的整體趨勢(shì)。

2）數(shù)據(jù)切割

絞吸挖泥船在步進(jìn)和換樁過(guò)程中，瞬時(shí)產(chǎn)量是偏低的。為了更精確分析絞吸挖泥船的瞬時(shí)產(chǎn)量，篩選出橫移周期內(nèi)的有效數(shù)據(jù)，本次研究采用自動(dòng)搜索算法尋找絞刀至右邊線(xiàn)距離的所有谷/峰值，在圖1中用圓圈進(jìn)行標(biāo)記。然后用閾值過(guò)濾非正常的點(diǎn)，即絞刀頭到邊線(xiàn)上距離小于5 m，或者大于85 m的時(shí)段，并取相鄰峰谷值之間的時(shí)間作為一個(gè)橫移周期。

圖1 橫移周期選取Fig.1 Selection of traverse period

2.2 瞬時(shí)產(chǎn)量時(shí)滯分析

建立管道內(nèi)的流速分布函數(shù)，根據(jù)管道長(zhǎng)度及流速的動(dòng)態(tài)變化分別計(jì)算出泥水混合物通過(guò)吸入管、連接管、豎直管的時(shí)間，得到瞬時(shí)產(chǎn)量的時(shí)間延遲為31 s。然后隨機(jī)選取500 s連續(xù)數(shù)據(jù)，驗(yàn)證瞬時(shí)產(chǎn)量的延時(shí)時(shí)間，結(jié)果見(jiàn)圖2。其中瞬時(shí)產(chǎn)量值為時(shí)間往前拉31 s的產(chǎn)量值，圖中可見(jiàn)真空度與后31 s的瞬時(shí)產(chǎn)量相關(guān)性較高，且變化趨勢(shì)一致。

圖2 瞬時(shí)產(chǎn)量時(shí)滯分析圖Fig.2 Time-delay analysis of instantaneous production

2.3 強(qiáng)化學(xué)習(xí)環(huán)境模型構(gòu)建

在疏浚施工過(guò)程中，影響絞吸挖泥船瞬時(shí)產(chǎn)量的因素眾多，本次研究將重點(diǎn)放在疏浚員能操縱的控制變量上，在瞬時(shí)產(chǎn)量影響因素的特征篩選中使用信息增益率的方法[15]對(duì)傳感器采集的數(shù)據(jù)樣本進(jìn)行降維。信息增益是指添加了信息之后能增加多少收益，也即增加信息之后能減少多少不確定性。信息增益率在信息增益的基礎(chǔ)上，除以一個(gè)分裂信息量，計(jì)算節(jié)點(diǎn)上樣本總的信息熵。信息增益率方法經(jīng)常被用來(lái)判斷變量的重要性，利用該方法篩選出和瞬時(shí)產(chǎn)量密切相關(guān)并可人工調(diào)控的參數(shù)為水下泵轉(zhuǎn)速、甲板泵或艙內(nèi)泵轉(zhuǎn)速、絞刀轉(zhuǎn)速、左橫移繩速和右橫移繩速。各控制變量的信息增益率見(jiàn)表1。

表1 各控制變量信息增益率Table 1 Information gain rate of control variables

篩選出控制變量后，定義動(dòng)作區(qū)間action=[水下泵轉(zhuǎn)速，甲板泵或艙內(nèi)泵轉(zhuǎn)速，絞刀轉(zhuǎn)速，左橫移繩速，右橫移繩速]，即強(qiáng)化學(xué)習(xí)中智能體可以控制的變量。同時(shí)，設(shè)置各控制參數(shù)的上下限區(qū)間。該動(dòng)作區(qū)間為連續(xù)動(dòng)作空間，可以滿(mǎn)足動(dòng)作區(qū)間完備性、高效性、合法性的要求。

強(qiáng)化學(xué)習(xí)智能體執(zhí)行當(dāng)前動(dòng)作作用到環(huán)境，環(huán)境反饋對(duì)應(yīng)狀態(tài)值，并將其與獎(jiǎng)勵(lì)值反饋智能體，與此同時(shí)環(huán)境轉(zhuǎn)移到下一個(gè)狀態(tài)。由此得到強(qiáng)化學(xué)習(xí)的行動(dòng)狀態(tài)序列：

獎(jiǎng)懲函數(shù)的定義見(jiàn)式（11）：

式中：R表示智能體執(zhí)行動(dòng)作所獲得的獎(jiǎng)勵(lì)值，即對(duì)當(dāng)前動(dòng)作好壞的評(píng)價(jià)；O代表絞吸船瞬時(shí)產(chǎn)量，瞬時(shí)產(chǎn)量越高學(xué)習(xí)系統(tǒng)得到的獎(jiǎng)勵(lì)值相對(duì)也越高；D為該時(shí)刻的控制參數(shù)與上一時(shí)刻控制參數(shù)的歐氏距離偏差，加入此變量是為了限制兩次輸入信號(hào)之間的變化幅度，防止控制參數(shù)劇烈跳變；Dc為D的乘數(shù)項(xiàng)系數(shù)，默認(rèn)值為100；Pf定義為懲罰函數(shù)，若系統(tǒng)控制變量超限，則給予智能體懲罰值。

2.4 強(qiáng)化學(xué)習(xí)仿真結(jié)果與分析

本次學(xué)習(xí)共選取7萬(wàn)個(gè)實(shí)船數(shù)據(jù)點(diǎn)，設(shè)置訓(xùn)練回合數(shù)1000，折扣率γ=0.99。隨著訓(xùn)練進(jìn)行，好的動(dòng)作被選取的概率逐漸增大，不好的動(dòng)作慢慢淘汰，同時(shí)獎(jiǎng)勵(lì)值漸漸上升，代表著智能體在自學(xué)習(xí)過(guò)程中逐步獲得最佳施工參數(shù)。

機(jī)器學(xué)習(xí)中每回合獎(jiǎng)勵(lì)值變化見(jiàn)圖3。

圖3 獎(jiǎng)勵(lì)值變化圖Fig.3 Reward value change chart

訓(xùn)練結(jié)束后，通過(guò)控制仿真試驗(yàn)得到強(qiáng)化學(xué)習(xí)控制結(jié)果，與實(shí)際人工操作進(jìn)行對(duì)比，結(jié)果見(jiàn)圖4。1）瞬時(shí)產(chǎn)量對(duì)比圖4（a）：采用強(qiáng)化學(xué)習(xí)最優(yōu)參數(shù)控制的瞬時(shí)產(chǎn)量比人工操作時(shí)高，且可將瞬時(shí)產(chǎn)量值維持在高點(diǎn)，可以穩(wěn)定有效提高挖泥船的疏浚產(chǎn)量；2）水下泵轉(zhuǎn)速對(duì)比圖4（b）：與人工操作相比，強(qiáng)化學(xué)習(xí)推薦的水下泵轉(zhuǎn)速波動(dòng)更小，基本穩(wěn)定保持在228和232之間；3）甲板泵或艙內(nèi)泵轉(zhuǎn)速對(duì)比圖4（c）：強(qiáng)化學(xué)習(xí)推薦的甲板泵或艙內(nèi)泵轉(zhuǎn)速普遍低于人工操作水平，能耗較小；4）絞刀轉(zhuǎn)速對(duì)比圖4（d）：相比人工操作，強(qiáng)化學(xué)習(xí)推薦的絞刀轉(zhuǎn)速更加穩(wěn)定高效；5）左橫移繩速對(duì)比圖4（e）：強(qiáng)化學(xué)習(xí)推薦的左橫移繩速無(wú)劇烈波動(dòng)，從長(zhǎng)期時(shí)間來(lái)看，左橫移繩速基本在[2，18]之間，而人工控制的左橫移繩速區(qū)間在[0，25]，且時(shí)常出現(xiàn)跳變的情形；6）右橫移繩速對(duì)比圖4（f）：同左橫移繩速。

圖4 模型控制與人工操作結(jié)果對(duì)比圖Fig.4 Results comparison of model control and manual operation

3 結(jié)語(yǔ)

1）同種工況下，采用智能自主尋優(yōu)的疏浚參數(shù)可以使瞬時(shí)產(chǎn)量高于人工操作的平均水平，且泥泵、絞刀和橫移絞車(chē)的參數(shù)變化更加平緩，效率更優(yōu)。該智能自主尋優(yōu)方法可為絞吸挖泥船實(shí)現(xiàn)智能疏浚提供理論依據(jù)和技術(shù)參考。

2）為了保障施工安全，設(shè)置強(qiáng)化學(xué)習(xí)環(huán)境模型中控制參數(shù)的上下限區(qū)間，添加控制變量超限的懲罰函數(shù)，由此使得強(qiáng)化學(xué)習(xí)推薦的最佳施工參數(shù)均位于安全區(qū)間。

3）尋優(yōu)后的參數(shù)能快速響應(yīng)動(dòng)態(tài)的環(huán)境變化，深層次原因是智能體能夠評(píng)估當(dāng)前狀態(tài)，并尋找使得未來(lái)回報(bào)最大化的策略，從而靈活調(diào)整控制參數(shù)，使得預(yù)期收益最大化。相比而言，操作員決策依賴(lài)于操作面板的數(shù)據(jù)，缺少對(duì)未來(lái)的預(yù)測(cè)判斷。

4）下一步計(jì)劃研究多船多工況下絞吸挖泥船的智能優(yōu)化控制方法，并在實(shí)船中應(yīng)用。