欠驅動船舶路徑跟蹤的強化學習迭代滑模控制

沈智鵬， 代昌盛

(大連海事大學 信息科學技術學院，遼寧 大連 116026)

?

欠驅動船舶路徑跟蹤的強化學習迭代滑?？刂?/p>

沈智鵬， 代昌盛

(大連海事大學 信息科學技術學院，遼寧 大連 116026)

針對三自由度欠驅動船舶的路徑跟蹤問題，本文提出一種基于強化學習的自適應迭代滑?？刂品椒?。該方法引入雙曲正切函數(shù)對系統(tǒng)狀態(tài)進行迭代滑模設計，并采用神經(jīng)網(wǎng)絡對控制參數(shù)進行優(yōu)化，增強控制器的自適應性。通過定義一種控制量抖振測量變量和強化學習信號，實現(xiàn)對神經(jīng)網(wǎng)絡的結構和參數(shù)進行在線調整，能進一步抑制控制量的抖振作用。應用5446TEU集裝箱船的數(shù)學模型進行控制仿真，結果表明所設計控制器能有效地處理風和流等外界擾動，具有較強的魯棒性，與迭代滑?？刂破飨啾榷娼堑亩墩駵p小明顯，控制舵角信號符合船舶的實際操作要求，更符合工程實際要求。

欠驅動船舶；路徑跟蹤；控制器設計；自適應；迭代滑?？刂?；滑模面反饋；神經(jīng)網(wǎng)絡；強化學習

目前，海上航行的大多數(shù)船舶僅裝備螺旋槳主推進器和舵裝置，用以推進和操縱船舶。當需要依靠舵裝置產(chǎn)生的轉船力矩和螺旋槳的縱向推力，同時控制船舶水平面和航向角3個自由度的運動時，船舶控制系統(tǒng)便屬于欠驅動系統(tǒng)。由于欠驅動船舶的非線性和非完整特性，要實現(xiàn)欠驅動船舶的精確路徑跟蹤控制，對傳統(tǒng)的控制策略帶來了挑戰(zhàn)。

近年來，對船舶航跡跟蹤控制問題的研究，已有很多的研究成果。Michiel使用了輸出反饋的方法跟蹤航跡，最后仿真在一個1∶70的實際模型上實現(xiàn)[1]。Ghommam利用backstepping的方法，達到全局漸進穩(wěn)定，實現(xiàn)欠驅動船舶的軌跡跟蹤[2]。付明玉設計的是半全局一致指數(shù)穩(wěn)定控制器[3]。文獻[1-3]的不足在于都是在理想條件下，即沒有干擾或者只是恒定干擾。Yang也是使用了backstepping的方法，在有時變干擾的情況下實現(xiàn)軌跡跟蹤[4]。王昊提出了一種基于神經(jīng)網(wǎng)絡自適應動態(tài)面控制的協(xié)同路徑跟蹤算法，在存在未知干擾的條件下實現(xiàn)路徑跟蹤[5]。Annamalai則利用模型預測控制，在線適應環(huán)境，針對船舶受到突然的干擾進行控制，效果良好[6]。將滑?？刂茟糜诖昂桔E跟蹤的研究也有相當?shù)难芯砍晒行W者用滑模方法和迭代滑模解決參數(shù)不確定和干擾不確定的問題[7-9]。為得到更好的控制效果，邢道奇利用坐標變化，將系統(tǒng)轉化為鏈式系統(tǒng)，設計指數(shù)控制律，在非線性模型基礎上設計了滑?？刂破?，并在仿真過程中取得了良好的控制效果[10]。Hebertt針對氣墊船設計了一種結合微分單調性與高階滑模控制的二階航跡控制器，在獲得平滑控制效果的同時具有更強的魯棒性[11]。隨著滑?？刂评碚摰陌l(fā)展，單純的使用滑模已經(jīng)不能滿足人們對控制性能的要求。廖煜雷采用反演自適應和滑模相結合的方法，使船舶航跡跟蹤系統(tǒng)指數(shù)漸近穩(wěn)定[12]。朱齊丹把滑模控制和自適應魯棒控制相結合來解決干擾不確定和參數(shù)不確定的船舶航跡跟蹤問題[13]。

在上述研究中，船舶航跡跟蹤控制方法的處理過程通常較為復雜，工程實現(xiàn)困難。為了簡化計算的復雜程度， Hang采用計算復雜度較低的線性遞歸滑模方法獲取控制量的遞推算法[14]。一些學者采用非線性迭代滑模法分別對水面船舶、UUV、AUV進行了航向、航跡跟蹤控制，取得了良好的控制效果，該方法一方面避免對模型線性化處理，同時也避免了估計模型中不確定量及外界的不確定干擾[15-17]，然而該控制方法中參數(shù)是固定不變的，無法確?？刂破鲄?shù)在不同環(huán)境下取得最優(yōu)值。Liu使用了自適應分層滑?？刂茖壽E進行跟蹤，但是魯棒性不強[18]。

本文在文獻[15-17]基礎上，引入神經(jīng)網(wǎng)絡對控制參數(shù)進行自適應調節(jié)，并借鑒文獻[19]的強化學習思想，提出一種基于強化學習的自適應迭代滑模控制器，應用于欠驅動船舶路徑跟蹤控制中?？紤]抖振對實際工程的影響，在控制器設計中定義了一種抖振測量函數(shù)，用該函數(shù)輸出的強化信號可評價控制參數(shù)優(yōu)化效果，并對神經(jīng)網(wǎng)絡結構參數(shù)進行在線調整。最后，以5446TEU集裝箱船為目標，設計基于強化學習的自適應迭代滑?？刂破?，在風浪等干擾環(huán)境下進行船舶路徑跟蹤控制仿真，并將仿真結果與迭代滑?？刂破鞯姆抡娼Y果進行對比分析。

1 船舶路徑跟蹤控制問題描述

目前關于船舶路徑跟蹤控制的研究，大都采用的是fossen模型，例如文獻[1-4]、[8-11]和[13-14]。采用fossen模型所得到的控制量是船舶的橫向推力、縱向推力和轉船力矩，對于全驅動船舶，需要把這些控制力和力矩進行優(yōu)化計算后分配到各個推進器去實現(xiàn)控制；而對于常規(guī)的單槳單舵欠驅動船舶，則需要將這些控制力和力矩經(jīng)過進一步轉換，映射為舵角和柴油機油門量，所以采用fossen模型得到的控制量與船舶控制系統(tǒng)的實際工程應用存在一定差距。本文采用分離型模型(mathematical model group，MMG)，可直接表示出舵角和柴油機油門等控制量，與實際工程應用一致。根據(jù)文獻[20]，三自由度船舶運動MMG模型可表示為

(1)

式中：X和Y表示坐標軸方向受力，N表示力矩，H表示裸船體，P表示螺旋槳，R表示舵機，u縱向速度，v是橫向速度，r是艏揺角速度，m是船舶質量，mx是在附體坐標系下水的附加質量在X方向上的分量，my是Y方向上的分量，Jxx是附體坐標系下x軸的附加轉動慣量，Jzz是附體坐標系下z軸的附加轉動慣量，x、y是船舶重心在固定坐標系的位置，uc是水流的流速，ψc是水流的方向，ψ是航向角。在式(1)中，Xwind、Ywind、Nwind表示風產(chǎn)生的力和力矩，由平均風和擾動風疊加而成；而Xwave、Ywave、Nwave表示浪產(chǎn)生的力和力矩，這里只考慮規(guī)則波浪對船舶運動的影響[20]，具體如下

(2)

式中：L為船長，k為波數(shù)，h為波高，χ為波向角，ωe為遭遇頻率，ρ為海水密度，g重力加速度，d為吃水，b為船寬。其中a=ρg(1-e-kd)/k2，b=(kL/2)·cosχ，s(t)=(kh/2)sin(ωet)，c=(kB/2)·sinχ，ζ(t)=(h/2)cos(ωet)。

需要注意的是，在實際的船舶操作過程中，由于受到船舶自身特性限制，常規(guī)船舶的舵角通常小于35°，最大轉艏角速度通常為0.01～0.02rad/s，滿舵旋回需要5～10min。

當船舶要跟蹤某個光滑曲線路徑時，跟蹤的航跡偏差可由圖1表示。假設曲線上的任意一點都可以表示成某半徑為R的圓上一點。ψ是船舶的實際航向，ψr表示期望的航向，ye表示位置偏差，帶撇的量與不帶撇的量分別表示兩個不同時刻的值。理論上可以近似認為，只要船舶能跟蹤圓路徑，就可以跟蹤任何光滑曲線路徑。

圖1 船舶路徑跟蹤航跡偏差示意圖Fig.1 Track error schematic on tracking ship path

根據(jù)幾何學知識可知，船舶跟蹤圓弧路徑的航跡偏差和航跡上的切線方向都可以用解析方程表示。圓在二維坐標系中用二元二次方程表示為(x-x0)2+(y-y0)2=R2，其中(x0，y0)是圓心坐標，R是半徑。船舶航跡偏差可定義為實際位置到圓心的距離減去半徑，圓周上的切線方向可以用以圓心為原點的極坐標表示：

(3)

式中：ye表示航跡偏差，ψr表示切線方向，也就是期望的航向，另外因為航跡跟蹤需要確定正方向，順時針時ψr取“+”，逆時針時取“-”。定義航向偏差為ψe=ψ-ψr。

在船舶路徑跟蹤控制的實際操縱中，當外界干擾有界時系統(tǒng)是可控的，根據(jù)船舶常速航行時的特性做出如下假設：

假設2 系統(tǒng)速度、加速度以及外界干擾有界，且在t∈R+是光滑的。

系統(tǒng)控制目標：針對船舶運動數(shù)學模型式(1)，在假設1和假設2的情況下，設計船舶路徑跟蹤自適應控制器，使得船舶在有限時間內，跟蹤上設定的曲線路徑，并且保證系統(tǒng)內所有信號一致最終有界。

2 船舶路徑跟蹤控制器設計

為便于控制器設計，先給出以下定理。

定理1 考慮一零階非線性標量系統(tǒng)

y=f(x，us，t)

(4)

式中：y∈R為系統(tǒng)輸出，x∈R為系統(tǒng)狀態(tài)，us∈R為控制輸入。如果

2)f(x，us，t)是連續(xù)有界非線性函數(shù)；

若采用如下的增量反饋控制律

(5)

式中：kp、ε∈R+，那么系統(tǒng)(3)在控制律(4)作用下能夠實現(xiàn)一致漸近穩(wěn)定。

證明：對式(4)求導，可得

(6)

取李亞普諾夫函數(shù)為

(7)

對式(7)求導，并將式(5)和式(6)代入，可得

(8)

(9)

因此有

(10)

根據(jù)李亞普諾夫穩(wěn)定性判據(jù)可知，系統(tǒng)(4)一致漸近穩(wěn)定，定理1成立。

2.1 非線性迭代滑模控制器的設計

為實現(xiàn)式(1)中船舶路徑跟蹤目標，利用非線性雙曲正切函數(shù)設計迭代滑模函數(shù)，構造出包含航跡偏差ye和航向偏差ψe的多階迭代滑模函數(shù)如下

(11)

式中：k0、k1、k2、k3、k4∈R+，并且有k3≤k4。式(11)中一階滑模面σ1是關于航跡偏差ye的函數(shù)，最高階滑模面σ4包含航向偏差ψe的二階導數(shù)項，即蘊含了滑模面σ4與控制舵角δ的關系。在滑模面σ2中加入積分項，是為了利用雙曲正切函數(shù)的嚴格有界性限制驅動船舶轉首的最大速率，以適應船舶旋回角速度和控制輸入的約束條件。

以下非線性迭代滑?？刂破髟O計的基本思想是考慮到船舶縱向速度遠大于橫向速度(假設1)，且舵力在縱、橫向的分力相對于轉矩小的多，同時假設初始航向偏差角小于直角，根據(jù)雙曲正切函數(shù)的嚴格有界，設法推導出所構造最高階滑模面σ4與舵角δ之間的單調函數(shù)關系，再利用定理1，設計滑模面反饋控制律，并證明航跡偏差ye漸近收斂。

根據(jù)式(11)的數(shù)學關系可以知道當σ4→0時，有σ3→0，σ2→0。而當σ2→0時，存在

(12)

以及

(13)

根據(jù)船舶運動MMG式(1)，可把σ1展開：

σ1=k1tanh(k0ye)+vcosψe+

usinψe+ucsinψc

(14)

把σ1看成形如式(4)所述的系統(tǒng)輸出y，由于σ1受ψe控制，可將ψe作為控制量us，明顯σ1是連續(xù)有界非線性函數(shù)，且可得

(15)

(16)

根據(jù)定理1，那么在控制律式(16)作用下，式(14)可以達到漸進穩(wěn)定，即σ1→0，由式(11)第一個式子可得

(17)

因此航跡偏差ye也是漸近穩(wěn)定的。所以只要實現(xiàn)σ4→0，就能確保航跡偏差ye穩(wěn)定收斂。

為實現(xiàn)σ4→0，采用如下的滑模面反饋控制律

圖4為在純水飽和狀態(tài)下不同摻砂率混合物的剪應力與位移關系.由圖可知,純膨潤土出現(xiàn)了應變軟化現(xiàn)象,而摻砂混合物只有應變硬化現(xiàn)象;純膨潤土的抗剪應力大于摻砂混合物的抗剪應力,并且摻砂率越高,抗剪應力越小.當剪切位移達到5 mm時,純膨潤土強度與摻砂混合物強度幾乎相等.

(18)

式中：k5、ε∈R+。

根據(jù)式(11)把σ4全部展開可得

(19)

將式(19)對δ求偏導，考慮到只有舵轉矩NR、舵橫向分力XR、舵縱向分力YR三項表達式與輸入舵角δ有關，可得：

(20)

式中：NR=h(x)cos(δ)sin(αR)，αR為有效沖角，αR大小與舵角輸入δ有關且符號相同，h(x)為一個恒正的函數(shù)，因此可知NR對δ求導在δ∈(-35°，35°)是恒正的?？紤]實際操舵時，舵力在縱、橫向的分力XR和YR及其增益相對于轉矩NR小的多。根據(jù)三角函數(shù)和雙曲三角函數(shù)的有界性可知，存在k2使

(21)

因此，由式(18)、(21)及定理1，可得σ4漸近收斂至0，從而確保航跡偏差ye漸近收斂，實現(xiàn)路徑跟蹤目標。

2.2 基于強化學習的控制參數(shù)優(yōu)化

由船舶操縱特性可知，船舶的橫搖和干擾，都會使控制舵角來回波動，如果控制器設計不合理或者參數(shù)不合適，則會加大這種波動的頻率和幅值。為延長設備壽命，并使控制效果接近實際操舵要求，應盡可能減少舵的抖振輸出。因此所設計的非線性迭代滑?？刂破髌魅绻凶赃m應性，那么系統(tǒng)控制性能將得到提升。

由式(18)可看出滑模面反饋參數(shù)k5對系統(tǒng)的控制品質和魯棒性有很大影響。為此，設計控制參數(shù)神經(jīng)網(wǎng)絡系統(tǒng)以航跡偏差為輸入，根據(jù)航跡偏差變化調節(jié)控制器參數(shù)k5，同時，為了減小控制舵角的輸出抖振量，定義一種抖振測量變量，并基于強化學習方法實現(xiàn)神經(jīng)網(wǎng)絡參數(shù)的在線學習?；谏鲜鰠?shù)優(yōu)化思想，設計出一種基于強化學習的自適應迭代滑模船舶路徑跟蹤控制結構，如圖2所示。

圖2 基于強化學習的自適應迭代滑模船舶路徑跟蹤控制結構圖Fig.2 Adaptive iterative sliding mode ship path track control based on reinforcement learning

參數(shù)優(yōu)化器中的神經(jīng)網(wǎng)絡采用RBF神經(jīng)網(wǎng)絡結構，其為輸入層神經(jīng)元數(shù)量1個，表示位置誤差ye；隱含層神經(jīng)元10個；輸出層神經(jīng)元也是1個，表示參數(shù)k5。RBF神經(jīng)網(wǎng)絡隱含層的激活函數(shù)采用高斯函數(shù)：

(22)

式中：hj是第j個高斯基函數(shù)的輸出值，x表示網(wǎng)絡的輸入，cj是第j個高斯基函數(shù)的中心，σj是第j個高斯基函數(shù)的寬度。

最終RBF神經(jīng)網(wǎng)絡的輸出可表示為

k5=W·h(ye)

(23)

式中：W是權重向量，h(ye)是隱含層輸出向量。因此，所構造RBF神經(jīng)網(wǎng)絡的學習參數(shù)包括各基函數(shù)的中心cj和寬度σj，以及隱含層到輸出層的權重向量W，其初始參數(shù)值選取如下

(24)

為實現(xiàn)RBF神經(jīng)網(wǎng)絡的參數(shù)學習，通常采用有導師的學習算法，但對于本結構中的輸出參數(shù)k5，在不同工況下參數(shù)k5的期望值并不知道，即沒有明確的導師信號。根據(jù)文獻[19]可知，強化學習算法可以采用比較粗糙的訓練數(shù)據(jù)，僅僅使用“評價”信號，即強化信號，通過與環(huán)境的交互來評價控制作用的優(yōu)劣，采用“獎”、“罰”算法訓練網(wǎng)絡。為此，本文根據(jù)控制舵角δ的抖振測量值計算得到強化信號，采用強化學習算法實現(xiàn)RBF神經(jīng)網(wǎng)絡的參數(shù)學習。

在每一個學習周期中，每個神經(jīng)網(wǎng)絡的輸出會對應一個權重的變化量Δwt，權重向量W將按式(25)進行參數(shù)調整。

Wt+1=Wt+Δwt

(25)

式中：Wt表示t時刻權重，Wt+1為下一周期的權重。定義神經(jīng)網(wǎng)絡的輸出誤差Et為

(26)

式中：d是參數(shù)k5的期望值，顯然是不可知的，但是系統(tǒng)的控制效果可以間接的反應參數(shù)是否合適，故采用控制舵角的抖振情況來近似代替這個誤差。即

(27)

(28)

式中：T是仿真周期，δ(t-lT)和δ[t-(l-1)T]是前后不同周期的舵角值，n表示積累的次數(shù)(取n=50)，而ρk(l)定義為

(29)

在系統(tǒng)輸出產(chǎn)生抖振時，輸出的變化趨勢會發(fā)生改變。在式(29)中，當且僅當舵角變化量符號反向時ρk(l)記為1，否則記為0。結合式(28)，即可描述最近n個周期內系統(tǒng)輸出的抖振變化情況。因此，權重的變化量Δwt可表示為

(30)

式中η1是學習率。

則權重向量W的學習過程可表示為

(31)

同理，可得參數(shù)cj和σj的學習算法為

(32)

(33)

參數(shù)優(yōu)化神經(jīng)網(wǎng)絡系統(tǒng)根據(jù)實時測量的舵角抖振變化情況，其參數(shù)W、cj和σj按照式(31)～(33)的學習算法進行在線學習，進而能夠更準確地輸出調節(jié)參數(shù)k5，從而增強控制器的自適應性。

3 船舶路徑跟蹤控制仿真研究

本文以5446TEU集裝箱船為對象進行路徑跟蹤控制仿真，驗證所設計控制器的性能，該船的主要參數(shù)如表1所示。

表1 5446TEU集裝箱船主要參數(shù)

Table 1 Principal parameters 5446 TEU container ship′s

集裝箱船物理屬性參數(shù)集裝箱船物理屬性參數(shù)船長/m280.0兩柱間長/m267.0船寬/m39.8型深/m23.6設計船速/kn24.5方形系數(shù)0.62總噸位/t65531凈噸位/t35453空船重量/t24696載重量/t69192設計吃水/m12.5滿載吃水/m14.0螺旋槳槳葉數(shù)5直徑/m9.2螺距9.657盤面比0.668

圖3～6是船舶在設定工況下跟蹤圓路徑，分別是跟蹤路徑、誤差、舵角以及參數(shù)變化的曲線。從圖3可以看出用迭代滑模方法跟蹤和用基于強化學習的迭代滑模算法都很快跟上了目標路徑，但是迭代滑?？刂扑惴ǜ櫟牟粶蚀_。由圖4更能直觀的看出迭代滑?？刂品椒ê突趶娀瘜W習的迭代滑?？刂扑惴ǘ荚?00s左右跟蹤上路徑，但是迭代滑?？刂品椒ㄒ恢贝嬖谳^大誤差。由圖5不難發(fā)現(xiàn)，用迭代滑?？刂扑惴ǖ拇岸娼欠逯禐?0°左右，而用基于強化學習的迭代滑?？刂扑惴ǖ拇岸娼欠逯祪H有12°，并且舵角的振蕩程度更小，不會過多的損耗舵機，更符合實際的船舶航行要求。通過圖6可以發(fā)現(xiàn)剛開始參數(shù)k5的變化劇烈，相對幅度較大，在沒有跟蹤上設定路徑的時候，較大幅度地去調節(jié)k5，盡快減小誤差；跟蹤上以后，小范圍調節(jié)參數(shù)，僅是為了消除抖振，神經(jīng)網(wǎng)絡實現(xiàn)了對參數(shù)的動態(tài)調節(jié)。綜合圖3～6可以明顯看出，使用基于強化學習的迭代滑模控制算法比用迭代滑?？刂扑惴ǖ目刂菩Ч?，更穩(wěn)，更準，更符合工程的實際要求。

圖3 圓路徑跟蹤的路徑跟蹤曲線Fig.3 Path tracking curves of round path tracking

圖4 圓路徑跟蹤的誤差曲線Fig.4 Error curves of round path tracking

圖5 圓路徑跟蹤的舵角變化曲線Fig.5 Rudder angle curves of round path tracking

圖6 圓路徑跟蹤的參數(shù)k5變化曲線Fig.6 The parameter k5 curve of round path tracking

圖7～10是船舶在設定工況下跟蹤正弦路徑，分別是跟蹤路徑和舵角的變化曲線，由圖7和8可以看出用迭代滑模的控制算法跟蹤效果差，不能完全跟蹤上正弦路徑；基于強化學習的迭代滑模控制算法在100s左右時就幾乎跟蹤上了目標路徑，并且相同時間內用基于強化學習的迭代滑?？刂扑惴ǖ母櫨嚯x更遠，偏差更小。圖9可以發(fā)現(xiàn)用迭代滑模的控制算法舵角的抖振明顯減小，舵角峰值也有所下降。由圖10可以看出，在600s之前，參數(shù)k5抖動比較厲害，而這時的迭代滑?？刂破鞯亩娼嵌秳雍艽螅菂?shù)的抖動抵消了舵角的抖振。綜上，可以明顯看出用迭代滑模的方法跟蹤速度較慢，而且一直存在偏差，跟蹤不準確；用基于強化學習的迭代滑?？刂扑惴▌t具有更快跟蹤速度，舵角幾乎沒有抖振，誤差更小。

圖7 正弦路徑跟蹤的路徑跟蹤曲線 Fig.7 Path tracking curves of Sine path tracking

4 結論

圖8 正弦路徑跟蹤的誤差曲線Fig.8 Error curves of Sine path tracking

圖9 正弦路徑跟蹤的舵角變化曲線Fig.9 Rudder angle curves of Sine path tracking

圖10 圓路徑跟蹤的參數(shù)k5變化曲線Fig.10 The parameter k5 curve of round path tracking

1)相較于迭代滑?？刂破鳎趶娀瘜W習的迭代滑?？刂破鞯淖赃m應性和魯棒性更強，路徑跟蹤更準確，相同時間航行的更遠，效率更高，有利于節(jié)省能源。

2)使用基于強化學習的迭代滑?？刂品椒ǖ玫降亩娼?，相比較迭代滑模，舵角抖振明顯下降，可以有效的保護舵機裝置，更符合實際工程需求。

[1]WONDERGEM M， LEFEBER E， PETTERSEN K Y， et al. Output feedback tracking of ships[J]. IEEE transactions on control systems technology， 2011， 19(2)： 442-448.

[2]GHOMMAM J， MNIF F， DERBEL N. Global stabilisation and tracking control of underactuated surface vessels[J]. Control theory & applications， 2010， 4(1)： 71-88.

[3]付明玉， 張愛華， 徐金龍. 船舶軌跡跟蹤半全局一致指數(shù)穩(wěn)定觀測控制器[J]. 控制與決策， 2013， 28(6)： 920-924.

FU Mingyu， ZHANG Aihua， XU Jinlong. Semi-global uniform exponential stable observer-controller for trajectory tracking of ships[J]. Control and decision， 2013， 28(6)： 920-924.

[4]YANG Y， DU J， LIU H， et al. A trajectory tracking robust controller of surface vessels with disturbance uncertainties[J]. IEEE transactions on control systems technology， 2014， 22(4)： 1511-1518.

[5]王昊， 王丹， 彭周華，等. 多自主船協(xié)同路徑跟蹤的自適應動態(tài)面控制[J]. 控制理論與應用， 2013， 30(5)： 637-643.

WANG Hao， WANG Dan， PENG Zhouhua， et al. Adaptive dynamic surface control for cooperative path following of multiple autonomous surface vessels[J]. Control theory & applications. 2013， 30(5)： 637-643.

[6]ANNAMALAI A S K， SUTTON R， YANG C， et al. Robust adaptive control of an uninhabited surface vehicle[J]. Journal of intelligent & robotic systems， 2015， 78(2)： 319-338.

[7]YU R， ZHU Q， XIA G， et al. Sliding mode tracking control of an underactuated surface vessel[J]. Control theory & applications， 2012， 6(3)： 461-466.

[8]ASHRAFIUON H， MUSKE K R， MCNINCH L C， et al. Sliding-mode tracking control of surface vessels[J]. IEEE transactions on industrial electronics， 2008， 55(11)： 4004-4012.

[9]孟威， 郭晨， 孫富春， 等. 欠驅動水面船舶的非線性滑模軌跡跟蹤控制[J]. 哈爾濱工程大學學報， 2012， 33(5)： 585-589.

MENG Wei， GUO Chen， SUN Funchun， et al. Nonlinear sliding mode tracking control of underatuated surface vessels[J]. Journal of Harbin Engineering University， 2012， 33(5)： 585-589.

[10]邢道奇， 張良欣.船舶航跡跟蹤的滑?？刂芠J].船舶， 2011，22(5)： 10-14.

XING Daoqi， ZHANG Liangxin. Sliding-model control for trajectory tracking of surface vessels[J]. Ship & boat， 2011，22(5)： 10-14.

[11]SIRA R H. Dynamic second-order sliding mode control of the hovercraft vessel[J]. IEEE transactions on control systems technology， 2002， 10(6)： 860-865.

[12]廖煜雷， 萬磊， 莊佳園. 欠驅動船路徑跟蹤的反演自適應動態(tài)滑?？刂品椒╗J]. 中南大學學報：自然科學版， 2012， 43(7)： 2655-2661.

LIAO Yulei， WAN Lei， ZHUANG Jiayuan. Back stepping adaptive dynamical sliding mode control method for path following of under actuated surface vessel[J]. Journal of central south university (science and technology)， 2012， 43(7)： 2655-2661.

[13]朱齊丹， 于瑞亭， 夏桂華，等. 風浪流干擾及參數(shù)不確定欠驅動船舶航跡跟蹤的滑模魯棒控制[J]. 控制理論與應用， 2012， 29(7)： 959-964.

ZHU Qidan， YU Ruiting， XIA Guihua， et al. Sliding-mode robust tracking control for underactuated surface vessels with parameter uncertainties and external disturbances[J]. Control theory & applications， 2012， 29(7)： 959-964.

[14]HUANG Z， EDWARDS R M， LEE K Y. Fuzzy-adapted recursive sliding-mode controller design for a nuclear power plant control[J]. IEEE transactions on nuclear science， 2004， 51(1)： 256-266.

[15]卜仁祥， 劉正江， 李鐵山. 迭代滑模增量反饋及在船舶航向控制中的應用[J]. 哈爾濱工程大學學報， 2007， 28(3)： 268-272.

BU Renxiang， LIU Zhengjiang， LI Tieshan. Iterative sliding mode based increment feedback control and its application to ship autopilot[J]. Journal of Harbin Engineering University， 2007， 28(3)： 268-272.

[16]邊信黔， 程相勤， 賈鶴鳴， 等. 基于迭代滑模增量反饋的欠驅動 AUV 地形跟蹤控制[J]. 控制與決策， 2011， 26(2)： 289-292.

BIAN Xinqian， CHENG Xiangqin， JIA Heming， et al. A bottom-following controller for underactuated AUV based on iterative sliding and increment feedback[J]. Control and decision， 2011， 26(2)： 289-292.

[17]賈鶴鳴， 張利軍， 程相勤， 等. 基于非線性迭代滑模的欠驅動 UUV 三維航跡跟蹤控制[J]. 自動化學報， 2012， 38(2)： 308-314.

JIA Heming， ZHANG Lijun， CHENG Xiangqin， et al. Three-dimensional path following control for an underactuated UUV based on nonlinear iterative sliding mode[J]. Acta automatica sinica， 2012， 38(2)： 308-314.

[18]LIU C， ZOU Z， HOU X. Stabilization and tracking of underactuated surface vessels in random waves with fin based on adaptive hierarchical sliding mode technique[J]. Asian journal of control， 2014， 16(5)： 1492-1500.

[19]SHEN Zhipeng， GUO Chen， ZHANG Ning. A general fuzzied CMAC based reinforcement learning control for ship steering using recursive least-squares algorithm[J]. Neurocomputing， 2010， 73:700-706.[20]賈欣樂，楊鹽生.船舶運動數(shù)學模型:機理建模與辯識建模[M].大連海事大學出版社，1999:49-138，328-331.

JIA Xinle， YANG Yansheng. Ship motion mathematical model: the mechanism modeling and identification modeling[M]. Dalian maritime university press， 1999: 49-138， 328-331.

本文引用格式：

沈智鵬， 代昌盛.欠驅動船舶路徑跟蹤的強化學習迭代滑?？刂芠J]. 哈爾濱工程大學學報， 2017， 38(5)： 697-704.

SHEN Zhipeng， DAI Changsheng. Iterative sliding mode control based on reinforced learning and used for path tracking of under-actuated ship[J]. Journal of Harbin Engineering University， 2017， 38(5)： 697-704.

Iterative sliding mode control based on reinforced learning and used for path tracking of under-actuated ship

SHEN Zhipeng， DAI Changsheng

(School of Information Science and Technology， Dalian Maritime University， Dalian 116026， China)

An adaptive iterative sliding mode control method based on reinforced learning was proposed for the path tracking of a 3-DOF under-actuated ship. The method introduces a hyperbolic tangent function to design the iterative sliding mode for system states and uses a neural network to optimize the control parameters to enhance the adaptivity of the controller. The structure and parameters of the neural network were adjusted online by defining a type of control amount chattering measurement variable and reinforced learning signal， which could further inhibit the chattering of the control amount. The mathematical model of a 5446TEU container ship was used for the controller and simulation. The results show that the designed controller can manage the wind， flow， and other external disturbances effectively; this， the controller has strong robustness. Compared with the iterative sliding mode controller， the chattering of the rudder angle is obviously reduced， and the control signal of the rudder angle complies with the actual operation requirements of the ship and even more with the actual requirements of the project.

under-actuated ship; path tracking; controller design; self-adaptive; iterative sliding mode control; surface feed-back; neural network; reinforced learning

2015-12-02.

日期：2017-04-26.

國家高技術研究計劃項目(2012AA112702)；國家自然科學基金項目(51579024)；中央高?；究蒲袠I(yè)務費項目(3132017126).

沈智鵬(1977-)， 男，教授.

沈智鵬， E-mail: shenbert@dlmu.edu.cn

10.11990/jheu.201512005

TP273

A

1006-7043(2017)05-0697-08

網(wǎng)絡出版地址：http://www.cnki.net/kcms/detail/23.1390.u.20170426.1152.048.html