基于最優(yōu)控制迭代學(xué)習(xí)算法的收斂性研究*

楊亮亮，胡 建

(浙江理工大學(xué) 機(jī)械與自動(dòng)控制學(xué)院，浙江 杭州 310018)

0 引 言

迭代學(xué)習(xí)控制適用于執(zhí)行重復(fù)任務(wù)的控制系統(tǒng)，不需要被控對(duì)象的精確數(shù)學(xué)模型，利用信息改善當(dāng)前的控制輸入信號(hào)，就可以實(shí)現(xiàn)有限區(qū)間內(nèi)的完全跟蹤[1-2]。文獻(xiàn)[3-4]對(duì)迭代初態(tài)與期望初態(tài)存在固定偏移情形下的迭代學(xué)習(xí)控制問(wèn)題進(jìn)行了討論,提出帶有反饋輔助項(xiàng)的PD型迭代學(xué)習(xí)控制算法,可實(shí)現(xiàn)系統(tǒng)輸出對(duì)期望軌跡的漸近跟蹤。

李巖等[5]將傳統(tǒng)的迭代學(xué)習(xí)控制時(shí)域和頻域分析方法擴(kuò)展到一類(lèi)分?jǐn)?shù)階非線性系統(tǒng)，提出了一類(lèi)新的分?jǐn)?shù)階迭代學(xué)習(xí)控制框架并簡(jiǎn)化了收斂條件,且證明了常增益情況下兩類(lèi)分?jǐn)?shù)階迭代學(xué)習(xí)控制收斂條件的等價(jià)性問(wèn)題；文獻(xiàn)[6-7]提出了基于當(dāng)前誤差和前次運(yùn)行誤差信息的P-D型開(kāi)閉環(huán)迭代學(xué)習(xí)控制律，采用了λ范數(shù)和一系列不等式技術(shù)，通過(guò)建立精確數(shù)學(xué)模型給出了該學(xué)習(xí)律收斂的充分條件,證明了它的收斂性；LUO Z等[8]采用P型迭代學(xué)習(xí)控制率，對(duì)算法收斂性和收斂速度進(jìn)行了分析，并通過(guò)實(shí)驗(yàn)對(duì)其進(jìn)行了驗(yàn)證；童少偉[9]以線性系統(tǒng)為模型,以系統(tǒng)響應(yīng)與期望響應(yīng)的差值為反饋,以二次型性能泛函為目標(biāo)函數(shù),通過(guò)迭代學(xué)習(xí)修正主動(dòng)控制器控制信號(hào)，并給出了該方法收斂的充分條件，但是缺少對(duì)算法收斂速度的分析與研究。

本文將在上述文獻(xiàn)的基礎(chǔ)上，基于最優(yōu)控制理論以誤差最小和驅(qū)動(dòng)能量最小為性能目標(biāo)函數(shù)，通過(guò)引入一個(gè)加權(quán)系數(shù)矩陣，以提高迭代學(xué)習(xí)算法的收斂速度。

1 迭代學(xué)習(xí)控制

本文將迭代學(xué)習(xí)控制算法運(yùn)用到直線伺服系統(tǒng)進(jìn)行分析，假設(shè)直線電機(jī)在每次迭代時(shí)執(zhí)行時(shí)間長(zhǎng)度t∈[0,T]，采樣周期為T(mén)s，輸入理想軌跡指令為rset，將信號(hào)進(jìn)行離散化處理,取N=T/Ts,如第k次輸出信號(hào)為yk=[yk(0),yk(1),…,yk(N-1)]T。其中，yk(j)—第k次迭代時(shí)，輸出信號(hào)yk的第j+1個(gè)元素；yk—時(shí)域離散化向量。不考慮非線性因素的影響，則直線電機(jī)運(yùn)動(dòng)控制系統(tǒng)的時(shí)不變離散狀態(tài)空間表達(dá)式為：

(1)

則第k次迭代時(shí)輸入輸出關(guān)系為：

(2)

式中：H—脈沖傳遞函數(shù)矩陣，H∈RN×N；uk—有限離散控制輸入指令，uk=[u(0),…,u(N-1)]T；yk—有限離散系統(tǒng)輸出信號(hào)，yk=[y(0),…,y(N-1)]T，k代表迭代次數(shù)。

若控制系統(tǒng)誤差為：

ek=rset-yk

(3)

采用如下迭代學(xué)習(xí)算法：

uk+1(t)=Q[uk(t)+Lek(t)]

(4)

式中：Q∈n×n,L∈n×n,uk∈n，ek∈n。

基于式(4)迭代學(xué)習(xí)控制結(jié)構(gòu)如圖1所示。

圖1 迭代學(xué)習(xí)控制框圖

2 控制器的設(shè)計(jì)

2.1 穩(wěn)定性和收斂性分析

假設(shè)矩陣A∈n×n，則矩陣譜半徑定義為：

(5)

式中：ζi(A)—矩陣A的第i個(gè)特征值。

矩陣A最大奇異值定義為：

(6)

由式(3，4)可得出：

uk+1=Q(I-LH)uk+QLrset

(7)

根據(jù)線性系統(tǒng)理論及迭代學(xué)習(xí)控制系統(tǒng)的穩(wěn)定性及漸進(jìn)收斂條件可知，圖1所示的迭代學(xué)習(xí)控制結(jié)構(gòu)的穩(wěn)定性條件為：

ρ(Q(I-LH))<1

(8)

漸近收斂條件為：

(9)

根據(jù)矩陣論知識(shí)可知，結(jié)合式(8，9)可得出：

(10)

其在頻域的收斂性條件也可表達(dá)為：

|1-L(ejω)H(ejω)|<|Q-1(ejω)| ?ω

(11)

此時(shí)迭代學(xué)習(xí)控制系統(tǒng)是穩(wěn)定且漸進(jìn)收斂的。

2.2 控制器的設(shè)計(jì)

采用前饋及反饋二自由度控制結(jié)構(gòu)如圖2所示。

圖2 二自由度控制系統(tǒng)結(jié)構(gòu)圖C(s)—反饋控制器保證系統(tǒng)閉環(huán)穩(wěn)定；G(s)—被控對(duì)象；rset(t)—理想軌跡；e(t)—軌跡跟蹤誤差；ub(t)—反饋控制器輸出指令；uf(t)—前饋控制指令；u(t)—被控制對(duì)象G(s)指令信號(hào)；ω(t)—擾動(dòng)信號(hào)；y(t)—系統(tǒng)輸出

本研究在反饋控制器設(shè)計(jì)穩(wěn)定的基礎(chǔ)上加入迭代學(xué)習(xí)控制算法，對(duì)前饋控制信號(hào)進(jìn)行迭代修正，采用二自由度控制策略及迭代學(xué)習(xí)控制雙回路控制系統(tǒng)結(jié)構(gòu)如圖3所示。

圖3 迭代學(xué)習(xí)控制系統(tǒng)結(jié)構(gòu)圖

根據(jù)最優(yōu)控制理論設(shè)定迭代學(xué)習(xí)控制算法的性能目標(biāo)函數(shù)為：

(12)

式中：We,Wu—兩個(gè)半正定加權(quán)矩陣。

(13)

經(jīng)推導(dǎo)求得：

-HTWeek+1+Wuuk+1=0

(14)

將式(3)代入式(14)，可得：

uk+1=(Wu+HTWeH)-1(HTWeH)×
(uk+(HTWeH)-1HTWeek)

(15)

結(jié)合式(4)和式(15)可得出Q,L的表達(dá)式如下所示：

(16)

令We=I，Wu=ρ·I(ρ>0)，則式(16)在頻域的表達(dá)式為：

(17)

式中：P(z)—輸入為uf(t)，輸出為y(t)的系統(tǒng)對(duì)象模型(P(z)=G(z)/(1+C(z)G(z)))。

結(jié)合式(3)和式(14)，經(jīng)推導(dǎo)可得出：

(18)

式中：E0—未迭代前的軌跡誤差。

由式(18)可知，ρ的值會(huì)對(duì)迭代學(xué)習(xí)算法收斂誤差有所影響，隨著ρ的增加，E∞的值逐漸增加。

3 仿真與實(shí)驗(yàn)

3.1 仿真分析

本研究采用Matlab/simulink對(duì)上述迭代學(xué)習(xí)控制算法進(jìn)行仿真。仿真時(shí)理想軌跡采用三階S型點(diǎn)到點(diǎn)軌跡規(guī)劃進(jìn)行軌跡規(guī)劃，生成位移軌跡為加速度連續(xù)變化三階位移曲線。規(guī)劃參數(shù)分別為：s=0.05 m,vmax=0.2 m/s,amax=10 m/s2,jmax=3 000 m/s3驗(yàn)證算法性能。

軌跡規(guī)劃曲線如圖4所示。

圖4 仿真所用三階S型點(diǎn)到點(diǎn)軌跡

仿真對(duì)象采用通過(guò)對(duì)直線電機(jī)平臺(tái)辨識(shí)的模型，如下式所示：

(19)

反饋控制器采用PID控制器構(gòu)成閉環(huán)系統(tǒng)，其參數(shù)分別為：Kp=453 677，Ki=56 807 678，Kd=0，We=I,采用圖3所示的迭代學(xué)習(xí)控制結(jié)構(gòu)進(jìn)行仿真，此處不考慮外界干擾對(duì)系統(tǒng)的影響(即默認(rèn)ω(t)=0)。

加權(quán)矩陣系數(shù)ρ對(duì)迭代學(xué)習(xí)控制算法收斂速度的影響曲線如圖5所示。

圖5 ρ對(duì)收斂速度的影響曲線

從圖5中可以看到：當(dāng)ρ=0.001，收斂速度最快，收斂誤差二范數(shù)為0.011，隨著ρ的增加迭代學(xué)習(xí)算法收斂速度逐漸減小，同時(shí)迭代終值收斂逐漸增大。

ρ對(duì)迭代學(xué)習(xí)控制算法穩(wěn)定性的影響曲線如圖6所示。

圖6 ρ對(duì)迭代學(xué)習(xí)穩(wěn)定性的影響曲線

從圖6中可以看到：當(dāng)ρ=0.001時(shí)，|Q(1-LH)|幅值最大，其對(duì)應(yīng)的穩(wěn)定性范圍越小，隨著ρ的增加，算法的穩(wěn)定性范圍越大，即算法魯棒性越強(qiáng)。綜上分析可知，當(dāng)ρ=0.000 1時(shí)，對(duì)收斂速度的影響與ρ=0.001時(shí)的結(jié)果相似，同時(shí)為了保證迭代學(xué)習(xí)算法的魯棒性，因此，ρ的選擇是算法魯棒性與收斂速度之間的一種折衷，仿真時(shí)參數(shù)選擇為We=I,Wu=10-3·I。

迭代前后誤差曲線對(duì)比圖如圖7所示。

圖7 迭代前后誤差曲線對(duì)比圖

圖7中實(shí)線為未采用迭代學(xué)習(xí)控制之前的軌跡誤差曲線，點(diǎn)線、點(diǎn)畫(huà)線分別為第一次迭代、第三次迭代后的軌跡誤差曲線(圖中虛線為按一定比例縮小的加速度曲線)。從圖7中可以看出：沒(méi)有進(jìn)行迭代時(shí)，軌跡誤差數(shù)量級(jí)為10-3m,第一次、三次迭代之后誤差數(shù)量級(jí)分別為10-4m和10-6m。

誤差的目標(biāo)函數(shù)曲線隨迭代次數(shù)的變化曲線如圖8所示。

圖8 迭代目標(biāo)函數(shù)曲線

從圖8中可以看出第二次迭代之后目標(biāo)函數(shù)基本不變，與圖7的結(jié)論一致，收斂效果顯著。

3.2 實(shí)驗(yàn)驗(yàn)證

本文的試驗(yàn)平臺(tái)為兩個(gè)直線電動(dòng)機(jī)構(gòu)成的X-Y運(yùn)動(dòng)平臺(tái)，如圖9所示。

圖9 直線電機(jī)實(shí)驗(yàn)平臺(tái)

兩個(gè)直線電動(dòng)機(jī)均采用Baldor公司的LMCF02C-HCO，電動(dòng)機(jī)的連續(xù)推力為58 N，峰值推力為173 N，直線電動(dòng)機(jī)的運(yùn)動(dòng)位置由GSI公司分辨率為0.5 μm的光柵尺測(cè)量，讀數(shù)頭型號(hào)為MII1600-40。伺服驅(qū)動(dòng)器為Baldor公司的FMH2A03TR-EN23，采用電流控制方式。由于位于上層直線電動(dòng)機(jī)具有相對(duì)較低的慣量，為了驗(yàn)證高速高精性能，實(shí)際試驗(yàn)時(shí)采用下層直線電動(dòng)機(jī)鎖死，只對(duì)上層直線電動(dòng)機(jī)進(jìn)行試驗(yàn)。

實(shí)際直線伺服平臺(tái)控制器與仿真結(jié)構(gòu)相同，實(shí)驗(yàn)所采用和仿真相同三階S型點(diǎn)到點(diǎn)軌跡。運(yùn)行時(shí)間為0.5 s，伺服周期為0.000 5 s，迭代次數(shù)為10次，實(shí)驗(yàn)采用和仿真相同控制結(jié)構(gòu)。

本文采用Matlab與C混合編程模式，利用白噪聲獲得閉環(huán)對(duì)象的輸入輸出響應(yīng)，再通過(guò)Matlab系統(tǒng)辨識(shí)工具箱進(jìn)行濾波之后經(jīng)過(guò)辨識(shí)獲得P(z)的ARX模型[10]：

A(z)y(t)=B(z)u(t)+e(t)

(20)

其中，

(21)

反饋控制器采用PID控制器，其參數(shù)如表1所示。

表1 控制器參數(shù)

此時(shí)令We=I，則ρ對(duì)迭代學(xué)習(xí)收斂速度的影響曲線如圖10所示。

圖10 ρ對(duì)收斂速度的影響曲線

圖10為加權(quán)矩陣系數(shù)ρ對(duì)迭代學(xué)習(xí)控制算法收斂速度的影響曲線，從圖10中可以看到：當(dāng)ρ=0.001時(shí)，收斂速度最快，收斂誤差二范數(shù)約為0.001，隨著ρ的增加迭代學(xué)習(xí)算法收斂速度逐漸減小，同時(shí)迭代收斂誤差逐漸增大。

ρ對(duì)迭代學(xué)習(xí)控制算法穩(wěn)定性的影響曲線如圖11所示。

圖11 ρ對(duì)迭代學(xué)習(xí)穩(wěn)定性的影響曲線

從圖11中可以看到：當(dāng)ρ=0.001時(shí)，|Q(1-LH)|幅值最大，其對(duì)應(yīng)的穩(wěn)定性范圍越小，隨著ρ的增加，算法的穩(wěn)定性范圍越大，即算法魯棒性越強(qiáng)。

迭代前后誤差曲線對(duì)比圖如圖12所示。

圖12 迭代前后誤差曲線對(duì)比圖

圖12中實(shí)線為未進(jìn)行迭代之前的軌跡誤差曲線，點(diǎn)畫(huà)線、虛線分別為第三次迭代、第五次迭代后的軌跡誤差曲線(圖中點(diǎn)線為按一定比例縮小的加速度曲線)，在進(jìn)行迭代5次之后，勻速期(即：0.05 s—0.27 s期間)誤差得到了明顯的收斂。

迭代目標(biāo)函數(shù)曲線圖如圖13所示。

圖13 迭代目標(biāo)函數(shù)曲線圖

從圖13的目標(biāo)函數(shù)曲線可以看出，誤差在進(jìn)行5次迭代之后基本上保持不變的趨勢(shì)。由于實(shí)際直線電機(jī)平臺(tái)存在一些非周期性擾動(dòng)、辨識(shí)誤差以及摩擦力等非線性因素的影響，誤差沒(méi)有完全收斂到零，但是通過(guò)實(shí)驗(yàn)充分驗(yàn)證了將本文提出的迭代學(xué)習(xí)控制算法運(yùn)用到直線電機(jī)中，并且通過(guò)引入加權(quán)矩陣系數(shù)提高了算法的收斂速度。

4 結(jié)束語(yǔ)

基于最優(yōu)控制理論，本文對(duì)迭代學(xué)習(xí)控制的收斂性進(jìn)行了分析，引入加權(quán)矩陣系數(shù)，增強(qiáng)了算法的魯棒性和收斂速度，并通過(guò)仿真和實(shí)際電動(dòng)機(jī)平臺(tái)試驗(yàn)，驗(yàn)證了本文算法的正確性；

實(shí)驗(yàn)結(jié)果表明：本文算法針對(duì)勻速段的收斂效果顯著，提高了直線電機(jī)的運(yùn)動(dòng)精度。但是加減速段的收斂效果并不理想，經(jīng)過(guò)對(duì)其軌跡誤差頻譜進(jìn)行分析發(fā)現(xiàn)，直線電機(jī)在加減速階段存在一個(gè)36 Hz左右的擾動(dòng)信號(hào)，因此，關(guān)于加減速段的收斂效果有待進(jìn)一步研究。

參考文獻(xiàn)(References):

[1] 馬 航,楊俊友,袁 琳.迭代學(xué)習(xí)控制研究現(xiàn)狀與趨勢(shì)[J].控制工程,2009,16(3):286-290.

[2] NORRL?F M. Iterative learning control-analysis, design, and experiments[D]. Link?ping: Department of Electrical Engineering, Link?pings universitet,2000.

[3] MA F, LI C. Open-closed-loop PID-type iterative learning control for linear systems with initial state error[J].JournalofVibrationandControl,2011,17(12):1791-1797.

[4] 孫明軒,畢宏博,周?chē)?guó)良,等.反饋輔助PD型迭代學(xué)習(xí)控制:初值問(wèn)題及修正策略[J].自動(dòng)化學(xué)報(bào),2015,41(1):157-164.

[5] 李 巖,陳陽(yáng)泉,安孝晟.分?jǐn)?shù)階迭代學(xué)習(xí)控制的收斂性分析[J].控制理論與應(yīng)用,2012,29(8):1031-1037.

[6] 劉長(zhǎng)良,賈萬(wàn)根.一般非線性離散系統(tǒng)P-D型迭代學(xué)習(xí)收斂性研究[J].電力科學(xué)與工程,2012,28(6):69-73.

[7] 葉 騰,李傳東.一類(lèi)非線性時(shí)滯系統(tǒng)的迭代學(xué)習(xí)控制設(shè)計(jì)[J].機(jī)電工程,2010,27(2):68-70.

[8] LUO Z, WEI W, WANG J R. Robust convergence analysis of iterative learning control for impulsive Riemann-Liouville fractional-order systems[J].AdvancesinDifferenceEquations,2016(1):256.

[9] 童少偉.迭代學(xué)習(xí)型瞬時(shí)最優(yōu)控制及其收斂性分析[J].力學(xué)與實(shí)踐,2015,37(6):698-703.

[10] 倪博溢,蕭德云.MATLAB環(huán)境下的系統(tǒng)辨識(shí)仿真工具箱[J].系統(tǒng)仿真學(xué)報(bào),2006,18(6):1493-1496.