迭代學(xué)習(xí)控制器參數(shù)的數(shù)據(jù)驅(qū)動(dòng)自適應(yīng)整定方法

于瀛禎,林 娜,池榮虎

(青島科技大學(xué) 自動(dòng)化與電子工程學(xué)院,山東 青島 266061)

自從迭代學(xué)習(xí)控制(iterative learning control,ILC)在1984年被ARIMOTO 提出之后[1],目前已經(jīng)取得了許多理論成果[2-4]和成功應(yīng)用[5-7]。ILC的核心思想就是利用上一次迭代的控制輸入和跟蹤誤差對(duì)當(dāng)前迭代的控制輸入進(jìn)行修改,從而使輸出隨著迭代次數(shù)的增加能夠很好地實(shí)現(xiàn)對(duì)期望軌跡的跟蹤。

PID 型ILC 包 括P 型ILC、PD 型ILC、PID 型ILC等多種組合形式,具有易于實(shí)現(xiàn)、具備良好跟蹤性能等諸多優(yōu)點(diǎn)。在文獻(xiàn)[8]中,提出了一種改進(jìn)的PD 型ILC 方法,所提方法具有良好的瞬態(tài)響應(yīng)。在文獻(xiàn)[9]中,針對(duì)具有時(shí)變不確定性的工業(yè)間歇過(guò)程,提出了一種魯棒PI型ILC 方案。在文獻(xiàn)[10]中,提出了一類(lèi)具有初始學(xué)習(xí)狀態(tài)的單邊Lipschitz非線性系統(tǒng)的開(kāi)環(huán)和閉環(huán)P型ILC 算法。然而,傳統(tǒng)的PID 型ILC 的控制器增益一旦被選中就會(huì)被固定,當(dāng)外部環(huán)境因?yàn)閿_動(dòng)或者不確定性而發(fā)生變化時(shí),這些固定增益的控制器可能無(wú)法適應(yīng)這些變化,從而導(dǎo)致系統(tǒng)控制性能變差。因此,如何動(dòng)態(tài)地調(diào)整PID 型ILC 的學(xué)習(xí)增益引起了學(xué)者們的廣泛關(guān)注。文獻(xiàn)[11]提出了一種利用遺傳算法來(lái)選擇PID 型ILC 學(xué)習(xí)增益的方法。但是遺傳算法中涉及到許多參數(shù),這些參數(shù)大多數(shù)是需要根據(jù)經(jīng)驗(yàn)選擇的。在文獻(xiàn)[12]中,作者采用粒子群優(yōu)化算法對(duì)自適應(yīng)PID 型ILC進(jìn)行研究。然而,用粒子群算法來(lái)選擇控制增益是非常復(fù)雜繁瑣的。文獻(xiàn)[13]設(shè)計(jì)了一種模糊PID 型ILC的方法,該方法的基本思想是利用模糊控制來(lái)設(shè)置PID 參數(shù)從而抑制未知因素帶來(lái)的影響。但是如何選擇一個(gè)合適的模糊隸屬函數(shù)通常不是一件容易的事。

近些年,一些自適應(yīng)迭代學(xué)習(xí)控制(adaptive iterative learning control,AILC)方法[14-17]被提出。這些AILC方法的核心思想就是通過(guò)引入?yún)?shù)自適應(yīng)控制律從而實(shí)現(xiàn)學(xué)習(xí)過(guò)程中參數(shù)的自適應(yīng)調(diào)節(jié)。在文獻(xiàn)[14]中,作者利用參數(shù)估計(jì)律中的對(duì)齊條件,直接將傳統(tǒng)的自適應(yīng)控制方法引入到ILC 任務(wù)中去。文獻(xiàn)[15]通過(guò)將迭代軸和離散時(shí)間軸類(lèi)比,從而提出了一種新的AILC方法。文獻(xiàn)[16]提出了一種同時(shí)處理非線性系統(tǒng)迭代變化初始誤差和參考軌跡的AILC方法。然而,上述這些AILC 方法都是建立在模型信息已知的情況下,如果模型信息未知,那么這些方法在實(shí)際應(yīng)用中將很難實(shí)現(xiàn)。

針對(duì)上述非線性系統(tǒng)的AILC設(shè)計(jì)和分析遇到的依賴系統(tǒng)模型信息的問(wèn)題,可以采用神經(jīng)網(wǎng)絡(luò)或者模糊算法對(duì)未知的非線性函數(shù)進(jìn)行逼近。文獻(xiàn)[18]提出了一種適用于不確定非線性系統(tǒng)的自適應(yīng)模糊迭代學(xué)習(xí)控制器設(shè)計(jì)方法。文獻(xiàn)[19]提出了一種用高階神經(jīng)網(wǎng)絡(luò)來(lái)設(shè)計(jì)非仿射離散時(shí)間系統(tǒng)的AILC方法。然而,這些方法存在著另一個(gè)問(wèn)題:在實(shí)際應(yīng)用過(guò)程中選擇合適的神經(jīng)網(wǎng)絡(luò)或模糊隸屬函數(shù)通常是不容易的。

文獻(xiàn)[20]提出了一種迭代動(dòng)態(tài)線性化(iterative dynamic linearization,IDL)方法。該方法僅考慮當(dāng)前迭代的信息,將一個(gè)離散時(shí)間非線性非仿射系統(tǒng)轉(zhuǎn)化為一個(gè)等價(jià)的線性數(shù)據(jù)模型,稱為緊格式迭代動(dòng)態(tài)線性化。此外,在文獻(xiàn)[21]中,IDL技術(shù)被用來(lái)處理一個(gè)理想的非線性迭代學(xué)習(xí)控制器,并利用更多以往迭代的信息提出了面向控制器的偏格式動(dòng)態(tài)線性化方法。這里值得指出的是,IDL 方法不需要任何數(shù)學(xué)模型的先驗(yàn)信息,是一種數(shù)據(jù)驅(qū)動(dòng)的方法。同時(shí),相較于神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng),IDL 方法不需要經(jīng)過(guò)訓(xùn)練過(guò)程就可以得到線性數(shù)據(jù)模型。

基于上述分析,本研究針對(duì)非線性非仿射系統(tǒng),提出了兩種PID 型ILC 的DDAT 方法。首先,提出了一種具有可變?cè)鲆娴腜ID 型ILC律,其增益都是未知且需要估計(jì)的。然后,基于CFIDL得到的線性數(shù)學(xué)模型,設(shè)計(jì)了一個(gè)新的目標(biāo)函數(shù)來(lái)估計(jì)學(xué)習(xí)增益的變化。在此基礎(chǔ)上,通過(guò)優(yōu)化目標(biāo)函數(shù),提出了一種基于CFIDL 的DDAT 方法。進(jìn)一步,利用PFIDL技術(shù)對(duì)結(jié)果進(jìn)行推廣,得到了一種基于PFIDL 的DDAT 方法。最終,通過(guò)仿真驗(yàn)證了所提方法的有效性。

1 問(wèn)題描述

考慮如下所示的單輸入單輸出非線性系統(tǒng):

其中,ui(t)∈R和yi(t)∈R分別表示第i次迭代t時(shí)刻的控制輸入和輸出;t∈［0,T］,T是一個(gè)正整數(shù);i∈［0,+∞）;f(·)表示未知的非線性函數(shù),ny和nu是未知的正整數(shù)。

首先,對(duì)系統(tǒng)(1)給出了如下兩個(gè)假設(shè):

假設(shè)1f(·)函數(shù)關(guān)于控制輸入ui(t)具有連續(xù)的偏導(dǎo)數(shù)。

假設(shè)2對(duì)于任意的i∈［0,+∞）,t∈［0,T］,如果,那么系統(tǒng)(1)滿足廣義Lipschitz條件,即:

其中,b1是一個(gè)正常數(shù),Δ 是一個(gè)迭代差分算子,即Δai(t)=ai(t)-ai-1(t)。

引理1[20]對(duì)于滿足假設(shè)1 和假設(shè)2 的系統(tǒng)(1),當(dāng)Δui(t)≠0,一定存在一個(gè)時(shí)變參數(shù)φi(t)可以將系統(tǒng)(1)轉(zhuǎn)化為如下等價(jià)的線性數(shù)學(xué)模型:

其中,φi(t)是一個(gè)未知參數(shù),且滿足

接下來(lái),考慮一個(gè)準(zhǔn)則函數(shù):

然后,將準(zhǔn)則函數(shù)(3)對(duì)φi(t)求偏導(dǎo),并令其為0,可以得到(t)的參數(shù)更新律:

其中,η∈（0,1］是一個(gè)步長(zhǎng)因子。

通過(guò)參考文獻(xiàn)[20],為了使參數(shù)更新律(4)具有更好的跟蹤性能,引入了一種如下所示的重置算法:

其中,(t)是(t)的初始值;ε是一個(gè)足夠小的正常數(shù)。

2 基于CFIDL的DDAT

本研究采用如下形式的PID 型ILC律:

其中,ψi(t),ζi(t)以及Γi(t)是3個(gè)需要估計(jì)的動(dòng)態(tài)學(xué)習(xí)增益;跟蹤誤差定義為ei(t+1)=yd(t+1)-yi(t+1),其中yd(t+1)是被控系統(tǒng)的期望輸出。在此基礎(chǔ)上,控制律(6)可以改寫(xiě)為如下形式:

本節(jié)的目的是設(shè)計(jì)一種基于CFIDL 的DDAT方法,使跟蹤誤差ei(t+1)在迭代次數(shù)i趨近于無(wú)窮時(shí)漸近收斂到零

接下來(lái),設(shè)計(jì)一個(gè)如下所示的目標(biāo)函數(shù):

其中,αc＞0,χc＞0以及βc＞0都是權(quán)重因子;ρc是一個(gè)足夠小的正常數(shù)。ei(t+1)表示系統(tǒng)的跟蹤誤差以 及分別表示控制器的比例增益,積分增益,微分增益的估計(jì)值。

然后,結(jié)合表達(dá)式(2),控制律(7)以及跟蹤誤差的定義式,可以得到如下所示的表達(dá)式:

把新得到的誤差表達(dá)式(9)代入到目標(biāo)函數(shù)(8)中得到一個(gè)新的目標(biāo)函數(shù),然后將新得到的目標(biāo)函數(shù)表達(dá)式對(duì)(t)求偏導(dǎo),并令其為0,可以得到:

接下來(lái),將等式(9)代入到等式(8)中,然后將得到的新表達(dá)式對(duì)(t)求偏導(dǎo),并令其為0,可以得到:

綜上所述,所提出的基于CFIDL 的DDAT 方法總結(jié)如下:

其中,B3＞并且是一個(gè)足夠小的正常數(shù);(t)是(t)的初始值;B4＞并且是一個(gè)足夠小的正常數(shù)(t)是(t)的初始值;B5＞并且是一個(gè)足夠小的正常數(shù);(t)是(t)的初始值。式(17)、(19)和(21)是3個(gè)重置算法,它們的作用是為了限制比例增益、積分增益以及微分增益的范圍,從而提高估計(jì)算法(16)、(18)和(20)的有效性。

注1與傳統(tǒng)的固定增益的PID 型ILC方法相比,所提出的DDAT 方法可以利用I/O 數(shù)據(jù)對(duì)學(xué)習(xí)增益進(jìn)行自適應(yīng)調(diào)整,使ILC 方法對(duì)不確定性具有更強(qiáng)的魯棒性。

注2與文獻(xiàn)[14-17]提出的AILC方法以及文獻(xiàn)[18-19]提出的基于神經(jīng)網(wǎng)絡(luò)和模糊方法的ILC方法相比,所提出的方法是數(shù)據(jù)驅(qū)動(dòng)的,擺脫了對(duì)系統(tǒng)機(jī)理模型的依賴,因此更適用于模型復(fù)雜或者難以建模的實(shí)際應(yīng)用。

為了表述的更加清晰,在圖1 中給出了基于CFIDL的DDAT 方法的框圖,其中z-1表示一個(gè)時(shí)間滯后算子。

圖1 基于CFIDL的DDAT方法框圖Fig.1 Block diagram of CFIDL based DDAT method

3 基于PFIDL的DDAT

3.1 問(wèn)題描述

首先針對(duì)非線性系統(tǒng)(1)提出如下兩個(gè)假設(shè):

假設(shè)3f(·)函數(shù)對(duì)于第i個(gè)到第(i-L+1)個(gè)變量具有連續(xù)的偏導(dǎo)數(shù),其中L是一個(gè)正整數(shù)。

假設(shè)4對(duì)于任意的i∈［0,+∞）,t∈［0,T］,如果‖ΔUi(t)‖≠0,那么系統(tǒng)(1)滿足廣義Lipschitz條件,即。其中,Ui(t)=［ui(t),ui-1(t),…,ui-L+1(t)］T,表示所有的控制輸入信號(hào)都包含在一個(gè)長(zhǎng)度為L(zhǎng)的輸入向量Ui(t)內(nèi)。

引理2對(duì)于滿足假設(shè)3和假設(shè)4的系統(tǒng)(1),當(dāng)‖ΔUi(t)‖≠0,一定存在一個(gè)時(shí)變向量φi(t)可以等效地將系統(tǒng)(1)轉(zhuǎn)化為以下線性數(shù)學(xué)模型:

證明

根據(jù)假設(shè)3和柯西中值定理可以得到:

隨著時(shí)代變遷、生活方式改變、飲食結(jié)構(gòu)調(diào)整，高尿酸血癥已經(jīng)成為繼高血壓、高血糖、高血脂之后出現(xiàn)的第四高，但由于高尿酸血癥早期多無(wú)明顯臨床癥狀而不被人們重視。越來(lái)越多的研究表明，高尿酸血癥不僅是痛風(fēng)和腎結(jié)石的前期病變，而且與血脂代謝紊亂、肥胖和高血壓等疾病在遺傳和病理機(jī)制上有密切的聯(lián)系，高尿酸血癥可與肥胖、高血壓、高脂血癥、糖耐量異常等發(fā)生協(xié)同作用，加重動(dòng)脈粥樣硬化，促進(jìn)心腦血管疾病的發(fā)生[1-3]。本研究對(duì)52 673名體檢人群資料進(jìn)行統(tǒng)計(jì)分析，以了解體檢人群中血清尿酸水平并探索其與心血管病危險(xiǎn)因素（超重與肥胖、高血壓、糖尿病、血脂異常）之間的關(guān)系，為高尿酸血癥及心血管病防治提供客觀依據(jù)。

接下來(lái),考慮如下含有向量υi(t)的方程:

因?yàn)椤i（t）‖≠0,所以方程(24)一定存在一個(gè)如下形式的解(t):

基于等式(23)～(25),可以得到Δyi(t+1)=(t)ΔUi(t),引理2證畢。

根據(jù)假設(shè)4和引理2可以得到‖φi（t）‖≤b2。因此,φp(t)=i,…,i-L+1 也是有界的,定義,其中是一個(gè)正常數(shù)。

接下來(lái),考慮如下所示的準(zhǔn)則函數(shù):

其中,μp＞0是一個(gè)權(quán)重因子(t)是φi(t)的估計(jì)值。

將準(zhǔn)則函數(shù)(26)對(duì)φi(t)求偏導(dǎo),并令其為0,可以得到:

為了使參數(shù)更新律(27)具有更好地跟蹤時(shí)變參數(shù)的能力,引入如下所示的重置算法:

其中,ε是一個(gè)足夠小的正常數(shù)(t)是(t)的初值。

3.2 控制器設(shè)計(jì)

在這里采用的是與之前相同的PID 型ILC律:

然后,設(shè)計(jì)一個(gè)如下所示的目標(biāo)函數(shù):

其中,αp＞0,χp＞0以及βp＞0都是權(quán)重因子;ρp是一個(gè)足夠小的正常數(shù)。ei(t+1)表示系統(tǒng)的跟蹤誤差以 及分別表示控制器的比例增益,積分增益,微分增益的估計(jì)值。

根據(jù)等式(22)和跟蹤誤差的定義式,可以得到:

更進(jìn)一步,根據(jù)控制律(29)和ΔUi t（）的定義式,可以得到:

結(jié)合式(29)、(31)和(32),可以得到:

將得到的新誤差表達(dá)式(33)代入到目標(biāo)函數(shù)(30)中,然后將得到的新目標(biāo)函數(shù)表達(dá)式對(duì)(t)求偏導(dǎo),并令其為0,可以得到:

同理,可以得到(t)和(t)的更新律:

綜上所述,所提出的基于PFIDL 的DDAT 方法總結(jié)如下:

注3與基于CFIDL的DDAT 方法相比,基于PFIDL的DDAT 方法在學(xué)習(xí)規(guī)律中包含了更多的附加控制知識(shí),使被控系統(tǒng)對(duì)于不確定因素具有更強(qiáng)的魯棒性,可以有效地提高控制性能。此外,由于考慮了更多的前批信息,使得基于PFIDL的DDAT方法的控制器變得復(fù)雜,會(huì)給收斂性分析帶來(lái)一定的困難。

4 實(shí)驗(yàn)仿真與結(jié)果分析

將通過(guò)一個(gè)數(shù)例仿真來(lái)驗(yàn)證所提出的兩種算法的有效性。

考慮如下所示的一個(gè)非線性非仿射系統(tǒng):

其中,t∈ ［0,200］?？刂戚斎牒洼敵龅某踔禐閡0(t)=0,yi(0)=0.5。

參考軌跡定義如下:

為了模擬實(shí)際的外部干擾,在仿真中考慮了如圖2所示的隨機(jī)擾動(dòng)di(t)=0.03rand(1)。

圖2 隨機(jī)擾動(dòng)Fig.2 Random disturbances

為了驗(yàn)證所提出的基于CFIDL的DDAT 方法的有效性,將其與傳統(tǒng)的ILC 方法進(jìn)行了比較?？紤]的傳統(tǒng)PID 型ILC的控制律如下所示:

通過(guò)試湊法設(shè)定傳統(tǒng)PID 型ILC 的增益為KP=0.268,KI=0.163,KD=0.3。為了公平起見(jiàn),將所提出基于CFIDL的DDAT 方法的初始學(xué)習(xí)增益設(shè)為與傳統(tǒng)PID型ILC方法所選增益相同的值,即(t)=0.268(t)=0.163,(t)=0.3。其他控制器的參數(shù)設(shè)置如下:αc=10-4,χc=10-4,βc=10-4,μc=10,η=0.6(t)=0.005,ρc=ε====10-7=0.9,B3=0.6,B4=0.3,B5=0.5。

在圖3和圖4中,給出了仿真結(jié)果。圖3表示系統(tǒng)輸出的跟蹤性能,用藍(lán)色虛線表示系統(tǒng)實(shí)際輸出,紅色實(shí)線表示參考軌跡。圖4分別用藍(lán)色實(shí)線和紅色虛線來(lái)表示基于CFIDL的DDAT 方法和傳統(tǒng)的PID 型ILC方法下系統(tǒng)的跟蹤誤差,其中橫軸表示迭代次數(shù),縱軸表示系統(tǒng)的最大跟蹤誤差。從圖3 和圖4中可以看出,基于CFIDL的方法可以很好地保證系統(tǒng)輸出跟蹤誤差沿迭代方向的收斂性,且收斂速度明顯優(yōu)于傳統(tǒng)的PID 型ILC方法。

圖3 系統(tǒng)輸出描述Fig.3 Profile of system output

圖4 跟蹤誤差的迭代收斂性Fig.4 Iterative convergence of tracking errors

更進(jìn)一步,設(shè)置控制器參數(shù)為:L=3,αp=10-4,χp=10-4,βp=10-4,μp=10,ρp=ε=γψ=γζ=γΓ=10-7=0.9,=0.9,b3=0.6,(t)=［0.005 0.005 0.005］T,b4=0.3,b5=0.5,=0.6(t)=0.268,(t)=0.163,(t)=0.03。采用基于PFIDL的DDAT 方法的仿真結(jié)果如圖4紅色虛線所示。從圖4 可以看出,所提出的基于PFIDL的DDAT 方法相比于所提出的基于CFIDL的DDAT 方法具有更好的控制效果。

5 結(jié)語(yǔ)

本研究提出的兩種DDAT 方法都可以根據(jù)實(shí)際I/O 數(shù)據(jù)動(dòng)態(tài)調(diào)整控制器的學(xué)習(xí)增益,從而有效提高系統(tǒng)對(duì)于不確定性的魯棒性。通過(guò)數(shù)學(xué)分析和仿真驗(yàn)證了所提方法的有效性。一般來(lái)說(shuō),利用更多的數(shù)據(jù)信息可以獲得更好的控制性能。因此,在對(duì)控制輸入進(jìn)行更新時(shí),還可以考慮前一次迭代的輸出信息,從而進(jìn)一步提高控制性能,這些將在今后的工作中進(jìn)行。