迭代學(xué)習(xí)控制的研究現(xiàn)狀*

郝曉弘 ，胡振邦 ，朱 潔 ，秦 睿

(1.蘭州理工大學(xué) 電氣工程與信息工程學(xué)院，甘肅 蘭州 730050；2.甘肅電力科學(xué)研究院，甘肅 蘭州 730050)

基于1978年日本學(xué)者Uchiyama[1]針對高速運動機械手提出的控制思想的進一步發(fā)展，S.Arimoto等人[2]在1984年提出迭代學(xué)習(xí)控制ILC(Iterative Learning Control)的概念。這種離線的學(xué)習(xí)控制過程是利用系統(tǒng)的實際輸出和期望輸出的偏差，通過迭代學(xué)習(xí)算法尋找優(yōu)化的輸入信號，以使得系統(tǒng)的輸出不斷收斂于期望值。學(xué)習(xí)控制是智能控制中最具嚴格數(shù)學(xué)描述的一個方法，而其控制過程不需要依賴動態(tài)系統(tǒng)的精確數(shù)學(xué)模型就可以用非常簡單的方法處理不確定、強耦合、非線性、難以建模的復(fù)雜系統(tǒng)。少量的先驗知識就可以使迭代學(xué)習(xí)控制得以實現(xiàn)，并且重復(fù)運行的次數(shù)越多控制精度越高。因此，學(xué)習(xí)控制一經(jīng)提出就成為自動控制領(lǐng)域最受關(guān)注的熱點之一，并隨其發(fā)展已在很多需要重復(fù)運行的場合得到了應(yīng)用。

1 迭代學(xué)習(xí)控制的基本原理

迭代學(xué)習(xí)控制是對給定控制系統(tǒng)在時間區(qū)間t∈[0，T]內(nèi)，利用被控對象的期望輸出 yd(t)，通過迭代學(xué)習(xí)算法尋找優(yōu)化的控制信號 uk(t)，使得系統(tǒng)響應(yīng) yk(t)相對于y0(t)有所改善。尋找uk(t)的過程就是系統(tǒng)學(xué)習(xí)的過程，且使得當 k趨于 ∞ 時，滿足 yk(t)與 yd(t)的偏差為零，即系統(tǒng)實現(xiàn)實際輸出完全跟蹤期望輸出。

迭代學(xué)習(xí)控制系統(tǒng)基本原理如圖1所示。其中uk、uk+1分別是系統(tǒng)第 k次、第(k+1)次的控制信號，yd是期望輸出，yk、yk+1分別是系統(tǒng)第k次、第(k+1)次的實際輸出。

迭代學(xué)習(xí)控制的目的是在系統(tǒng)結(jié)構(gòu)不變的情況下，通過當前的系統(tǒng)輸入和輸出偏差來尋找下次運行的控制信號。由此可得出迭代學(xué)習(xí)控制的學(xué)習(xí)算法為：

其中L為線性或非線性算子。在這種思想的指導(dǎo)下，S.Arimoto于1984年提出D型學(xué)習(xí)算法，并利用范數(shù)理論對其收斂性作了詳細論證。隨后P型、PI型、PD型學(xué)習(xí)算法應(yīng)運而生。同年S.Arimoto又提出開環(huán)PID型學(xué)習(xí)算法：

圖1 迭代學(xué)習(xí)控制系統(tǒng)基本原理

式中Γ、Φ、Ψ為學(xué)習(xí)增益矩陣。

在此基礎(chǔ)上學(xué)者們又提出了閉環(huán)迭代學(xué)習(xí)算法：

其中L為線性或非線性算子，這種方法是利用先前控制經(jīng)驗和當前輸出誤差對系統(tǒng)期望輸出實現(xiàn)實時跟蹤，并對控制信號加以修正，同時對系統(tǒng)進行鎮(zhèn)定，使系統(tǒng)更快速收斂。

2 迭代學(xué)習(xí)控制的研究問題

2.1 學(xué)習(xí)算法的穩(wěn)定性和收斂性問題

學(xué)習(xí)算法的穩(wěn)定性是學(xué)習(xí)控制系統(tǒng)能夠運行的先決條件，但不只需要穩(wěn)定運行，還需要使學(xué)習(xí)過程收斂于期望值，這樣學(xué)習(xí)控制才更具實際應(yīng)用性。因此如何使學(xué)習(xí)過程穩(wěn)定收斂成為學(xué)習(xí)控制最為重要的研究問題，目前主要的研究分析方法有Lyapunov穩(wěn)定理論、范數(shù)理論、2-D穩(wěn)定理論、算子理論。繼S.Arimoto對線性D型學(xué)習(xí)算法的穩(wěn)定性和收斂條件作了系統(tǒng)的論述之后，學(xué)者們對控制系統(tǒng)的穩(wěn)定性和收斂條件的論證在不斷發(fā)展，研究對象也有所擴展，現(xiàn)已對非線性系統(tǒng)、線性時不變系統(tǒng)、廣義系統(tǒng)等系統(tǒng)的穩(wěn)定性和收斂條件作了研究，并且提出了既能夠提高系統(tǒng)穩(wěn)定性，又能夠放寬收斂條件的基于反饋的迭代學(xué)習(xí)控制算法[3]：

圖2為基于反饋的迭代學(xué)習(xí)控制系統(tǒng)拓撲圖。控制系統(tǒng)在學(xué)習(xí)控制算法的作用下實現(xiàn)對期望軌跡的完全跟蹤，在反饋控制器的作用下實現(xiàn)系統(tǒng)鎮(zhèn)定，抑制外部擾動。

圖2 基于反饋的迭代學(xué)習(xí)控制系統(tǒng)

2.2 學(xué)習(xí)速度問題

迭代學(xué)習(xí)控制的收斂性是基于迭代次數(shù)k趨于無窮時得到的，但實際應(yīng)用中應(yīng)在較少的迭代次數(shù)下使系統(tǒng)穩(wěn)定收斂。因此，如何使學(xué)習(xí)控制算法更快速地收斂于期望值的問題越來越受到關(guān)注。但目前對收斂性的分析較多，而對于學(xué)習(xí)速度的研究成果較少，主要通過設(shè)計新的迭代學(xué)習(xí)算法來提高系統(tǒng)收斂速度，如Z.Bien等人[4]在1989年提出了高階學(xué)習(xí)算法：

高階學(xué)習(xí)算法利用了較多的歷史控制信息，使控制精度更高并能更快速收斂，并且在擾動存在的情況下抑制擾動的能力更強。但學(xué)習(xí)階次N越大計算量也就越大，同時存儲量也會相應(yīng)增加，因此在實際應(yīng)用中應(yīng)選取適當?shù)碾A次。

2.3 初始狀態(tài)問題

在迭代學(xué)習(xí)控制的實際應(yīng)用中，假設(shè)系統(tǒng)每次重復(fù)運行時的初始狀態(tài)與期望初態(tài)相等是保證迭代學(xué)習(xí)控制算法具有收斂性的前提條件，但由于迭代學(xué)習(xí)控制是采用多次重復(fù)操作的方式得以實現(xiàn)的，因此難免在重復(fù)定位操作時不產(chǎn)生初始狀態(tài)誤差，而系統(tǒng)初始狀態(tài)誤差會直接影響學(xué)習(xí)算法的收斂性，導(dǎo)致系統(tǒng)無法實現(xiàn)完全跟蹤期望軌跡，因此對初始狀態(tài)誤差的研究對迭代學(xué)習(xí)控制的應(yīng)用有著非常重要的實際意義。繼Heinzinger等在參考文獻[5]中提出了采用D型學(xué)習(xí)算法時由于系統(tǒng)初始狀態(tài)誤差而導(dǎo)致學(xué)習(xí)算法發(fā)散的實例之后，學(xué)者們對迭代學(xué)習(xí)控制初始狀態(tài)誤差問題越來越重視，并做了大量研究。針對系統(tǒng)初態(tài)誤差的問題，S.Arimoto等[6]提出帶遺忘因子的P型學(xué)習(xí)算法目前帶遺忘因子的PID學(xué)習(xí)算法的一般形式為：

其中α∈[0，1)。可見帶遺忘因子的迭代學(xué)習(xí)算法可使控制系統(tǒng)隨迭代次數(shù)增加，先前的控制作用逐漸減小，使控制信號變化平穩(wěn)，減小初始狀態(tài)誤差對系統(tǒng)造成的影響。任雪梅[7]提出以D型學(xué)習(xí)算法為基礎(chǔ)的任意初始狀態(tài)下的迭代學(xué)習(xí)控制算法，無需假設(shè)每次重復(fù)運行的初始狀態(tài)和期望初始狀態(tài)相等，而通過使控制信號和初始狀態(tài)同時學(xué)習(xí)的方式來實現(xiàn)對期望軌跡的完全跟蹤，之后的學(xué)者[8]對此方法進行了改進和完善。此后黃寶健等[9]及Sun[10]在學(xué)習(xí)控制算法中引入初態(tài)誤差校正量，以解決初態(tài)誤差對系統(tǒng)收斂性產(chǎn)生影響的問題。Chen等[11]成功將遺忘因子引入高階學(xué)習(xí)算法，通過遺忘因子與高階學(xué)習(xí)算法的結(jié)合，使得初始狀態(tài)誤差控制在系統(tǒng)的迭代初期，避免控制信號有較大波動。

2.4 魯棒性問題

迭代學(xué)習(xí)控制的魯棒性問題在S.Arimoto提出迭代學(xué)習(xí)控制這一概念伊始就已提及，魯棒性問題對工程實現(xiàn)有著重要意義，其主要研究的是當?shù)鷮W(xué)習(xí)控制系統(tǒng)存在初始狀態(tài)誤差、測量噪聲和其他不確定擾動的情況下系統(tǒng)的跟蹤性能，也就是當各種擾動存在時的學(xué)習(xí)控制系統(tǒng)能否收斂到期望軌跡。Heinzinger對存在初態(tài)誤差和狀態(tài)擾動的非線性系統(tǒng)的魯棒性進行了分析，并提出帶遺忘因子的D型學(xué)習(xí)控制算法以提高學(xué)習(xí)控制系統(tǒng)的魯棒性。Saab[12]對存在初態(tài)誤差、狀態(tài)擾動、測量噪聲以及期望軌跡變動的控制系統(tǒng)，采用帶遺忘因子的D型學(xué)習(xí)算法對系統(tǒng)的魯棒性進行了討論。孫明軒[13]對P型和D型迭代學(xué)習(xí)算法的魯棒性進行了分析，并給出了學(xué)習(xí)算法的魯棒性條件以及算法收斂性所要求的漸進干擾條件。

從系統(tǒng)性能上來看，迭代學(xué)習(xí)控制可以保證控制系統(tǒng)在重復(fù)運行方向的收斂性，而魯棒控制可以保證控制系統(tǒng)在時間軸方向的收斂性，并且迭代學(xué)習(xí)控制可以很好地解決控制系統(tǒng)的結(jié)構(gòu)不確定性，魯棒控制可以解決控制系統(tǒng)的非結(jié)構(gòu)不確定性，因而采用迭代學(xué)習(xí)控制和魯棒控制相結(jié)合的方法可以有效提高控制系統(tǒng)的收斂性和魯棒性。

3 迭代學(xué)習(xí)控制研究的應(yīng)用

迭代學(xué)習(xí)控制憑借其適合高精度控制場合的優(yōu)點，在很多具有重復(fù)運行特性的實際控制系統(tǒng)中得到了廣泛的應(yīng)用。工業(yè)機器人就是非線性、強耦合、具有重復(fù)運行特性的復(fù)雜控制系統(tǒng)，因此工業(yè)機器人成為迭代學(xué)習(xí)控制在應(yīng)用領(lǐng)域的典型代表，同時涌現(xiàn)出大量的研究成果，并且利用其他控制理論與迭代學(xué)習(xí)控制相結(jié)合的方法在機器人領(lǐng)域也得到了長足的進展。迭代學(xué)習(xí)控制不僅在機器人控制中得到了應(yīng)用，還在電力系統(tǒng)暫態(tài)穩(wěn)定問題分析、勵磁控制器、液壓系統(tǒng)等具有實際工程意義的控制系統(tǒng)中取得了較好的控制效果。石陽春等[14]將迭代學(xué)習(xí)控制應(yīng)用于長行程直線電機的控制中，并提出了一種采用開閉環(huán)D型迭代學(xué)習(xí)控制器與前饋補償相結(jié)合的方法對永磁直線同步電動機(PMLSM)進行運動控制，可以有效地降低系統(tǒng)位置跟蹤誤差。黃摯雄等[15]則將迭代學(xué)習(xí)控制應(yīng)用在中藥生產(chǎn)過程中的提取工段，設(shè)計了以迭代學(xué)習(xí)控制算法為核心的先進控制系統(tǒng)，并對控制系統(tǒng)做了仿真。結(jié)果表明該控制系統(tǒng)取得了令人滿意的控制效果，在試驗階段的實際投入運行過程中取得理想的控制精度，提高了提取率，穩(wěn)定了產(chǎn)品質(zhì)量，降低了生產(chǎn)成本，提高了生產(chǎn)效率，取得了較好的經(jīng)濟效益。隨著迭代學(xué)習(xí)控制理論的不斷發(fā)展及工程實現(xiàn)難度的逐漸降低，迭代學(xué)習(xí)控制的實際應(yīng)用領(lǐng)域一定會越來越廣。

迭代學(xué)習(xí)控制對于具有重復(fù)運動特性的不確定控制系統(tǒng)具有很好的控制效果，并且以其高精度逼近期望軌跡、易于與其他控制方法相結(jié)合的特性使應(yīng)用范圍不斷拓寬，在控制領(lǐng)域的地位必將越來越重要。

[1]UCHIYAMA M.Formulation of high-speed motion pattern of a mechanical arm by trial[C].Trans of the SICE，1978，14(6):706-712.

[2]ARIMOTO S， KAWAMURA S， MIYAZAKI F.Bettering operation of robots by learning[J].J.of Robotic Systems，1984，1(2):123-140.

[3]TAE J J， CHONG H C， HYUN S A.Iterative learning control in feedback systems[J].Automatic， 1995，31(2):243-248.

[4]BIEN Z，HUH K M.Higher-order iterative learning control algorithm[C].IEE Proc.of Control Theory and Applications，1989，136(3):105-112.

[5]HEINZINGER G， FENWICK D， PADEN B， et al.Robust learning control[C].Proc.of the 28th IEEE Conf.on Dec.Contr.， Tampa， Florida， 1989:436-440.

[6]ARIMOTO S， NANIWA T， SUZUKI H.Robustness of P-type learning control with a forgetting factor for robotic motions[C].Proc.of the 29th IEEE Conf.on Dec.and Contr.，Honoluu Hawaii，1990:2640-2645.

[7]任雪梅，高為炳.任意初始狀態(tài)下的迭代學(xué)習(xí)控制[J].自動化學(xué)報，1994，20(1)：74-79.

[8]孫明軒.初態(tài)學(xué)習(xí)下的迭代學(xué)習(xí)控制[J].控制與決策，2007，22(8):848-852.

[9]黃寶健，孫明軒，張學(xué)智.帶有初始誤差修正的迭代學(xué)習(xí)控制[J].自動化學(xué)報，1999，25(5):716-718.

[10]SUN M，WANG D.Initial condition issues on iterative learning control for non-linear systems with time delay[J].Int.J.of Sys.Science， 2001，32(11):1365-1375.

[11]CHEN Y， GONG Z， WEN C.Analysis of a high-order iterative learning control algorithm for uncertain nonlinear systems with state delays[J].Automatic， 1998，34(3):345-353.

[12]SAAB SS， VOGT WG， MICKLE MH.Iterative learning control algorithms for tracking “slowly” varying trajectories[C].IEEE Trans.on SMC， 1997，27(4):657-632.

[13]孫明軒.迭代學(xué)習(xí)控制系統(tǒng)的魯棒性分析[J].科技通報，1996，12(4):198-203.

[14]石陽春，周云飛，李鴻，等.長行程直線電機的迭代學(xué)習(xí)控制[J].中國電機工程學(xué)報，2007，27(24):92-96.

[15]黃摯雄，羅安，黎群輝.迭代學(xué)習(xí)控制算法在中藥生產(chǎn)過程提取工段的應(yīng)用 [J].儀器儀表學(xué)報，2007，28(8):1434-1439.