點到點二階參數(shù)優(yōu)化迭代學(xué)習(xí)控制算法

曾慶山， 熊戰(zhàn)磊， 尹明俊

(鄭州大學(xué) 電氣工程學(xué)院 河南 鄭州 450001)

0 引言

在諸如自動化生產(chǎn)線、機械臂、工業(yè)機械手等自動化過程的跟蹤控制中，無法跟蹤全部數(shù)據(jù)點，只能在某些特定的數(shù)據(jù)點上進行有效檢測。 因此，針對這些特定數(shù)據(jù)點進行高精度的點到點跟蹤控制研究具有重要的實際意義。

最早的點到點跟蹤問題主要集中于研究一類終點跟蹤問題，點對點跟蹤控制問題的解決思路是：設(shè)計一條經(jīng)過特定跟蹤點的軌跡，把問題轉(zhuǎn)化為一般的全軌跡跟蹤問題。 這種方法主要關(guān)心跟蹤軌跡的設(shè)計。 文獻[1]提出了終端迭代學(xué)習(xí)控制算法來解決列車進站問題。 文獻[2-3]提出了一種基于優(yōu)化跟蹤誤差的方法來直接得到輸入，該方法的優(yōu)勢在于不需要設(shè)計初始軌跡，但是并沒有給出解決方案來克服外界干擾。 針對有初始狀態(tài)擾動的點到點跟蹤控制問題，文獻[4]提出一種基于插值法軌跡更新的P型閉環(huán)迭代學(xué)習(xí)控制算法，算法的跟蹤性能有了很大的改善， 但并沒有考慮算法的優(yōu)化問題，進而提升算法的收斂速度和跟蹤精度。 文獻[5]針對非線性擾動作用的離散線性系統(tǒng)的輸出跟蹤控制問題，提出了基于參考軌跡更新的點到點迭代學(xué)習(xí)控制算法， 在控制律的設(shè)計中引入范數(shù)優(yōu)化思想，討論了無擾動和非重復(fù)擾動情形下算法的收斂性和魯棒性。 但是文獻[5]僅利用當(dāng)前次迭代得到的信息，沒有利用以前多次迭代過程中得到的信息來提高算法的跟蹤性能。 文獻[6-7]指出在算法穩(wěn)定的前提下，指數(shù)變增益學(xué)習(xí)律能有效提高算法的學(xué)習(xí)效率和收斂速度。 因此，在進行目標(biāo)軌跡更新過程中，將固定的學(xué)習(xí)增益λ改為隨迭代變化的指數(shù)變增益eγ(k)，一方面能夠克服固定學(xué)習(xí)增益選取的盲目性，另一方面還能有效提高更新速度、減少算法的運行時間。 文獻[8-13]采用范數(shù)優(yōu)化的思想，將點到點跟蹤與優(yōu)化思想結(jié)合，充分利用點到點跟蹤中的額外自由度，從而實現(xiàn)需求的性能指標(biāo)。 文獻[14]針對線性時不變離散系統(tǒng)的跟蹤問題，提出一種高階參數(shù)迭代學(xué)習(xí)控制算法，利用了以前多次迭代過程的輸入、輸出信息來構(gòu)造新的控制輸入，可有效提高算法沿迭代方向的收斂速度和魯棒性。

在迭代學(xué)習(xí)控制中，高階算法能夠削弱系統(tǒng)噪聲和外界干擾對跟蹤性能的影響，從而能夠快速、高精度地跟蹤控制。 與范數(shù)優(yōu)化理論相比，迭代學(xué)習(xí)控制參數(shù)優(yōu)化技術(shù)在工程上更容易實現(xiàn)。 因此，為解決點到點跟蹤控制中存在的參考軌跡更新速度慢、跟蹤精度低、學(xué)習(xí)速度慢、魯棒性低等問題，本文提出一種快速參考軌跡更新的點到點二階參數(shù)優(yōu)化迭代學(xué)習(xí)控制算法。 在進行參考軌跡更新的過程中，將固定更新增益λ改為隨迭代變化的指數(shù)變增益eγ(k)，目的是使新的參考軌跡快速逼近系統(tǒng)輸出。 在控制律的設(shè)計中，盡可能多地利用迭代過程中得到的輸入、輸出信息，從而實現(xiàn)目標(biāo)點的實際輸出快速、高精度地跟蹤期望輸出，并提高算法的魯棒性。

1 問題描述分析

考慮如下的單輸入、輸出離散線性時不變系統(tǒng)中某些特定點的跟蹤控制問題

(1)

其中：CB≠0；k表示迭代次數(shù)；t∈[0,T]表示系統(tǒng)采樣時間區(qū)間；xk(t)∈Rm,uk(t)∈R,yk(t)∈R分別為系統(tǒng)(1)第k次迭代t時刻的狀態(tài)、輸入及輸出變量；A,B,C分別為相應(yīng)維數(shù)的實矩陣。系統(tǒng)(1)的期望輸出軌跡為yd(t)∈R；定義ud=[ud(0),ud(1),…,ud(N-1)]T為最優(yōu)跟蹤時的系統(tǒng)輸入；定義ek(t)為系統(tǒng)第k次迭代t時刻的跟蹤誤差，即ek(t)=yd(t)-yk(t)。

將狀態(tài)空間形式的系統(tǒng)模型(1)轉(zhuǎn)換為基于時間序列的輸入、輸出形式矩陣模型，等價為

yk=Guk+d。

(2)

其中G和d分別為

定義uk和yk分別為輸入和輸出的時間序列向量:

定義yd和ek分別為期望輸出和系統(tǒng)跟蹤誤差向量:

2 算法提出

2.1 快速參考軌跡更新

在點到點的跟蹤控制中，只要求在某些特定的數(shù)據(jù)點上實現(xiàn)完全跟蹤。 因此，可以充分考慮對特定點跟蹤控制的自由性，對參考軌跡進行更新，從而減少算法運行時間和提高學(xué)習(xí)效率。 在需要跟蹤的特定時間點T={t1,t2,…,ts}處，要求rk(ti)=r0(ti)=yd(ti)。 不需要跟蹤的時間點處進行參考軌跡更新，使新參考軌跡逐漸逼近系統(tǒng)輸出，即‖rk+1-yk‖≤‖rk-yk‖。rk+1為第k次更新后的參考軌跡。文獻[4]指出可以通過插值法對參考軌跡更新，并設(shè)計P型閉環(huán)控制律。 即

(3)

式(3)中λ滿足

(4)

在進行如式(3)的參考軌跡更新過程中，λ和Γ一般選取固定值，因而存在一定的隨機性，使得算法存在參考軌跡更新速度慢、運行時間長等問題。 為了克服這些問題，考慮將λ改為隨迭代變化的指數(shù)變增益eγ(k)。參考軌跡更新方法為

rk+1=rk+(eγ(k)-1)·(rk-yk)。

(5)

定理1在點到點跟蹤問題中，采用如式(5)的參考軌跡更新方法，使‖rk+1-yk‖≤‖rk-yk‖成立的充分條件是γ(k)滿足

證明由式(5)可得rk+1-yk=rk-yk+(eγ(k)-1)·(rk-yk)=eγ(k)·(rk-yk)，‖rk+1-yk‖=‖eγ(k)·(rk-yk)‖≤eγ(k)·‖(rk-yk)‖。

在需要跟蹤的時間點t∈{t1,t2,…,ts}處，要求rk(ti)=r0(ti)=yd(ti)。 在第k次迭代時若滿足γ(k)=0及r0(ti)=yd(ti)時，從而rk+1(ti)=rk(ti)=…=r0(ti)=yd(ti)，滿足要求。

在不需要跟蹤的時間點t∈[0，N]且t?{t1,t2,…,ts}處，為了讓新的參考軌跡快速逼近系統(tǒng)輸出，進行參考軌跡更新，并將傳統(tǒng)的固定更新增益λ改為隨迭代變化的eγ(k)形式。 第k次迭代時，在所有不需要跟蹤的時間點處，若滿足γ(k)<0時，那么eγ(k)<1，從而‖rk+1-yk‖≤‖rk-yk‖成立。

2.2 點到點二階參數(shù)優(yōu)化迭代學(xué)習(xí)控制算法

高階算法利用以前多次迭代的控制輸入和跟蹤誤差進行加權(quán)處理，來提高算法的跟蹤性能。 針對系統(tǒng)(1)的點到點跟蹤控制問題，考慮點到點二階參數(shù)優(yōu)化迭代學(xué)習(xí)控制算法

uk+1(t)=uk(t)+β1,k+1(t)ek(t+1)+β2,k+1(t)ek-1(t+1),t∈T,

(6)

其中：ek(t+1)表示當(dāng)前次迭代的誤差信息；ek-1(t+1)表示上一次迭代得到的誤差信息；參數(shù)β1,k+1、β2,k+1的目標(biāo)優(yōu)化函數(shù)為

J=‖ek+1‖2+w1·‖β1,k+1‖2+w2·‖β2,k+1‖2,w1>0,w2>0,

(7)

其中：β1,k+1=[β1,k+1(0),β1,k+1(1),…,β1,k+1(N-1)]T；β2,k+1=[β2,k+1(0),β2,k+1(1),…,β2,k+1(N-1)]T。

根據(jù)系統(tǒng)(1)可得

(8)

其中：Δek+1(t)=ek+1(t)-ek(t)； Δxk+1(t)=xk+1(t)-xk(t)； Δuk+1(t)=uk+1(t)-uk(t)。

式(8)可以轉(zhuǎn)換為

-Δek+1=Gkβk+1,

(9)

其中：βk+1=[β1,k+1(0),β2,k+1(0),β1,k+1(1),β2,k+1(1)，…，β1,k+1(N-1),β2,k+1(N-1)]T；

Bk(t)=B[ek(t),ek-1(t)]；W=diag{w1,w2,…,w1,w2}。

將式(9)代入式(7)可得

J=‖ek+Gkβk+1‖2+w1·‖β1,k+1‖2+w2·‖β2,k+1‖2=‖ek+Gkβk+1‖2+W·‖βk+1‖2。

(10)

通過目標(biāo)優(yōu)化函數(shù)J對βk+1求偏導(dǎo)，求得每一次迭代時的最優(yōu)參數(shù)β1,k+1和β2,k+1，從而隨著迭代的進行，跟蹤誤差單調(diào)快速收斂。 通過式(10)對βk+1求偏導(dǎo)得到

(11)

證明將非最優(yōu)解β1,k+1=0,β2,k+1=0代入目標(biāo)函數(shù)J得

‖ek+1‖2≤‖ek+1‖2+w1·‖β1,k+1‖2+w2·‖β2,k+1‖2≤‖ek‖2。

(12)

用算法(6)進行點到點跟蹤控制的過程中，通過式(11)對控制律中的參數(shù)進行優(yōu)化可以保證‖ek+1‖<‖ek‖。

(13)

Sk(ti)=(CBk(ti))Tek(ti)+(CABk(ti))Tek(ti+1)+…+(CAN-tiBk(ti))Tek(N)=

(CB[ek(ti),ek-1(ti)])Tek(ti)+(CAB[ek(ti),ek-1(ti)])Tek(ti+1)+…+

(CAN-tiB[ek(ti),ek-1(ti)])Tek(N)。

Sk(ti)=(CAt1-tiB[ek(ti),ek-1(ti)])Tek(t1)+(CAt2-tiB[ek(ti),ek-1(ti)])Tek(t2)+…+

(CAts-tiB[ek(ti),ek-1(ti)])Tek(ts)。

2.3 快速參考軌跡更新的點到點二階參數(shù)優(yōu)化迭代學(xué)習(xí)控制算法

為提高算法的跟蹤性能，并應(yīng)用于一類離散線性時不變系統(tǒng)的點到點跟蹤控制中，考慮算法

(14)

為使算法表現(xiàn)出高跟蹤性能，隨迭代變化的指數(shù)變增益eγ(k)需要滿足定理1； 參數(shù)β1,k+1、β2,k+1的最優(yōu)解由式(10)解得。

3 仿真分析

為了驗證算法的有效性和科學(xué)性，考慮如下的電機驅(qū)動單機械臂控制系統(tǒng)[5], 其動態(tài)模型為

(15)

電機控制系統(tǒng)的實際變量參數(shù)分別設(shè)定為Kt=1 N·m、Kb=0.085 V·s/rad、Rr=0.075 Ω、Bc=0.015 kg·m2/s、Dc=0.05、l=0.6 m、m1=0.05 kg、m2=0.01 kg、Ξ=0.05 kg·m2、Γ=0.000 8 Ω、g=9.8 m/s2。系統(tǒng)仿真時間設(shè)定為t=2 s，采樣時間設(shè)定為ts=0.1 s，則系統(tǒng)的離散狀態(tài)空間表達式的矩陣參數(shù)可表示為

從而可以將動態(tài)模型(15)轉(zhuǎn)換為

圖1給出了點到點二階參數(shù)優(yōu)化迭代學(xué)習(xí)控制算法的系統(tǒng)輸出誤差范數(shù)在迭代域上的收斂情況。 從圖1中可以看出，僅僅經(jīng)過幾次迭代，算法(14)就能表現(xiàn)出較好的跟蹤性能。

在實際的工業(yè)過程中，很難保證外部干擾等不確定性在每一次試驗時都是相同的。 因此，考慮存在建模誤差ΔG和非重復(fù)性外部干擾r時，測試二階參數(shù)優(yōu)化點到點迭代學(xué)習(xí)控制算法的魯棒性。在系統(tǒng)(15)中加入模型誤差ΔG和非重復(fù)性外部干擾r，則

圖2給出了存在建模誤差ΔG時，點到點二階參數(shù)優(yōu)化迭代學(xué)習(xí)控制算法的系統(tǒng)輸出誤差范數(shù)在迭代域上的收斂情況。 圖3給出了存在非重復(fù)性外部干擾r時，點到點二階參數(shù)優(yōu)化迭代學(xué)習(xí)控制算法的系統(tǒng)輸出誤差范數(shù)在迭代域上的收斂情況。 結(jié)合圖2和圖3可以得出，ΔG或r的存在使得算法(14)的跟蹤性能受到了影響。 但是隨著迭代的進行，算法(14)仍然能夠表現(xiàn)出良好的跟蹤性能。

圖2 ΔG存在時，算法(14)的跟蹤誤差Figure 2 Tracking error of algorithm (14) when ΔG exists

圖3 r存在時，算法(14)的跟蹤誤差Figure 3 Tracking error of algorithm (14) when rexists

圖4 ΔG和r存在時，算法(14)的跟蹤誤差Figure 4 Tracking error of algorithm (14) when ΔG and r exist

圖4給出了同時存在模型誤差ΔG和非重復(fù)外部干擾r時，點到點二階參數(shù)優(yōu)化迭代學(xué)習(xí)控制算法的系統(tǒng)輸出誤差范數(shù)在迭代域上的收斂情況。 結(jié)合前文分析和仿真結(jié)果，所提算法能夠應(yīng)對實際系統(tǒng)中存在的不確定性并表現(xiàn)出較好的跟蹤性能。 因此，可以將算法(14)應(yīng)用到一類離散線性時不變系統(tǒng)的點到點跟蹤控制問題中。

圖5給出了算法(14)、固定更新增益二階參數(shù)優(yōu)化算法、固定更新增益P型閉環(huán)[4]點到點迭代學(xué)習(xí)控制算法的系統(tǒng)輸出誤差范數(shù)，在迭代域上的收斂情況。 圖6給出了存在模型誤差ΔG和非重復(fù)外部干擾r時，3種算法更新后的參考軌跡，在非跟蹤點處的輸出與實際輸出之間的誤差范數(shù)在迭代域上的收斂情況。 從圖6可以看出，采用算法(14)提高了參考軌跡的更新速率，快速逼近實際輸出。

圖5 3種算法的跟蹤性能比較Figure 5 Comparison of tracking performance among the three algorithms

圖6 3種算法的軌跡更新速率比較Figure 6 Comparison of trajectory update rates among the three algorithms

采用算法(14)的優(yōu)勢在于，一方面能夠使參考軌跡快速更新；另一方面更多地利用以前多次迭代過程中已獲得的信息來構(gòu)造新的控制輸入并對參數(shù)優(yōu)化，提高了算法的收斂速度和跟蹤精度。 并且高階算法能夠削弱系統(tǒng)噪聲對跟蹤性能的影響，即使存在建模誤差和輸出誤差等不確定性時，算法(14)仍然能夠?qū)ο到y(tǒng)(15)快速、高精度地跟蹤控制。

4 結(jié)論

針對一類離散線性時不變系統(tǒng)的點到點跟蹤控制問題，本文提出一種快速參考軌跡更新的點到點二階參數(shù)優(yōu)化迭代學(xué)習(xí)控制算法。 將參數(shù)優(yōu)化思想和點到點迭代學(xué)習(xí)控制結(jié)合，用于點到點跟蹤控制中，來提高算法的跟蹤性能。 在控制律的設(shè)計中采用時變的學(xué)習(xí)增益參數(shù)βk+1(t)來取代傳統(tǒng)固定增益參數(shù)βk+1，使得參數(shù)的選取更加靈活自由，該算法同樣適用于非正定系統(tǒng)。

與以往的研究成果相比，本文算法具有如下兩個優(yōu)點：第一，在進行參考軌跡更新過程中, 加入隨迭代過程變化的指數(shù)變增益eγ(k)，新的參考軌跡能夠以更快的速度逼近系統(tǒng)輸出； 第二，考慮到高階算法具備更好的跟蹤性能，利用以前多次迭代過程的輸入、輸出信息來構(gòu)造新的控制輸入，并對參數(shù)進行優(yōu)化，從而實現(xiàn)快速、高效的跟蹤控制。