雙重不確定系統(tǒng)對偶控制與RLS辨識控制比較分析

楊恒占，高 韻，錢富才

(1.西安工業(yè)大學 電子信息工程學院，西安710021；2.西安理工大學 自動化與信息工程學院，西安710048)

?

雙重不確定系統(tǒng)對偶控制與RLS辨識控制比較分析

楊恒占1，高 韻1，錢富才2

(1.西安工業(yè)大學 電子信息工程學院，西安710021；2.西安理工大學 自動化與信息工程學院，西安710048)

為了辨識雙重不確定性系統(tǒng)未知參數(shù),跟蹤系統(tǒng)目標輸出值，本文對未知參數(shù)隨機系統(tǒng)分別進行了對偶控制和最小二乘(RLS)辨識控制.提出了雙重不確定隨機系統(tǒng)對偶控制和最小二乘辨識控制策略.通過雙重不確定隨機系統(tǒng)仿真，比較分析了對偶控制和最小二乘辨識控制策略的性能．結果表明：該對偶控制策略用于雙重不確定性隨機系統(tǒng)參數(shù)辨識時實時性和穩(wěn)定性優(yōu)于最小二乘辨識控制；隨機系統(tǒng)在運行過程中未知參數(shù)變化時，對偶控制策略仍可有效跟蹤系統(tǒng)目標輸出值，且對偶控制跟蹤誤差和切換之前保持一致，而RLS辨識控制不能有效跟蹤系統(tǒng)目標輸出值，跟蹤失效．

雙重不確定系統(tǒng)；對偶控制；辨識控制；實時性

隨著生產(chǎn)系統(tǒng)愈加復雜，不確定性增加，分析和研究系統(tǒng)所建立的數(shù)學模型也愈加困難．事實上，生產(chǎn)過程的數(shù)學模型都只是實際系統(tǒng)運行過程的近似[1]，不僅受到隨機噪聲干擾，而且系統(tǒng)模型本身也可能存在不確定性，即系統(tǒng)存在雙重不確定性．對于雙重不確定性系統(tǒng)，需要對模型中未知參數(shù)進行辨識，對采集到的信息進行一定的算法處理，構造出最接近實際的模型．對于雙重不確定性系統(tǒng)，傳統(tǒng)方法首先對系統(tǒng)進行激勵，收集系統(tǒng)運行信息，然后對收集的信息進行處理，辨識出未知參數(shù)，最后再依據(jù)辨識結果進行控制．在這個過程中，冀望不僅通過辨識參數(shù)來減少系統(tǒng)的不確定性，而且能有效跟蹤目標[2-4]．因此，迫切需要尋找一種有效的控制方法，把對參數(shù)進行辨識的學習系統(tǒng)與對系統(tǒng)進行目標跟蹤的控制系統(tǒng)結合起來作為整體進行考慮．文獻[5]提出對偶控制思想：跟蹤理想輸出；學習未知參數(shù)．由于控制系統(tǒng)要求控制量要盡可能的小以獲得好的控制效果，而學習系統(tǒng)則要求控制量要盡可能的大以對系統(tǒng)的狀態(tài)和參數(shù)進行有效辨識，兩種作用互相沖突．因此需要在控制與辨識之間實現(xiàn)權衡[6-9]，文獻[10]通過引入新息序列方差的方法，在控制和辨識方面有良好的權衡，而學習因子具有開環(huán)特性，因此受到一定限制．文獻[11]對各種次優(yōu)對偶控制方法進行了分析，取得了一定成果．由于把控制時間分割為若干個單一的階段，控制器具有主動學習性能．為了闡明對偶控制的良好性能，本文針對雙重不確定性隨機系統(tǒng)，在系統(tǒng)參數(shù)發(fā)生變化的情況下，分別采用遞推最小二乘(Recursive Least Square，RLS)辨識控制和對偶控制，通過雙重不確定隨機系統(tǒng)仿真，對最小二乘辨識控制和對偶控制策略的性能進行比較分析，以實現(xiàn)雙重不確定性系統(tǒng)未知參數(shù)的辨識，系統(tǒng)目標輸出值的跟蹤．

1 控制策略

1.1 問題描述

考慮如下離散隨機動態(tài)系統(tǒng)

C(z-1)x(k+1)=D(z-1)u(k)+e(k+1)

(1)

式中：u(k)為控制量；x(k)為系統(tǒng)輸出；e(k)為高斯白噪聲；k為離散時間；α1,α2,…,αn,β0,β1,…,βn為系統(tǒng)參數(shù)；C(z-1)和D(z-1)為n階多項式，z-1為系統(tǒng)的延遲函數(shù)，且有

C(z-1)=1+α1z-1+α2z-2+…+αnz-n;

D(z-1)=β0+β1z-1+β2z-2+…+βnz-n

當系統(tǒng)參數(shù)已知時，只有一種不確定性，即系統(tǒng)外部噪聲帶來的不確定性．若系統(tǒng)中存在未知參數(shù)，或運行過程中參數(shù)發(fā)生變化，系統(tǒng)就具備了雙重不確定性特征：①不受控制的系統(tǒng)外部噪聲；②系統(tǒng)中可通過學習進行逼近的未知參數(shù)．本文考慮具有雙重不確定性的系統(tǒng)，控制器設計既要能夠對未知參數(shù)進行辨識學習，又要能夠跟蹤控制目標．

考慮離散隨機動態(tài)系統(tǒng)最優(yōu)跟蹤控制問題，即

(2)

式中：J為系統(tǒng)性能指標；xr(k+1)為系統(tǒng)設定的目標值，不失一般性，取值為零；E(·)為期望．對離散隨機動態(tài)系統(tǒng)，控制器在k時刻除了知道系統(tǒng)的先驗信息，k時刻之前系統(tǒng)的控制量{u(0),u(1),…,u(k-1)}也可知道，以及直到k時刻的測量量{x(1),x(2),…,x(k)}．這些信息是控制器在k時刻進行設計的基礎，可記為以下集合形式，即

I(k)={u(0),…,u(k-1),x(1),…,x(k)}

其中I(k)為系統(tǒng)的信息集合．

對于動態(tài)未知隨機系統(tǒng)，分別采用RLS辨識控制方法和對偶控制方法求控制量u(k),使性能指標J最?。?/p>

1.2 RLS辨識控制

辨識控制通過最小二乘方法辨識出未知參數(shù)的估計值，把辨識出的參數(shù)替代未知參數(shù)，系統(tǒng)成為已知系統(tǒng)，再使用常規(guī)隨機控制方法進行控制．最小二乘辨識過程中，通過偽隨機序列對系統(tǒng)進行激勵，根據(jù)系統(tǒng)輸出信息對未知參數(shù)進行辨識．

用最小二乘法對未知參數(shù)進行辨識，系統(tǒng)可改寫為

(3)

θ=[α1,…,αn,β0,…,βn]T．

用偽隨機序列產(chǎn)生N個輸入信號u(k)(k= 0,1,…,N-1)，依次施加到實際系統(tǒng)上，測量系統(tǒng)對應的輸出，可得

xN=ΦNθ+eN

(4)

式中：ΦN為辨識信息矩陣；xN為輸出矩陣；eN為高斯白噪聲矢量；N為辨識總次數(shù)，且有

xN=[x(1),x(2),…,x(N)]T；

eN=[e(1),e(2),…,e(N)]T．

已知xN和ΦN，求θ使估計準則H最小，即

參數(shù)估計值為

(5)

(6)

其中f0,f1,…,fn為最小方差控制的系數(shù).

RLS辨識控制把對未知參數(shù)的辨識學習和對系統(tǒng)的目標跟蹤分為完全隔離的兩個階段，第一階段進行單純的參數(shù)辨識，第二階段則依據(jù)辨識的結果進行單純的目標跟蹤控制．

1.3 對偶控制

對偶控制能夠在對系統(tǒng)未知參數(shù)進行辨識的同時，對目標進行跟蹤．對偶控制原理如下：①給未知參數(shù)賦初值，系統(tǒng)運行產(chǎn)生輸出；②根據(jù)系統(tǒng)輸入、輸出信息通過卡爾曼濾波對參數(shù)進行辨識；③用辨識的參數(shù)設計控制器對系統(tǒng)進行控制；④重復②、③步驟．

系統(tǒng)模型由差分形式轉化成狀態(tài)方程，即

(7)

式中：x(k+1)為系統(tǒng)輸出；Φ(k)為控制信息；y(k+1)為系統(tǒng)參數(shù);e(k+1)為高斯白噪聲．且有

Φ(k)=[u(k),…,u(k-m),-x(k),…,-x(k-n)];

y(k)=[β0(k),β1(k),…,βn(k),α1(k),α2(k),…,αn(k)]T;其中β0(k),β1(k),…,βn(k),α1(k),α2(k),…,αn(k)為系統(tǒng)未知參數(shù)．

通過Kalman濾波，可得狀態(tài)方程中參數(shù)y(k)的遞推估計為

(8)

為系統(tǒng)實現(xiàn)一邊控制，一邊學習，根據(jù)動態(tài)規(guī)劃方程，對性能指標加入學習權重λ(k)，且大于1，則性能指標為

(9)

對式(9)求導容易得出最小性能指標，因此，使得性能指標最小的控制量為

(10)

2 仿真及分析

單輸入-單輸出隨機系統(tǒng)為

x(k)+α1x(k-1)+α2x(k-2)=β0u(k-1)+β1u(k-2)+e(k)

(11)

式中：e(k)為高斯白噪聲，且e(k)～N(0,0.05);定義Ω為參數(shù)集合，且有

Ω={β0,β1,α1,α2}.

假定系統(tǒng)參數(shù)真值在20步發(fā)生切換:

20步前參數(shù)真值Ω1={1,0.5,-1.7,0.7};

20步后參數(shù)真值Ω2={0.5,-1,1,-1}.

2.1 RLS辨識控制仿真

采用最小二乘對參數(shù)進行辨識，經(jīng)過20步后對參數(shù)辨識的結果見表1．可以看出辨識結果已經(jīng)接近真值．圖1為對目標值的跟蹤控制情況．在系統(tǒng)參數(shù)切換前，通過最小方差控制對其進行控制，可以看出，系統(tǒng)輸出值很快趨近目標值．第20步參數(shù)發(fā)生切換，由于系統(tǒng)運行過程中仍然使用最初的辨識參數(shù)值，最小方差控制最小方差控制無法對系統(tǒng)進行有效的控制．

2.2 對偶控制仿真

圖2為對偶控制對未知參數(shù)的辨識，其中實線是參數(shù)真值，虛線是系統(tǒng)參數(shù)辨識值．由圖2可以看出，在系統(tǒng)參數(shù)切換前，參數(shù)辨識值逐漸逼近參數(shù)真值；系統(tǒng)參數(shù)切換后，參數(shù)辨識值仍然能夠逐漸逼近真值．

表1 最小二乘參數(shù)辨識結果

Tab.1Parameteridentificationresultsofrecursiveleastsquares

參數(shù)值β0β1α1α2辨識值1.0910.521-1.6950.695真值1.0000.500-1.7000.700

圖1 RLS辨識控制目標跟蹤

圖2 對偶控制參數(shù)辨識

圖3為對目標值的跟蹤控制情況．在系統(tǒng)參數(shù)切換前，系統(tǒng)輸出值經(jīng)過短暫動蕩后(對應參數(shù)辨識最初階段)很快趨近目標值．第20步參數(shù)發(fā)生切換后，系統(tǒng)輸出值經(jīng)過短暫動蕩后(對應新參數(shù)辨識最初階段)很快又趨近目標值．RLS辨識控制盡管在系統(tǒng)新啟動情況下初期階段控制效果好于對偶控制，但是付出的是前期系統(tǒng)專用于參數(shù)辨識的代價，系統(tǒng)運行過程匯總參數(shù)發(fā)生漂移或切換，就無法達到控制目標．而無論是系統(tǒng)新啟動或參數(shù)發(fā)生切換時，對偶控制均能夠重新調整控制策略，對控制目標進行良好跟蹤．

圖3 對偶控制系統(tǒng)目標跟蹤

3 結 論

1) 本文針對雙重不確定性隨機系統(tǒng)，分別進行對偶控制和遞推最小二乘辨識控制，提出了雙重不確定隨機系統(tǒng)對偶控制和最小二乘辨識控制策略．仿真實驗表明，該控制策略穩(wěn)定性、實時性優(yōu)于傳統(tǒng)辨識控制．

2) 系統(tǒng)在運行過程中參數(shù)發(fā)生突變時，對偶控制可進行系統(tǒng)參數(shù)有效辨識，而RLS辨識控制難以有效跟蹤系統(tǒng)目標輸出值．

3) 文中針對線性系統(tǒng)，而對于非線性系統(tǒng)的未知參數(shù)辨識和目標輸出值跟蹤誤差還有待深入研究和討論．

[1]PIEREL,MICHAELA,DAVIDAK.SomePropertiesoftheDualAdaptiveStochasticControlAlgorithm[J].IEEETransonAutomaticControl,1981,26(2):1001.

[2]TSEE,BARS.AnActiveAdaptiveControlforLinearSystemswithRandomParametersviaDualControlApproach[J].IEEETransonAutomaticControl,1973,18(11):109.

[3]FELDBAUMAA.DualControlTheory:I[J].AutomationandRemoteControl,1960,21(2):874.

[4]FELDBAUMAA.DualControlTheory:II[J].AutomationandRemoteControl,1960,21(3):1033.

[5]FELDBAUMAA.DualControlTheory:III[J].AutomationandRemoteControl,1961,22(2):12.

[6]QIANFC,XIEG,LIUD,etal.OptimalControlofLQGProblemwithanExplicitTrade-offBetweenMeanandVariance[J].InternationalJournalofSystemsScience,2011,42(2):1957.

[7]LID,QIANFC,FUPL.VarianceMinimizationApproachforaClassofDualControlProblems[J].IEEETransAutomaticControl,2002,47(12):2010.

[8]BRIANDO.Twenty-fiveSeminalPapersinControl[J].IEEEControlSystemsMagazine,2002,20(1):69.

[9] 郭尚來.隨機控制[M].北京：清華大學出版社,1999.

GUOShanglai.RandomControl[M].Beijing:TsinghuaUniversityPress,1999.(inChinese)

[10] 李鵬波,胡德文.系統(tǒng)辨識基礎[M].北京：中國水利水電出版社,2006.

LIPengbo,HUDewen.SystemIdentificationBasis[M].Beijing:ChinaWaterConservancyandHydropowerPress,2006.(inChinese)

[11] 鄭大鐘.線性系統(tǒng)理論[M].北京：清華大學出版社,2002.

ZHENGDazhong.TheLinearSystemTheory[M].Beijing:TsinghuaUniversityPress,2002.

(inChinese)

(責任編輯、校對 張 超)

Comparative Analysis of Dual Control and RLS Identification Control for System with Dual Uncertainties

YANGHengzhan1，GAOYun1，QIANFucai2

(1.School of Electronic Information Engineering,Xi’an Technological University,Xi’an 710021,China;2.School of Automation and Information Engineering,Xi’an University of Technology,Xi’an 710048,China)

In order to identify unknown parameters and to track system target output value in dual uncertainty system,dual control and recursive least squares (RLS) identification control are presented for the stochastic system.The control strategy of double dual control and the recursive least squares identification controland is put forward.Through dual uncertain stochastic system simulation, the dual control and least squares identification performance of the control strategy are comparatively analyzed.The results show: The dual control strategy is used for dual uncertainty parameter identification of stochastic system,its realtime performance and stability are better than the least squares identification control; When the unknown parameters of stochastic system change in the running process,dual control strategy can still be effective track system for the target output value,and the tracking error is consistent with the value before switching;RLS identification control cannot effectively track system output value,and fails to track.

dual uncertainties system;dual control; identification control;real-time

10.16185/j.jxatu.edu.cn.2016.10.013

2015-11-23

國家自然科學基金重點項目(61533014)；國家自然科學基金(61273127； 61304204)；陜西省國際科技合作重點項目(2015KW-024)；陜西省教育廳專項科學研究計劃項目(16JK1364)

楊恒占(1976-)，男，西安工業(yè)大學講師，主要研究方向為隨機系統(tǒng)、最優(yōu)控制．E-mail：yanghengzhan@xatu.edu.cn.

TP13

A

1673-9965(2016)10-0843-05