傳遞函數(shù)辨識(shí)(22): 線性回歸系統(tǒng)的遞階迭代參數(shù)估計(jì)

丁 鋒, 劉喜梅

(1. 江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院, 江蘇 無(wú)錫 214122; 2. 青島科技大學(xué) 自動(dòng)化與電子工程學(xué)院, 山東 青島 266061)

迭代辨識(shí)方法包括基本的梯度迭代辨識(shí)方法、最小二乘迭代辨識(shí)方法、牛頓迭代辨識(shí)方法等,所以結(jié)合遞階辨識(shí)原理，派生出遞階梯度迭代辨識(shí)方法、遞階最小二乘迭代辨識(shí)方法、遞階牛頓迭代辨識(shí)方法等。將遞階辨識(shí)原理與輔助模型辨識(shí)思想相結(jié)合,誕生出的迭代辨識(shí)方法包括輔助模型遞階梯度迭代辨識(shí)方法、輔助模型遞階最小二乘迭代辨識(shí)方法、輔助模型遞階牛頓迭代辨識(shí)方法等。

將遞階辨識(shí)原理與多新息辨識(shí)理論相結(jié)合,誕生出的迭代辨識(shí)方法包括遞階多新息梯度迭代辨識(shí)方法、遞階多新息最小二乘迭代辨識(shí)方法、遞階多新息牛頓迭代辨識(shí)方法等。將遞階辨識(shí)原理與輔助模型辨識(shí)思想、多新息辨識(shí)理論相結(jié)合,誕生出的迭代辨識(shí)方法包括輔助模型遞階多新息梯度迭代辨識(shí)方法、輔助模型遞階多新息最小二乘迭代辨識(shí)方法、輔助模型遞階多新息牛頓迭代辨識(shí)方法。

在一些系統(tǒng)辨識(shí)學(xué)術(shù)專著[1-6]和連載論文[7-16]中,先后介紹了動(dòng)態(tài)系統(tǒng)和信號(hào)模型的參數(shù)估計(jì)方法。最近在“大系統(tǒng)的遞階辨識(shí)”論文[17]基礎(chǔ)上,結(jié)合梯度搜索和最小二乘搜索原理,連載論文[16]研究線性回歸系統(tǒng)的遞階遞推辨識(shí)方法和遞階遞推多新息辨識(shí)方法等。進(jìn)一步,本工作利用迭代搜索技術(shù)[5],研究線性回歸系統(tǒng)的遞階(多新息)梯度迭代辨識(shí)方法和遞階(多新息)最小二乘迭代辨識(shí)方法。提出的遞階迭代辨識(shí)方法可以推廣用于其他線性和非線性隨機(jī)系統(tǒng)，以及信號(hào)模型的參數(shù)辨識(shí)[18-29]。

1 線性回歸系統(tǒng)的遞階辨識(shí)模型

《系統(tǒng)辨識(shí)——迭代搜索原理與辨識(shí)方法》[5]詳細(xì)介紹了線性回歸系統(tǒng)的梯度迭代辨識(shí)方法和多新息梯度迭代辨識(shí)方法。這里應(yīng)用遞階辨識(shí)原理于線性回歸系統(tǒng),研究基于分解的遞階梯度迭代辨識(shí)方法和遞階多新息梯度迭代辨識(shí)方法。

考慮下列線性回歸系統(tǒng)，

y(t)=φT(t)?+v(t),

(1)

其中y(t)∈是系統(tǒng)輸出變量,v(t)∈是零均值隨機(jī)白噪聲,?∈n為待辨識(shí)的參數(shù)向量,φ(t)∈n是由時(shí)刻t以前的輸出y(t)和時(shí)刻t及以前的輸入u(t)等變量構(gòu)成的回歸信息向量。假設(shè)維數(shù)n已知。不特別申明,設(shè)t≤0時(shí),各變量的初值為零,這里意味著y(t)=0，φ(t)=0，v(t)=0。

將參數(shù)向量?分解為N個(gè)維數(shù)為ni的子參數(shù)向量(sub-parameter vector)?i,將信息向量φ(t)分解為N個(gè)維數(shù)為ni的子信息向量(sub-information vector)φi(t)如下:

?i∈ni,φi(t)∈ni,n1+n2+…+nN=n。

于是，可以把系統(tǒng)(1)分解為N個(gè)虛擬子系統(tǒng)(fictitious subsystem),即遞階辨識(shí)模型(hierarchical identification model,H-ID模型):

(2)

(3)

(4)

yi(t)∈是虛擬子系統(tǒng)的輸出,αi(t)∈稱為各子系統(tǒng)間的關(guān)聯(lián)項(xiàng)(associate item),它是通過(guò)參數(shù)?j(j≠i)耦合的。

迭代辨識(shí)算法通常采用批數(shù)據(jù)估計(jì)系統(tǒng)參數(shù)。這里辨識(shí)的目的是利用觀測(cè)信息{y(t),φ(t)},推導(dǎo)估計(jì)線性回歸系統(tǒng)(1)未知參數(shù)向量?的遞階梯度迭代辨識(shí)方法和遞階多新息梯度迭代辨識(shí)方法。

2 遞階梯度迭代辨識(shí)方法

2.1 遞階梯度迭代辨識(shí)算法

定義堆積輸出向量Y(L)和堆積信息矩陣Φ(L)，以及虛擬堆積輸出向量Yi(L)和堆積子信息矩陣Φi(L)如下:

(5)

(6)

(7)

Φ(L)=

[Φ1(L),Φ2(L),…,ΦN(L)]∈L×n。

(8)

則準(zhǔn)則函數(shù)J1i(?i)可以等價(jià)表示為

令k=1,2,3,…為迭代變量,μi>0是迭代步長(zhǎng)(收斂因子)。使用負(fù)梯度搜索，極小化J1i(?i)，得到梯度迭代關(guān)系:

(9)

(10)

由于特征值計(jì)算很復(fù)雜，故收斂因子也可簡(jiǎn)單取為

(11)

注意到虛擬子系統(tǒng)的堆積輸出向量Yi(L)是未知的，將式(7)代入式(9)得到

(12)

式(10)～(12),(5)～(6)和(8)構(gòu)成了估計(jì)線性回歸系統(tǒng)(1)參數(shù)向量?的遞階梯度迭代算法(hierarchical gradient-based iterative algorithm，HGI算法):

(13)

(14)

或

μi≤2‖Φi(L)‖-2,

(15)

Y(L)=[y(1),y(2),…,y(L)]T,

(16)

Φ(L)=[φ(1),φ(2),…,φ(L)]T,

(17)

Φ(L)=[Φ1(L),Φ2(L),…,ΦN(L)],

(18)

(19)

(20)

表1 遞階梯度迭代(HGI)算法的計(jì)算量Table 1 Computational efficiency of the HGI algorithm

圖1 遞階梯度迭代(HGI)算法的計(jì)算流程Fig.1 Flowchart of the HGI algorithm

2)采集觀測(cè)數(shù)據(jù)y(t)和φ(t),t=1,2,…,L。用式(16)構(gòu)造堆積輸出向量Y(L)，用式(17)構(gòu)造堆積信息矩陣Φ(L)。

3)根據(jù)式(18),從堆積信息矩陣Φ(L)中讀出堆積子信息矩陣Φi(L),根據(jù)式(14)或(15)確定盡量大的步長(zhǎng)μi,i=1,2,…,N。

注1算法的參數(shù)估計(jì)精度依賴于數(shù)據(jù)長(zhǎng)度L，因此數(shù)據(jù)長(zhǎng)度應(yīng)該足夠大。取收斂因子μi=2‖Φi(L)‖-2,在消除中間變量Y(L)，Φ(L)和Φi(L)后,HGI辨識(shí)算法(13)～(20)可等價(jià)表示為

(21)

(22)

(23)

HGI辨識(shí)算法(13)～(20)可以派生出許多算法,如修正遞階梯度迭代(M-HGI)算法、加權(quán)遞階梯度迭代(W-HGI)算法、遺忘因子遞階梯度迭代(FF-HGI)算法、加權(quán)修正遞階梯度迭代(W-M-HGI)算法、遺忘因子修正遞階梯度迭代(FF-M-HGI)算法、加權(quán)遺忘因子修正遞階梯度迭代(W-FF-M-HGI)算法等。下面簡(jiǎn)單介紹其中兩個(gè)辨識(shí)算法。

2.2 加權(quán)遞階梯度迭代算法

基于HGI辨識(shí)算法(13)～(20),在式(16)～(17)中引入加權(quán)因子wt≥0，t=1,2,…,L，就得到估計(jì)線性回歸系統(tǒng)(1)參數(shù)向量?的加權(quán)遞階梯度迭代算法(weighted HGI algorithm，W-HGI算法):

(24)

(25)

或

μi≤2‖Φi(L)‖-2,

(26)

Y(L)=[w1y(1),w2y(2),…,wLy(L)]T,

(27)

Φ(L)=[w1φ(1),w2φ(2),…,wLφ(L)]T,

(28)

Φ(L)=[Φ1(L),Φ2(L),…,ΦN(L)],

(29)

(30)

(31)

2.3 遺忘因子遞階梯度迭代算法

基于HGI辨識(shí)算法(13)～(20),在式(16)～(17)中引入遺忘因子0≤λ≤1,就得到估計(jì)線性回歸系統(tǒng)(1)參數(shù)向量?的遺忘因子遞階梯度迭代算法(forgetting factor HGI algorithm，F(xiàn)F-HGI算法):

(32)

(33)

或

μi≤2‖Φi(L)‖-2,

(34)

Y(L)=

[λL-1y(1),λL-2y(2),…,λy(L-1),y(L)]T,

(35)

Φ(L)=

[λL-1φ(1),λL-2φ(2),…,λφ(L-1),φ(L)]T

(36)

Φ(L)=[Φ1(L),Φ2(L),…,ΦN(L)],

(37)

(38)

(39)

3 遞階多新息梯度迭代辨識(shí)方法

3.1 遞階多新息梯度迭代辨識(shí)算法

多新息辨識(shí)算法是使用移動(dòng)數(shù)據(jù)窗(moving data window，MDW)里的數(shù)據(jù)刷新參數(shù)估計(jì)。移動(dòng)數(shù)據(jù)窗是一個(gè)動(dòng)態(tài)數(shù)據(jù)窗(dynamical data window),也稱為滑動(dòng)數(shù)據(jù)窗,它是隨t的增加不斷向前移動(dòng)的。數(shù)據(jù)窗的長(zhǎng)度可以是動(dòng)態(tài)變化的,也可以是不變的。本研究假設(shè)數(shù)據(jù)窗長(zhǎng)度是不變的。

設(shè)新息長(zhǎng)度為p,即移動(dòng)數(shù)據(jù)窗長(zhǎng)度為p,移動(dòng)數(shù)據(jù)窗包含從時(shí)刻j=t-p+1到當(dāng)前時(shí)刻j=t的p組數(shù)據(jù),數(shù)據(jù)窗是隨t的增加而向前移動(dòng)的。移動(dòng)數(shù)據(jù)窗迭代辨識(shí)方法是使用直到當(dāng)前時(shí)刻t的最新p組數(shù)據(jù)進(jìn)行迭代計(jì)算參數(shù)估計(jì),當(dāng)?shù)揭欢ú綌?shù)(或參數(shù)估計(jì)精度沒(méi)有改進(jìn))時(shí),就停止迭代計(jì)算,而將數(shù)據(jù)窗向前移動(dòng)到下一時(shí)刻，引入新的觀測(cè)數(shù)據(jù)，同時(shí)去掉窗里最舊的數(shù)據(jù),窗里保持p組數(shù)據(jù),再使用新窗里的數(shù)據(jù)進(jìn)行迭代計(jì)算參數(shù)估計(jì),這樣周而復(fù)始進(jìn)行下去[5]。

對(duì)于線性回歸系統(tǒng),可以建立移動(dòng)數(shù)據(jù)窗迭代辨識(shí)算法,即多新息迭代辨識(shí)算法,來(lái)估計(jì)其參數(shù)向量。這里研究線性回歸系統(tǒng)的遞階多新息梯度迭代辨識(shí)方法。

長(zhǎng)度為p的數(shù)據(jù)窗隨t的增加而向前移動(dòng),就稱為移動(dòng)數(shù)據(jù)窗。它包含了從時(shí)刻j=t-p+1到j(luò)=t的p組數(shù)據(jù)。設(shè)t為當(dāng)前時(shí)刻。根據(jù)辨識(shí)模型(2),利用最新的p組數(shù)據(jù),定義堆積輸出向量Y(p,t)和堆積信息矩陣Φ(p,t),堆積虛擬輸出向量Yi(p,t)和堆積子信息矩陣Φi(p,t)如下：

(40)

(41)

(42)

Φ(p,t)=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)]∈p×n。

(43)

根據(jù)遞階辨識(shí)模型(2),定義關(guān)于子參數(shù)向量?i的動(dòng)態(tài)數(shù)據(jù)窗準(zhǔn)則函數(shù):

(44)

故收斂因子μi(t)的一個(gè)保守選擇是

(45)

由于特征值計(jì)算極其復(fù)雜，一個(gè)簡(jiǎn)單方式是使用范數(shù)，取

(46)

由于虛擬子系統(tǒng)的堆積輸出向量Yi(p,t)是未知的,所以將式(42)代入式(44)得到

(47)

式(46)～(47),(40)～(41)和(43)構(gòu)成了估計(jì)線性回歸系統(tǒng)(1)參數(shù)向量?的遞階多新息梯度迭代算法(hierarchical multi-innovation gradient-based iterative algorithm，HMIGI算法):

(48)

(49)

或

μi(t)≤2‖Φi(p,t)‖-2,

(50)

Y(p,t)=

[y(t),y(t-1),…,y(t-p+1)]T,

(51)

Φ(p,t)=

[φ(t),φ(t-1),…,φ(t-p+1)]T,

(52)

Φ(p,t)=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)],

(53)

(54)

(55)

多新息梯度迭代算法又稱為移動(dòng)數(shù)據(jù)窗梯度迭代算法,是多新息辨識(shí)理論在迭代辨識(shí)領(lǐng)域中的應(yīng)用[5]。這里的遞階多新息梯度迭代算法又稱為移動(dòng)數(shù)據(jù)窗遞階梯度迭代算法(moving data window HGI algorithm,MDW-HGI算法),是遞階辨識(shí)原理與多新息迭代辨識(shí)相結(jié)合的產(chǎn)物,是遞階辨識(shí)原理和多新息辨識(shí)理論在迭代辨識(shí)領(lǐng)域中的應(yīng)用。

注2因?yàn)榫€性回歸系統(tǒng)參數(shù)估計(jì)誤差與數(shù)據(jù)長(zhǎng)度的平方根成反比[3],遞階多新息迭代算法每次計(jì)算參數(shù)估計(jì)時(shí)使用的數(shù)據(jù)長(zhǎng)度為p,因此參數(shù)估計(jì)精度取決于新息長(zhǎng)度p,即動(dòng)態(tài)數(shù)據(jù)窗長(zhǎng)度，因此多新息迭代算法中的新息長(zhǎng)度p應(yīng)足夠大。

圖2 遞階多新息梯度迭代(HMIGI)算法的計(jì)算流程Fig.2 Flowchart of the HMIGI algorithm

2)令k=1，采集觀測(cè)數(shù)據(jù)y(t)和φ(t)。

3)用式(51)構(gòu)造堆積輸出向量Y(p,t),用式(52)構(gòu)造堆積信息矩陣Φ(p,t),從式(53)的堆積信息矩陣Φ(p,t)中讀出堆積子信息矩陣Φi(p,t),根據(jù)式(49)～(50)確定盡量大的步長(zhǎng)μi(t),i=1,2,…,N。

5)如果k

當(dāng)k繼續(xù)增加,參數(shù)估計(jì)精度沒(méi)有明顯變化時(shí),就不再增加k,而是增加t,即數(shù)據(jù)窗向前移動(dòng)一步,采集新的數(shù)據(jù),引入到算法中,同時(shí)去掉最舊的數(shù)據(jù),再次計(jì)算迭代參數(shù)估計(jì),直到獲得滿意的參數(shù)估計(jì)為止。

根據(jù)經(jīng)驗(yàn)，當(dāng)參數(shù)維數(shù)不是很大時(shí)，對(duì)于梯度迭代算法，kmax取值一般在幾百到幾千之間;對(duì)于最小二乘迭代算法，一般取kmax=5或kmax=6。

注4取收斂因子μi(t)=2‖Φi(p,t)‖-2,在消除中間變量Y(p,t),Φ(p,t)和Φi(p,t)后，HMIGI辨識(shí)算法(48)～(55)可等價(jià)表示為

(56)

(57)

(58)

HMIGI算法(48)～(55)可以派生出許多算法，如修正遞階多新息梯度迭代(M-HMIGI)算法、加權(quán)遞階多新息梯度迭代(W-HMIGI)算法、遺忘因子遞階多新息梯度迭代(FF-HMIGI)算法、加權(quán)修正遞階多新息梯度迭代(W-M-HMIGI)算法、遺忘因子修正遞階梯度迭代(FF-M-HMIGI)算法、加權(quán)遺忘因子修正遞階多新息梯度迭代(W-FF-M-HMIGI)算法等。下面簡(jiǎn)單介紹其中兩個(gè)辨識(shí)算法。

3.2 加權(quán)遞階多新息梯度迭代算法

基于HMIGI辨識(shí)算法(48)～(55),在式(51)～(52)中引入加權(quán)因子wt≥0,就得到估計(jì)線性回歸系統(tǒng)(1)參數(shù)向量?的加權(quán)遞階多新息梯度迭代算法(weighted HMIGI algorithm,W-HMIGI算法):

(59)

(60)

或

μi≤2‖Φi(p,t)‖-2,

(61)

Y(p,t)=

[wty(t),wt-1y(t-1),…,wt-p+1y(t-p+1)]T,

(62)

Φ(p,t)=

[wtφ(t),wt-1φ(t-1),…,wt-p+1φ(t-p+1)]T,

(63)

Φ(p,t)=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)],

(64)

(65)

(66)

3.3 遺忘因子遞階多新息梯度迭代算法

基于HMIGI辨識(shí)算法(48)～(55),在式(51)～(52)中引入遺忘因子λ,得到估計(jì)線性回歸系統(tǒng)(1)參數(shù)向量?的遺忘因子遞階多新息梯度迭代算法(forgetting factor HMIGI algorithm，F(xiàn)F-HMIGI算法):

(67)

(68)

或

μi≤2‖Φi(p,t)‖-2,

(69)

Y(p,t)=

[y(t),λy(t-1),λ2y(t-2),…,λp-1y(t-p+1)]T,

(70)

Φ(p,t)=

[φ(t),λφ(t-1),λ2φ(t-2),…,λp-1φ(t-p+1)]T,

(71)

Φ(p,t)=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)],

(72)

(73)

(74)

注5筆者2005年發(fā)表在Automatica第2期上的遞階梯度迭代算法[30]和IEEETransactionsonAutomaticControl第3期上的遞階最小二乘迭代算法[31]是比梯度迭代算法和最小二乘迭代算法更高級(jí)的算法,是針對(duì)多變量系統(tǒng)遞階辨識(shí)模型提出的。

注6梯度算法(包括梯度迭代算法)可以用于二次優(yōu)化問(wèn)題和非線性優(yōu)化問(wèn)題的最優(yōu)解的搜索,既適合信息向量已知的線性回歸系統(tǒng),又適合信息向量存在未知量的線性回歸系統(tǒng)、線性參數(shù)系統(tǒng)、雙線性參數(shù)系統(tǒng)、非線性參數(shù)系統(tǒng)辨識(shí)的研究。當(dāng)然梯度迭代算法也適合對(duì)線性回歸模型進(jìn)行分解的辨識(shí),如前面討論的HGI辨識(shí)算法和HMIGI辨識(shí)算法。

4 遞階最小二乘迭代辨識(shí)方法

對(duì)于信息向量已知的線性回歸系統(tǒng)，不存在最小二乘迭代辨識(shí)算法，一次完成最小二乘算法就夠了，但是對(duì)線性回歸模型進(jìn)行分解，就存在最小二乘迭代辨識(shí)算法。這里首次討論線性回歸系統(tǒng)的遞階最小二乘迭代算法和遞階多新息最小二乘迭代算法,這是繼1999年《自動(dòng)化學(xué)報(bào)》第5期上的論文“大系統(tǒng)的遞階辨識(shí)”中線性回歸系統(tǒng)的遞階最小二乘(遞推)算法[17]的又一個(gè)新的結(jié)果。

考慮下列線性回歸系統(tǒng)，

y(t)=φT(t)?+v(t),

(75)

其中y(t)∈是系統(tǒng)輸出變量，v(t)∈是零均值隨機(jī)白噪聲,?∈n待辨識(shí)的參數(shù)向量,φ(t)∈n是由時(shí)刻t以前輸出y(t)和時(shí)刻t及以前的輸入u(t)等變量構(gòu)成的回歸信息向量。假設(shè)維數(shù)n已知。不特別申明,設(shè)t≤0時(shí),各變量的初值為零，這里意味著y(t)=0,φ(t)=0,v(t)=0。

線性回歸系統(tǒng)(75)可分解為N個(gè)虛擬子系統(tǒng)，即遞階辨識(shí)模型:

(76)

其中子系統(tǒng)參數(shù)向量?i和信息向量φi(t)與整個(gè)系統(tǒng)的參數(shù)向量和信息向量的關(guān)系如下:

?i∈ni,φi(t)∈ni,n1+n2+…+nN=n。

虛擬子系統(tǒng)的輸出yi(t)∈定義為

(77)

本節(jié)利用觀測(cè)信息{y(t),φ(t)},推導(dǎo)線性回歸系統(tǒng)(75)的遞階最小二乘迭代辨識(shí)方法和遞階多新息最小二乘迭代辨識(shí)方法。

4.1 遞階最小二乘迭代辨識(shí)算法

設(shè)L為數(shù)據(jù)長(zhǎng)度。辨識(shí)算法的參數(shù)估計(jì)精度取決于數(shù)據(jù)長(zhǎng)度，因此數(shù)據(jù)長(zhǎng)度應(yīng)足夠大。根據(jù)辨識(shí)模型(76)，定義關(guān)于參數(shù)向量?i的準(zhǔn)則函數(shù):

定義堆積輸出向量Y(L)和堆積信息矩陣Φ(L)，以及虛擬堆積輸出向量Yi(L)和堆積子信息矩陣Φi(L)如下:

Y(L)=[y(1),y(2),…,y(L)]T∈L,

(78)

Φ(L)=[φ(1),φ(2),…,φ(L)]T=

[Φ1(L),Φ2(L),…,ΦN(L)]∈L×n,

(79)

Yi(L)=[yi(1),yi(2),…,yi(L)]T=

(80)

Φi(L)=

[φi(1),φi(2),…,φi(L)]∈L×ni。

(81)

則準(zhǔn)則函數(shù)J3i(?i)可以等價(jià)表示為

(82)

由于虛擬子系統(tǒng)的堆積輸出向量Yi(L)是未知的，所以將式(80)代入式(82)得到

(83)

式(83),(78)和(79)構(gòu)成了估計(jì)線性回歸系統(tǒng)(75)參數(shù)向量?的遞階最小二乘迭代算法(hierarchical least squares-based iterative algorithm,HLSI算法):

(84)

Y(L)=[y(1),y(2),…,y(L)]T,

(85)

Φ(L)=[φ(1),φ(2),…,φ(L)]T,

(86)

Φ(L)=[Φ1(L),Φ2(L),…,ΦN(L)],

(87)

(88)

(89)

表2 遞階最小二乘迭代(HLSI)算法的計(jì)算量Table 2 Computational efficiency of the HLSI algorithm

圖3 遞階最小二乘迭代(HLSI)算法的計(jì)算流程Fig.3 Flowchart of the HLSI algorithm

2)采集觀測(cè)數(shù)據(jù)y(t)和φ(t),t=1,2,…,L。用式(85)構(gòu)造堆積輸出向量Y(L),用式(86)構(gòu)造堆積信息矩陣Φ(L)。

3)根據(jù)式(87),從堆積信息矩陣Φ(L)中讀出堆積子信息矩陣Φi(L)。

注7算法的參數(shù)估計(jì)精度依賴于數(shù)據(jù)長(zhǎng)度L,因此數(shù)據(jù)長(zhǎng)度應(yīng)該足夠大。在消除中間變量Y(L),Φ(L)和Φi(L)后,HLSI辨識(shí)算法(84)～(89)可等價(jià)表示為

(90)

(91)

(92)

HLSI辨識(shí)算法(84)～(89)可以派生出加權(quán)遞階最小二乘迭代(W-HLSI)算法、遺忘因子遞階最小二乘迭代(FF-HLSI)算法、加權(quán)遺忘因子遞階最小二乘迭代(W-FF-HLSI)算法等。

4.2 加權(quán)遞階最小二乘迭代辨識(shí)算法

基于HLSI辨識(shí)算法(84)～(89),在式(85)～(86)中引入加權(quán)因子wt≥0，t=1,2,…,L，就得到估計(jì)線性回歸系統(tǒng)(75)參數(shù)向量?的加權(quán)遞階最小二乘迭代算法(weighted HLSI algorithm，W-HLSI算法):

(93)

Y(L)=[w1y(1),w2y(2),…,wLy(L)]T,

(94)

Φ(L)=[w1φ(1),w2φ(2),…,wLφ(L)]T,

(95)

Φ(L)=[Φ1(L),Φ2(L),…,ΦN(L)],

(96)

(97)

(98)

4.3 遺忘因子遞階最小二乘迭代算法

基于HLSI辨識(shí)算法(84)～(89),在式(85)～(86)中引入遺忘因子0≤λ≤1，就得到估計(jì)線性回歸系統(tǒng)(75)參數(shù)向量?的遺忘因子遞階最小二乘迭代算法(forgetting factor HLSI algorithm，F(xiàn)F-HLSI算法):

(99)

Y(L)=

[λL-1y(1),λL-2y(2),…,λy(L-1),y(L)]T,

(100)

Φ(L)=

[λL-1φ(1),λL-2φ(2),…,λφ(L-1),φ(L)]T,

(101)

Φ(L)=[Φ1(L),Φ2(L),…,ΦN(L)],

(102)

(103)

(104)

5 遞階多新息最小二乘迭代辨識(shí)方法

5.1 遞階多新息最小二乘迭代辨識(shí)算法

設(shè)t為當(dāng)前時(shí)刻。根據(jù)辨識(shí)模型(76),利用最新的p組數(shù)據(jù),定義堆積輸出向量Y(p,t)和堆積信息矩陣Φ(p,t),堆積虛擬輸出向量Yi(p,t)和堆積子信息矩陣Φi(p,t)如下：

Y(p,t)=

[y(t),y(t-1),…,y(t-p+1)]T∈p,

(105)

Φ(p,t)=[φ(t),φ(t-1),…,φ(t-p+1)]T=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)]∈p×n,

(106)

Yi(p,t)=

[yi(t),yi(t-1),…,yi(t-p+1)]T=

(107)

Φi(p,t)=

[φi(t),φi(t-1),…,φi(t-p+1)]T∈p×ni。

(108)

根據(jù)辨識(shí)模型(76)，定義動(dòng)態(tài)數(shù)據(jù)窗準(zhǔn)則函數(shù):

(109)

由于虛擬子系統(tǒng)的堆積輸出向量Yi(p,t)是未知的，所以將式(107)代入式(109)得到

(110)

式(110),(105)和(106)構(gòu)成了估計(jì)線性回歸系統(tǒng)(75)參數(shù)向量?的遞階多新息最小二乘迭代算法(hierarchical multi-innovation least squares-based iterative algorithm，HMILSI算法):

(111)

Y(p,t)=

[y(t),y(t-1),…,y(t-p+1)]T,

(112)

Φ(p,t)=

[φ(t),φ(t-1),…,φ(t-p+1)]T,

(113)

Φ(p,t)=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)],

(114)

(115)

(116)

多新息最小二乘迭代算法又稱為移動(dòng)數(shù)據(jù)窗最小二乘迭代算法，是多新息辨識(shí)理論在迭代辨識(shí)領(lǐng)域中的應(yīng)用[5]。這里的遞階多新息最小二乘迭代算法又稱為移動(dòng)數(shù)據(jù)窗遞階最小二乘迭代算法(moving data window HLSI algorithm，MDW-HLSI算法),是遞階辨識(shí)原理與多新息迭代辨識(shí)相結(jié)合的產(chǎn)物，是遞階辨識(shí)原理和多新息辨識(shí)理論在迭代辨識(shí)領(lǐng)域中的應(yīng)用。

圖4 遞階多新息最小二乘迭代(HMILSI)算法的計(jì)算流程Fig.4 Flowchart of the HMILSI algorithm

2)采集觀測(cè)數(shù)據(jù)y(t)和φ(t)。

3)用式(112)構(gòu)造堆積輸出向量Y(p,t),用式(113)構(gòu)造堆積信息矩陣Φ(p,t),從式(114)的堆積信息矩陣Φ(p,t)中讀出堆積子信息矩陣Φi(p,t),i=1,2,…,N。

6)如果k

注8在消除中間變量Y(p,t),Φ(p,t)和Φi(p,t)后，HMILSI算法(111)～(116)可等價(jià)表示為

(117)

(118)

(119)

HMILSI算法(111)～(116)可以派生出加權(quán)遞階多新息最小二乘迭代(W-HMILSI)算法、遺忘因子遞階多新息最小二乘迭代(FF-HMILSI)算法、加權(quán)遺忘因子遞階多新息最小二乘迭代(W-FF-HMILSI)算法等。

5.2 加權(quán)遞階多新息最小二乘迭代算法

基于HMILSI辨識(shí)算法(111)～(116),在式(112)～(113)中引入加權(quán)因子wt≥0，就得到估計(jì)線性回歸系統(tǒng)(75)參數(shù)向量?的加權(quán)遞階多新息最小二乘迭代算法(weighted HMILSI algorithm，W-HMILSI算法):

(120)

Y(p,t)=

[wty(t),wt-1y(t-1),…,wt-p+1y(t-p+1)]T,

(121)

Φ(p,t)=

[wtφ(t),wt-1φ(t-1),…,wt-p+1φ(t-p+1)]T,

(122)

Φ(p,t)=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)],

(123)

(124)

(125)

5.3 遺忘因子遞階多新息最小二乘迭代算法

基于HMILSI辨識(shí)算法(111)～(116),在式(112)～(113)中引入遺忘因子λ，得到估計(jì)線性回歸系統(tǒng)(75)參數(shù)向量?的遺忘因子遞階多新息最小二乘迭代算法(forgetting factor HMILSI algorithm,FF-HMILSI算法):

(126)

Y(p,t)=

[y(t),λy(t-1),λ2y(t-2),…,λp-1y(t-p+1)]T,

(127)

Φ(p,t)=

[φ(t),λφ(t-1),λ2φ(t-2),…,λp-1φ(t-p+1)]T,

(128)

Φ(p,t)=

[Φ1(p,t),Φ2(p,t),…,ΦN(p,t)],

(129)

(130)

(131)

6 結(jié) 語(yǔ)

利用迭代搜索和遞階辨識(shí)原理，基于系統(tǒng)的觀測(cè)輸入輸出數(shù)據(jù)，研究了線性回歸系統(tǒng)的遞階迭代辨識(shí)方法，包括遞階(多新息)梯度迭代辨識(shí)方法、遞階(多新息)最小二乘迭代辨識(shí)方法，以及加權(quán)和遺忘因子遞階迭代辨識(shí)方法等。提出的迭代辨識(shí)方法可以推廣到有色噪聲的多變量隨機(jī)系統(tǒng)和非線性隨機(jī)系統(tǒng)中。