濾波辨識(shí)(6): 輸出誤差自回歸滑動(dòng)平均系統(tǒng)的濾波輔助模型廣義增廣迭代參數(shù)估計(jì)

丁鋒 ,欒小麗 ,徐玲 ,張霄 ,周怡紅 ,劉喜梅

(1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無(wú)錫 214122;2.青島科技大學(xué) 自動(dòng)化與電子工程學(xué)院,山東 青島 266061)

在辨識(shí)研究進(jìn)程中,輔助模型辨識(shí)思想、多新息辨識(shí)理論、遞階辨識(shí)原理、耦合辨識(shí)概念等給我們提供了新的研究方法[1-7],與梯度方法、最小二乘方法、牛頓方法相結(jié)合用于研究不同對(duì)象,可以提出許多不同辨識(shí)方法,如輔助模型辨識(shí)方法、多新息辨識(shí)方法、遞階辨識(shí)方法、耦合辨識(shí)方法等。類似地,濾波辨識(shí)理念與梯度方法、最小二乘方法、牛頓方法相結(jié)合,可以推導(dǎo)出濾波梯度辨識(shí)方法、濾波最小二乘辨識(shí)方法、濾波牛頓辨識(shí)方法等?！肚鄭u科技大學(xué)學(xué)報(bào)(自然科學(xué)版)》的連載論文[8-10]研究了遞階遞推辨識(shí)方法和遞階迭代辨識(shí)方法。最近的連載論文應(yīng)用濾波辨識(shí)理念,研究了有限脈沖響應(yīng)滑動(dòng)平均系統(tǒng)和方程誤差自回歸系統(tǒng)的濾波遞推辨識(shí)方法和濾波迭代辨識(shí)方法[11-14],以及輸出誤差自回歸滑動(dòng)平均系統(tǒng)的濾波輔助模型遞推辨識(shí)方法[15-16],本研究利用濾波辨識(shí)理念,研究輸出誤差自回歸滑動(dòng)平均系統(tǒng)的濾波輔助模型廣義增廣迭代辨識(shí)方法。

1 系統(tǒng)描述與濾波辨識(shí)模型

輸出誤差自回歸滑動(dòng)平均模型(output-error autoregressive moving average model,OEARMA模型)又稱為Box-Jenkins 模型(BJ 模型)?？紤]OEARMA 模型描述的動(dòng)態(tài)隨機(jī)系統(tǒng)[15-16]:

其中u(t)和y(t)分別是系統(tǒng)的輸入和輸出序列,v(t)是零均值、方差為σ2的隨機(jī)白噪聲序列,A(z),B(z),C(z)和D(z)是單位后移算子z-1的多項(xiàng)式:

設(shè)階次na,nb,nc和nd已知。記n=na+nb+nc+nd。且設(shè)t≤0 時(shí),所有變量的初值均為零,如y(t)=0,u(t)=0,v(t)=0。

置有關(guān)參數(shù)向量和信息向量如下:

其中系統(tǒng)模型輸出(即無(wú)噪輸出)定義為

定義濾波輸出信息向量φaf(t)和φdf(t),濾波輸入信息向量?bf(t)和?df(t)如下:

uf(t)和yf(t)也可按照下列遞推式計(jì)算,

式(1)兩邊乘以L(z)得到

這個(gè)濾波后的模型是一個(gè)輸出誤差模型(output-error model,OE 模型)。定義濾波系統(tǒng)模型輸出(即濾波無(wú)噪輸出):

利用式(14)～(15),式(13)可以寫為向量形式:

將式(12)代入上式得到

在辨識(shí)模型(17)中,參數(shù)向量θ包含了系統(tǒng)的所有參數(shù)ai,bi,ci和di。這里的辨識(shí)目標(biāo)是基于系統(tǒng)的輸入輸出數(shù)據(jù)u(t)和y(t),利用濾波辨識(shí)理念和輔助模型辨識(shí)思想,研究和提出估計(jì)參數(shù)向量θ的濾波輔助模型廣義增廣迭代辨識(shí)方法。

2 濾波輔助模型廣義增廣梯度迭代辨識(shí)方法

設(shè)l為辨識(shí)數(shù)據(jù)起點(diǎn),L為數(shù)據(jù)長(zhǎng)度。根據(jù)式(17),使用t=l到t=l+L-1的L組數(shù)據(jù)定義堆積輸出向量Y(l,L)和堆積信息矩陣Φ(l,L),堆積濾波無(wú)噪輸出信息矩陣Φaf(l,L),堆積濾波輸入信息矩陣Φbf(l,L),堆積濾波輸出信息矩陣Φdf(l,L)和堆積輸出信息矩陣Φcf(l,L)如下:

2.1 濾波輔助模型廣義增廣梯度迭代辨識(shí)算法

根據(jù)辨識(shí)模型(17),定義關(guān)于參數(shù)向量θ的二次準(zhǔn)則函數(shù):

設(shè)λmax[X]為實(shí)對(duì)稱陣X的最大特征值。令k=1,2,3,…是迭代變量,設(shè)∈?n是參數(shù)向量θ的第k次迭代估計(jì),μk≥0是迭代步長(zhǎng)(收斂因子),使用負(fù)梯度搜索,極小化J1(θ),得到梯度迭代關(guān)系:

故收斂因子μk的保守選擇是

由于特征值計(jì)算很復(fù)雜,故收斂因子也可簡(jiǎn)單更保守地取為

梯度迭代算法(21)～(22)不可實(shí)現(xiàn),因?yàn)橛疫叾逊e信息矩陣Φ(l,L)是未知的,故需要先構(gòu)造Φ(l,L)的估計(jì)(l,L)。

2)采集觀測(cè)數(shù)據(jù)u(t)和y(t),用式(44)和(47)構(gòu)造信息向量φc(t)和?c(t),

t=1,2,…,l+L。用式(34)構(gòu)造堆積輸出向量Y(l,L),用式(39)造堆積輸出信息矩陣Φc(l,L)。

2.2 濾波加權(quán)輔助模型廣義增廣梯度迭代算法

設(shè)M(L)∈?L×L為非負(fù)定加權(quán)矩陣。將準(zhǔn)則函數(shù)J1(θ)修改為加權(quán)準(zhǔn)則函數(shù):

使用梯度搜索,極小化準(zhǔn)則函數(shù)J′1(θ)可以得到

那么式(56)～(58)和(34)～(55)構(gòu)成了加權(quán)濾波輔助模型廣義增廣梯度迭代算法(W-F-AM-GEGI算法),或稱為濾波加權(quán)輔助模型廣義增廣梯度迭代算法(F-W-AM-GEGI算法)。

就得到遺忘因子濾波輔助模型廣義增廣梯度迭代算法(FF-F-AM-GEGI算法),或稱為濾波遺忘因子輔助模型廣義增廣梯度迭代算法(F-FF-AM-GEGI算法)。

3 濾波輔助模型廣義增廣投影迭代辨識(shí)方法

令k=1,2,3,…是迭代變量,μk(L)≥0是數(shù)據(jù)長(zhǎng)度為L(zhǎng)時(shí)的迭代步長(zhǎng)(收斂因子),設(shè)(L)∈?n是數(shù)據(jù)長(zhǎng)度為L(zhǎng)時(shí)參數(shù)向量θ的第k次迭代估計(jì),使用最速下降法(負(fù)梯度搜索),極小化準(zhǔn)則函數(shù)J1(θ),可以得到梯度遞推關(guān)系:

投影算法(59)～(61)不可實(shí)現(xiàn),因?yàn)橛疫吷婕拔粗畔⒕仃嚘?l,L)。解決的辦法是用(l,L)代替式(59)～(61)右邊的未知信息矩陣Φ(l,L),得到式(62),聯(lián)立式(59)～(61),可以得到辨識(shí)Box-Jenkins系統(tǒng)參數(shù)向量θ的基于濾波的輔助模型廣義增廣投影迭代辨識(shí)算法(filtering-based auxiliary model generalized extended projection iterative identification algorithm),簡(jiǎn)稱為濾波輔助模型廣義增廣投影迭代算法(filtered auxiliary model generalized extended projection-based iterative algorithm,F-AM-MI-GEPI算法):

因?yàn)橛?jì)算矩陣的跡(trace)比計(jì)算特征值簡(jiǎn)單,所以收斂因子可以更保守取為

因此,可將式(62)修改為

則式(63)和(65)～(84)構(gòu)成了簡(jiǎn)化的濾波輔助模型廣義增廣投影迭代算法(F-AM-GEPI算法),它等同于F-AM-MI-GEGI算法(117)～(137)。

4 濾波輔助模型廣義增廣最小二乘迭代辨識(shí)方法

4.1 濾波輔助模型廣義增廣最小二乘迭代辨識(shí)算法

令準(zhǔn)則函數(shù)J1(θ)對(duì)參數(shù)向量θ的偏導(dǎo)數(shù)為零:

假設(shè)φ(t)是持續(xù)激勵(lì)的,即ΦT(l,L)Φ(l,L)是可逆矩陣,那么從上式可以求得參數(shù)向量θ的最小二乘估計(jì):

因?yàn)槎逊e信息矩陣Φ(l,L)是未知的,所以上式無(wú)法求解出參數(shù)估計(jì)。解決的辦法是用(l,L)代替式(85)中未知的Φ(l,L),得到式(86)的最小二乘迭代估計(jì),聯(lián)立式(34)～(55),就得到估計(jì)Box-Jenkins系統(tǒng)參數(shù)向量θ的基于濾波的輔助模型廣義增廣最小二乘迭代辨識(shí)算法(filtering-based auxiliary model generalized extended least squares iterative identification algorithm),簡(jiǎn)稱為濾波輔助模型廣義增廣最小二乘迭代算法(filtered auxiliary model generalized extended least squares-based iterative algorithm,F-AM-GELSI算法):

F-AM-GELSI算法(86)～(104)每迭代計(jì)算一次參數(shù)估計(jì)的步驟如下。

2)采集觀測(cè)數(shù)據(jù)u(t)和y(t),用式(97)和(100)構(gòu)造信息向量φc(t)和?c(t),

t=1,2,…,l+L。用式(87)構(gòu)造堆積輸出向量Y(l,L),用式(92)造堆積輸出信息矩陣Φc(l,L)。

4.2 濾波加權(quán)輔助模型廣義增廣最小二乘迭代算法

極小化準(zhǔn)則函數(shù)J′1(θ),令其對(duì)θ的梯度為零,可以得到

那么式(87)～(105)構(gòu)成了加權(quán)濾波輔助模型廣義增廣最小二乘迭代辨識(shí)算法(W-F-AM-GELSI算法),或稱為濾波加權(quán)輔助模型廣義增廣最小二乘迭代算法(F-W-AM-GELSI算法)。進(jìn)一步,設(shè)0<λ≤1為遺忘因子,取加權(quán)矩陣為

就得到遺忘因子濾波輔助模型廣義增廣最小二乘迭代算法(FF-F-AM-GELSI算法),或稱為濾波遺忘因子輔助模型廣義增廣最小二乘迭代算法(F-FF-AMGELSI算法)。

5 濾波輔助模型多新息廣義增廣梯度迭代辨識(shí)方法

5.1 濾波輔助模型多新息廣義增廣梯度迭代辨識(shí)算法

設(shè)p為數(shù)據(jù)窗長(zhǎng)度(p?n)。根據(jù)式(17),定義堆積輸出向量Y(p,t)和堆積信息矩陣Φ(p,t)如下:

根據(jù)辨識(shí)模型(17),定義關(guān)于參數(shù)向量θ的二次準(zhǔn)則函數(shù):

令k=1,2,3,…是迭代變量,μk(t)≥0是迭代步長(zhǎng)(收斂因子),(t)∈?n是參數(shù)向量θ在當(dāng)前時(shí)刻t的第k次迭代估計(jì)。使用負(fù)梯度搜索,極小化準(zhǔn)則函數(shù)J2(θ),得到梯度迭代關(guān)系:

故收斂因子μk(t)的保守選擇是

由于特征值計(jì)算很復(fù)雜,故收斂因子也可簡(jiǎn)單取為

梯度迭代算法(107)～(108)不可實(shí)現(xiàn),因?yàn)槎逊e信息矩陣Φ(p,t)是未知的,故需要先構(gòu)造Φ(p,t)的估計(jì)(p,t)。

用噪聲模型參數(shù)估計(jì)

構(gòu)造多項(xiàng)式C(z)和D(z)的估計(jì):

濾波輔助模型多新息廣義增廣梯度迭代算法又稱濾波輔助模型移動(dòng)數(shù)據(jù)窗廣義增廣梯度迭代算法(filtered auxiliary model moving-data-window generalized extended gradient-based iterative algorithm,F-AM-MDW-GEGI算法)。F-AM-MI-GEGI算法(117)～(137)計(jì)算參數(shù)估計(jì)(t)的步驟如下。

1)初始化:令t=1,給定移動(dòng)數(shù)據(jù)窗長(zhǎng)度p(通常取p?n),參數(shù)估計(jì)精度ε,最大迭代次數(shù)kmax。置參數(shù)估計(jì)初值(t)=1n/p0,p0=106。

3)采集觀測(cè)數(shù)據(jù)u(t)和y(t),用式(130)和(133)構(gòu)造信息向量φc(t)和?c(t)。用式(120)構(gòu)造堆積輸出向量Y(p,t),用式(125)構(gòu)造堆積輸出信息矩陣Φc(p,t)。

8)如果k

5.2 濾波加權(quán)輔助模型多新息廣義增廣梯度迭代算法

設(shè)Λ(t)∈?p×p為非負(fù)定加權(quán)矩陣。將準(zhǔn)則函數(shù)J2(θ)修改為加權(quán)準(zhǔn)則函數(shù):

使用梯度搜索,極小化準(zhǔn)則函數(shù)J′2(θ)可以得到

那么式(138)～(140)和(120)～(137)構(gòu)成了加權(quán)濾波輔助模型多新息廣義增廣梯度迭代算法(weighted F-AM-MI-GEGI algorithm,W-F-AM-MI-GEGI算法),或稱為濾波加權(quán)輔助模型多新息廣義增廣梯度迭代算法(F-W-AM-MI-GEGI算法)。

6 濾波輔助模型多新息廣義增廣投影迭代辨識(shí)方法

令k=1,2,3,…是迭代變量,是μk(t)≥0迭代步長(zhǎng)(收斂因子),設(shè)(t)∈?n是參數(shù)向量θ在當(dāng)前時(shí)刻t的第k次迭代估計(jì),使用最速下降法(負(fù)梯度搜索),極小化準(zhǔn)則函數(shù)J2(θ),可以得到梯度遞推關(guān)系:

投影算法(141)～(143)不可實(shí)現(xiàn),因?yàn)橛疫吷婕拔粗畔⒕仃嚘?p,t)。解決的辦法是用(p,t)代替式(141)～(143)右邊的未知信息矩陣(p,t),得到式(144)～(146),聯(lián)立式(120)～(137),可以得到辨識(shí)Box-Jenkins系統(tǒng)參數(shù)向量θ的基于濾波的輔助模型多新息廣義增廣投影迭代辨識(shí)算法 (filtering-based auxiliary model multi-innovation generalized extended projection iterative identification algorithm),簡(jiǎn)稱為濾波輔助模型多新息廣義增廣投影迭代算法(filtered auxiliary model multi-innovation generalized extended projection-based iterative algorithm,F-AM-MI-GEPI算法):

因?yàn)橛?jì)算矩陣的跡(trace)比計(jì)算特征值簡(jiǎn)單,所以收斂因子可以更保守取為

因此,可將式(144)修改為

則式(145)和(147)～(166)構(gòu)成了簡(jiǎn)化的濾波輔助模型多新息廣義增廣投影迭代算法(F-AM-MI-GEPI算法),它等同于F-AM-MI-GEGI算法(141)～(143)。

7 濾波輔助模型多新息廣義增廣最小二乘迭代辨識(shí)方法

7.1 濾波輔助模型多新息廣義增廣最小二乘迭代辨識(shí)算法

由于最小二乘迭代算法涉及矩陣逆,所以至少要求p≥n,以及信息向量是持續(xù)激勵(lì)的。令準(zhǔn)則函數(shù)J2(θ)對(duì)參數(shù)向量θ的偏導(dǎo)數(shù)為零:

假設(shè)φ(t)是持續(xù)激勵(lì)的,即ΦT(p,t)Φ(p,t)是可逆矩陣,那么從上式可以求得參數(shù)向量θ的最小二乘估計(jì):

因?yàn)槎逊e信息矩陣Φ(p,t)是未知的,所以解決的方法是用(p,t)代替式(167)中未知的Φ(p,t),得到式(168)的最小二乘迭代估計(jì)(t),聯(lián)立式(120)～(137),就得到估計(jì)Box-Jenkins系統(tǒng)參數(shù)向量θ的基于濾波的輔助模型多新息廣義增廣最小二乘迭代辨識(shí)算法(filtering-based auxiliary model multi-innovation generalized extended least squares iterative identification algorithm),簡(jiǎn)稱為濾波輔助模型多新息廣義增廣最小二乘迭代算法(filtered auxiliary model multi-innovation generalized extended least squares-based iterative algorithm,F-AM-MI-GELSI算法):

濾波輔助模型多新息廣義增廣最小二乘迭代算法又稱濾波輔助模型移動(dòng)數(shù)據(jù)窗廣義增廣最小二乘迭代算法(filtered auxiliary model moving-datawindow generalized extended least squares-based iterative algorithm,F-AM-MDW-GELSI算法)。FAM-MI-GELSI算法(168)～(186)計(jì)算參數(shù)估計(jì)(t)的步驟如下。

1)初始化:令t=1,給定移動(dòng)數(shù)據(jù)窗長(zhǎng)度p(通常取p?n),參數(shù)估計(jì)精度ε,最大迭代次數(shù)kmax(t)=1n/p0,p0=106。采集觀測(cè)數(shù)據(jù)y(j)和u(j),j=1,2,…,t-1,這里l≥p為一個(gè)正整數(shù)(請(qǐng)讀者思考l的意義)。

2)令k=1。置(t-j)=隨機(jī)向 量,(t-j)=隨機(jī)向量,(t-j)=隨機(jī)向量,j=1,2,…,p-1。隨機(jī)數(shù)初值是為保證式(168)中的矩陣可逆。

3)采集觀測(cè)數(shù)據(jù)u(t)和y(t),用式(179)和(182)構(gòu)造信息向量φc(t)和?c(t)。用式(169)構(gòu)造堆積輸出向量Y(p,t),用式(174)構(gòu)造堆積輸出信息矩陣(p,t)。

8)如果k

7.2 濾波加權(quán)輔助模型多新息廣義增廣最小二乘迭代算法

極小化準(zhǔn)則函數(shù)J′2(θ),令其對(duì)θ的梯度為零,可以推導(dǎo)出

那么式(169)～(187)構(gòu)成了加權(quán)濾波輔助模型多新息廣義增廣最小二乘迭代算法(weighted F-AMMI-GELSI algorithm,W-F-AM-MI-GELSI 算法),或稱為濾波加權(quán)輔助模型多新息廣義增廣最小二乘迭代算法(F-W-AM-MI-GELSI算法)。

8 結(jié)語(yǔ)

針對(duì)輸出誤差自回歸滑動(dòng)平均(OEARMA)系統(tǒng),即Box-Jenkins系統(tǒng),研究和提出了濾波輔助模型(多新息)廣義增廣梯度迭代辨識(shí)方法、濾波輔助模型多新息廣義增廣投影迭代辨識(shí)方法、濾波輔助模型(多新息)遞推廣義增廣梯度迭代辨識(shí)方法、濾波輔助模型(多新息)廣義增廣最小二乘迭代辨識(shí)方法。這些濾波輔助模型廣義增廣迭代辨識(shí)方法可以推廣到其它有色噪聲干擾下的線性和非線性多變量隨機(jī)系統(tǒng)中[17-28]。