單隱含層模糊遞歸小波神經(jīng)網(wǎng)絡(luò)的觀測器設(shè)計

聞新　李新　王爾申

(沈陽航空航天大學(xué)航空航天工程學(xué)部,沈陽 110136)

?

單隱含層模糊遞歸小波神經(jīng)網(wǎng)絡(luò)的觀測器設(shè)計

聞新李新王爾申

(沈陽航空航天大學(xué)航空航天工程學(xué)部,沈陽 110136)

摘要根據(jù)模糊神經(jīng)網(wǎng)絡(luò)在非線性函數(shù)逼近方面的特性和小波變換具有良好的時頻兩維信號的分析能力,建立了結(jié)合兩者優(yōu)點的單隱含層模糊遞歸小波神經(jīng)網(wǎng)絡(luò)(Single hidden Layer Fuzzy Recurrent Wavelet Neural Network, SLFRWNN),并分析了SLFRWNN的結(jié)構(gòu)、激活函數(shù)形式及激活函數(shù)對網(wǎng)絡(luò)性能的影響.在此基礎(chǔ)上,提出了一種基于SLFRWNN的自適應(yīng)觀測器設(shè)計方法,并通過引入Lyapunov函數(shù),證明了這種觀測器設(shè)計方法的穩(wěn)定性,進而給出該網(wǎng)絡(luò)觀測器的初始化和最佳訓(xùn)練算法;仿真結(jié)果表明SLFRWNN觀測器能很好地觀測系統(tǒng)的狀態(tài).

關(guān)鍵詞模糊神經(jīng)網(wǎng)絡(luò);自適應(yīng)觀測器;非線性系統(tǒng);仿真

資助項目: 國家自然科學(xué)基金(基金號：61571309,61101161)

聯(lián)系人： 聞新 E-mail: wen_xin2004@126.com

引言

在復(fù)雜的系統(tǒng)工程中,系統(tǒng)存在諸多不確定因素和難以描述的非線性特性,為了解決這些問題,各種各樣的觀測器設(shè)計方法不斷涌現(xiàn),神經(jīng)網(wǎng)絡(luò)在處理非線性問題方面具有較強優(yōu)勢[1],所以利用神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的狀態(tài)觀測器得到了迅速發(fā)展.相比傳統(tǒng)的狀態(tài)觀測器,神經(jīng)網(wǎng)絡(luò)狀態(tài)觀測器具有較強的自適應(yīng)性.

狀態(tài)估計問題是由測得的輸出量和整個狀態(tài)變量不一致引起的[2].狀態(tài)觀測器通常是重構(gòu)一個動態(tài)系統(tǒng)的狀態(tài),并在反饋控制、系統(tǒng)監(jiān)控、故障檢測和故障診斷等方面有著非常重要的應(yīng)用.非線性系統(tǒng)的觀測器設(shè)計已在過去幾十年得到了廣泛的應(yīng)用[3],如張正強等[4]對具有未建模動態(tài)、未知參數(shù)、外部干擾的一類多輸入多輸出非線性系統(tǒng)構(gòu)造了觀測器,Musavi 等[5]利用低成本的微型電子機械系統(tǒng)(Micro-Electro-Mechanical System, MEMS)傳感器設(shè)計了自適應(yīng)模糊神經(jīng)網(wǎng)絡(luò)觀測器應(yīng)用于GPS系統(tǒng),為了解決諸如系統(tǒng)模型不確定、多重時間延遲狀態(tài)的不確定性和外部干擾等問題，文雄宇等[6]利用自適應(yīng)小波神經(jīng)網(wǎng)絡(luò)觀測器的跟蹤控制方案對機器人的運行狀態(tài)進行了全面的分析.賈鶴鳴等[7]使用神經(jīng)網(wǎng)絡(luò)狀態(tài)觀測器設(shè)計了一種吊重防搖晃的控制系統(tǒng).但在設(shè)計或構(gòu)造神經(jīng)網(wǎng)絡(luò)狀態(tài)觀測器時,必須遵守一些限定性條件,如要求非線性系統(tǒng)的狀態(tài)完全可觀等,因此對于復(fù)雜的非線性動態(tài)系統(tǒng)的觀測器設(shè)計面臨許多復(fù)雜的計算問題.因為神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中存在收斂速率慢等問題,所以用神經(jīng)網(wǎng)絡(luò)設(shè)計非線性系統(tǒng)觀測器的研究還有待進一步完善[8-14].

單隱含層模糊遞歸小波神經(jīng)網(wǎng)絡(luò)(Single hidden Layer Fuzzy Recurrent Wavelet Neural Netnork, SLFRWNN)具有較強的泛化能力,因此它能夠以較高的精度實現(xiàn)函數(shù)逼近和系統(tǒng)辨識.本文提出了一種基于SLFRWNN的自適應(yīng)狀態(tài)觀測器設(shè)計方法,并應(yīng)用于非線性系統(tǒng)進行數(shù)值仿真驗證.

1單隱含層模糊遞歸小波神經(jīng)網(wǎng)絡(luò)

具有5層神經(jīng)元的SLFRWNN其模型如圖1所示,其中隱含層使用小波函數(shù)作為激活函數(shù).隱含層神經(jīng)元是一種記憶單元,它存儲了隱含層神經(jīng)元上一步的輸出,下個時間步時便把記憶的輸出乘以一個反饋增益后再輸入到隱含層.正是這種遞歸記憶的特性,才使該網(wǎng)絡(luò)具有動態(tài)逼近非線性的性能.

圖1　單隱含層模糊遞歸小波神經(jīng)網(wǎng)絡(luò)模型

圖1中,網(wǎng)絡(luò)第二層的輸入隸屬度函數(shù)μAIJ(xi)和每個節(jié)點的輸出通過式(1)計算:

? i=1∶Nin; j=1∶Nr.

(1)

式中: cij表示隸屬度函數(shù)中心; σij表示隸屬度函數(shù)寬度.

第三層的每個節(jié)點表示模糊規(guī)則R,其輸出用式(2)表示

j=1∶Nrand0<μj≤1.

(2)

第四層是網(wǎng)絡(luò)的單隱含層,其小波函數(shù)作為激活函數(shù)見表1所示.

1) 高斯小波函數(shù)具有全局映射泛化能力,而且在細化局部方面也有效果,已有多種類型網(wǎng)絡(luò)使用該函數(shù)作為激活函數(shù),網(wǎng)絡(luò)收斂速度不僅快,還能避免過擬合現(xiàn)象.

2) 墨西哥草帽函數(shù)是高斯函數(shù)的二階導(dǎo)數(shù),它沒有尺度函數(shù)及不具正交性,但它具有對稱性和指數(shù)衰減性,時頻域具有良好的局部化能力.該函數(shù)作為網(wǎng)絡(luò)激活函數(shù)時,網(wǎng)絡(luò)收斂較快,但無法避免陷入局部極小值的缺點.

3)Morlet小波函數(shù)是一種復(fù)值小波函數(shù),尺度函數(shù)不存在且不具有正交性,該函數(shù)作為網(wǎng)絡(luò)激活函數(shù)時,網(wǎng)絡(luò)收斂較前兩者慢,但模型過低的自由度會導(dǎo)致欠擬合現(xiàn)象.

表1　小波函數(shù)

選擇高斯小波函數(shù)作為激活函數(shù),則第四層的每個小波φij為

φijφij(zij(k))=(μij(k)-tij(k))/dij(k),

?i=1∶Nin, j=1∶Nr.

(3)

在離散時間k時,

μij(k)=xi(k)+φij(k-1)·θij(k),

i=1∶Nin, j=1∶Nr.

(4)

式中: tij和dij分別表示小波平移系數(shù)和伸縮系數(shù); θij為反饋增益,類似于存儲系數(shù).

則第四層的子小波函數(shù)計算為

? j=1∶Nr.

(5)

相應(yīng)的輸出為

υj(k)=wj·Ψj, j=1∶Nr.

(6)

第四層與第三層的節(jié)點輸出相乘,結(jié)果為

(7)

式中:

(8)

第五層為網(wǎng)絡(luò)的輸出層,其輸出為

(9)

2基于SLFRWNN的自適應(yīng)觀測器設(shè)計

2.1　觀測器設(shè)計

考慮如下非線性系統(tǒng):

(10)

式中: x(t)∈Rn為狀態(tài)變量; u(t)∈Rq為輸入變量;f(x(t),u(t))為非線性函數(shù)向量; A∈Rn×n為定常矩陣;在輸出方程中y(t)∈Rm為輸出變量; C∈Rm×m為定常矩陣; (A, C)是可觀測的矩陣對.

針對式(10)的非線性系統(tǒng),構(gòu)造圖2所示的SLFRWNN觀測器模型.

圖2　基于SLFRWNN的狀態(tài)觀測器結(jié)構(gòu)圖

式(10)非線性系統(tǒng)的狀態(tài)觀測器描述為

(11)

式中: G為觀測器的增益矩陣,滿足M=A-GC為漸進穩(wěn)定的Hurwitz矩陣.

假設(shè)SLFRWNN的輸入輸出之間的關(guān)系為y(t)=WTg(x(t)),給定逼近誤差ε(x(t)),根據(jù)神經(jīng)網(wǎng)絡(luò)具有逼近任意非線性系統(tǒng)的性能,則存在εi(x(t))∈ε(x(t))>0使得SLFRWNN能夠逼近非線性函數(shù)f(x(t),u(t)),表示如下:

ζ(x(t))=Wg(x(t))+εi(x(t)).

(12)

式中:f(·)是使用高斯小波函數(shù)作為激活函數(shù); W為隱含層的權(quán)值矩陣,滿足‖εi(x(t))‖≤εN,εN是它的邊界函數(shù),并由隱含層神經(jīng)元決定.在這里假設(shè)權(quán)值矩陣W有界,且有‖W‖F(xiàn)≤WM.

根據(jù)神經(jīng)網(wǎng)絡(luò)的逼近性能,利用f(x(t),u(t))來替代ζ(x(t)),式(12)變?yōu)?/p>

f(x(t),u(t))=Wg(x(t),u(t))+

εi(x(t)).

(13)

因此,網(wǎng)絡(luò)函數(shù)估計為

(14)

將式(14)帶入式(11)得

(15)

定義狀態(tài)誤差e(t)和輸出誤差ey(t)為

(16)

由式(10)、(15)、(16)可得誤差動態(tài)方程為

(17)

2.2　穩(wěn)定性分析

在一定的條件下定義一個合適的學(xué)習(xí)規(guī)則,能更好地訓(xùn)練神經(jīng)網(wǎng)絡(luò),這就需要保障觀測器的穩(wěn)定性.要使觀測器保持穩(wěn)定性,一般采用權(quán)值校正準(zhǔn)則,并引入Lyapunov函數(shù)證明權(quán)值誤差的有界性.為了更簡潔地證明本文所設(shè)觀測器的穩(wěn)定性,將式(17)進行如下簡化

(18)

式中:

根據(jù)文獻[15]對神經(jīng)網(wǎng)絡(luò)權(quán)值進行修正，有

(19)

將式(18)進行求解得

(20)

則

(21)

將式(20)和式(21)代入式(19)得到修正后的神經(jīng)網(wǎng)絡(luò)權(quán)值為

(22)

(23)

引入正定的Lyapunov函數(shù)[16]為

(24)

式中: P=PT>0為正定矩陣,且對任意正定矩陣Q滿足

MTP+MPT=-Q.

(25)

將式(24)求導(dǎo)可得

(26)

將式(18)、(23)、(25)代入式(26)得

(27)

(28)

根據(jù)下列不等式組

(29)

可得

‖δ‖+ρ‖Ce(t)‖·(WM‖eW‖-

‖eW‖2).

(30)

式中:λmin(Q)為矩陣Q的最小特征值;WM=sup(W);gM=sup(g).進一步整理得

‖eW‖(gM‖δ‖+ρWM‖C‖)].

(31)

(32)

此外,為了表示權(quán)值誤差的界限,式(23)可表示為

ρ‖ey(t)‖W-ρ‖ey(t)‖eW.

(33)

2.3　基于SLFRWNN觀測器的初始化

由于BP神經(jīng)網(wǎng)絡(luò)的收斂速度取決于初始值的選擇,使用GA對SLFRWNN進行初始化.假設(shè)有Ns個樣本(x(1),x(2),…，x(k),…，x(Ns)),時間為0到t.SLFRWNN初始化就是基于期望值和網(wǎng)絡(luò)輸出值之間誤差的最小化.設(shè)yd(k)為期望輸出,yq(k)為實際輸出,因此,在樣本為k時,第q個核函數(shù)計算為

(34)

式中

?i=1∶Nin,j=1∶Nr，

(35)

(36)

用向量表示為

?i=1∶Nin,j=1∶Nr.

(37)

式中:

在種群中,用GA在解空間中進行全局搜索,則相應(yīng)最小適應(yīng)度函數(shù)值的最優(yōu)解取決于網(wǎng)絡(luò)參數(shù)的初始值[17].

2.4　基于SLFRWNN觀測器的最佳訓(xùn)練算法

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中,模糊準(zhǔn)則后件的所有參數(shù)需要進行自動調(diào)整,本文使用反向傳播算法對后件參數(shù)進行調(diào)整.令yd(k)和y(k)分別為網(wǎng)絡(luò)在離散時間k時的期望輸出和實際輸出,則k時刻的網(wǎng)絡(luò)誤差為

e(k)=yd(k)-y(k).

(38)

取代價函數(shù)

(39)

設(shè)網(wǎng)絡(luò)從時間步1工作到時間步Nr,則每個周期的總誤差函數(shù)為

(40)

后件參數(shù)wj、tij、dij和θij使用式(41)～(44)進行調(diào)整:

(41)

(42)

(43)

(44)

式中:γ=[γw,γt,γd,γθ]表示學(xué)習(xí)速率,即0<γ<1.式(41)～(44)的偏導(dǎo)數(shù)值為

=(y(k)-yd(k))·

(45)

(46)

(47)

(48)

式(36)和式(45)～(48)均使用高斯小波函數(shù)作為小波母函數(shù).

3系統(tǒng)仿真

考慮如下非線性系統(tǒng),狀態(tài)方程如式(10),其對應(yīng)參數(shù)值如下：

圖3　x1的狀態(tài)估計曲線以及估計誤差

圖4　x2的狀態(tài)估計曲線以及估計誤差

由圖3和圖4的仿真曲線可以看出,SLFRWNN自適應(yīng)觀測器對非線性系統(tǒng)的狀態(tài)變量具有很好的跟蹤能力.圖4在開始階段的逼近效果不是很好,這主要是由于狀態(tài)變量進行初始化時,初始值的選取是按照經(jīng)驗進行選取,從而造成開始階段的估計誤差相對較大.圖4中狀態(tài)誤差有微小的波動,主要是由狀態(tài)變量存在輕微的震蕩引起的,震蕩周期大約為1ms.從圖5可以看出,在剛開始階段,SLFRWNN的跟蹤估計誤差相對較大,但隨著時間的推移,誤差值越來越小,其SLFRWNN平均估計誤差為0.041,這歸結(jié)為高斯函數(shù)作用的結(jié)果.圖3和圖4的仿真結(jié)果最終表明,該自適應(yīng)觀測器可以克服微小的波動,從而實現(xiàn)系統(tǒng)狀態(tài)的快速跟蹤.

圖5　輸出y的相對誤差

4結(jié)論

本文建立了5層單隱含層模糊遞歸小波神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)后件具有較少的神經(jīng)元,并能有效地跟蹤快速變化的過程,并在此基礎(chǔ)上使用該神經(jīng)網(wǎng)絡(luò)設(shè)計了一種新的自適應(yīng)觀測器.仿真結(jié)果表明,該自適應(yīng)觀測器能夠快速有效的跟蹤狀態(tài)參數(shù)的變化,并對非線性動態(tài)神經(jīng)系統(tǒng)具有很好的自適應(yīng)逼近能力.但是,由于神經(jīng)網(wǎng)絡(luò)自身的缺陷,如網(wǎng)絡(luò)訓(xùn)練時間長、迭代次數(shù)多、優(yōu)化的參數(shù)多等,這些問題有待于進一步的完善.

參考文獻

[1]李江曼, 趙振維, 郭立新, 等. 地基微波輻射計分段正交神經(jīng)網(wǎng)絡(luò)方法遙感陰天大氣[J]. 電波科學(xué)學(xué)報, 2014, 29(6): 1105-1109.

LIJiangman,ZHAOZhenwei,GUOLixin,etal.Asubsectionorthogonalneuralnetworktechniquefortheground-basedradiometertoremotelysensecloudyatmosphere[J].ChineseJournalofRadioScience, 2014, 29(6): 1105-1109. (inChinese)

[2]BESANCONG.Nonlinearobserversandapplications,in:lecturenotesincontrolandinformationsciences[M].Berlin:Springer-Verlag, 2007.

[3]EKRAMIANM,SHEIKHOLESLAMF,HOSSEINNIAS,etal.AdaptivestateobserverforLipschitznonlinearsystems[J].Systems&ControlLetters, 2013,62(4):319-323.

[4]ZHANGZhengqiang,XUShengyuan.Observerdesignforuncertainnonlinearsystemswithunmodeleddynamics[J].Automatica, 2014, 50(1): 80-84.

[5]MUSAVIN,KEIGHOBADIJ.Adaptivefuzzyneuro-observerappliedtolowcostINS/GPS[J].AppliedSoftComputing, 2015, 29(1): 82-94.

[6]YUWS,WENGCC.Anobserver-basedadaptiveneuralnetworktrackingcontrolofroboticsystems[J].AppliedSoftComputing, 2013, 13(12): 4645-4658.

[7] 賈鶴鳴, 張利軍, 齊雪. 基于神經(jīng)網(wǎng)絡(luò)的水下機器人三維航跡跟蹤控制[J]. 控制理論與應(yīng)用, 2012, 29(7): 877-883.

JIAHeming,ZHANGLijun,QIXue.Three-dimensionalpathtrackingcontrolforautonomousunderwatervehiclebasedonneuralnetwork[J].ControlTheoryandApplications, 2012, 29(7): 877-883. (inChinese)

[8] 嵇艷鞠, 徐江, 吳瓊, 等. 基于神經(jīng)網(wǎng)絡(luò)電性源半航空視電阻率反演研究[J]. 電波科學(xué)學(xué)報, 2014, 29(5): 973-980.

JIYanju,XUJiang,WUQiong,etal.Apparentresistivityinversionofelectricalsourcesemi-airborneelectromagneticdatabasedonneuralnetwork[J].ChineseJournalofradioScience, 2104, 29(5): 973-980. (inChinese)

[9]YANGDongsheng,LIUXinrui,XUYukun,etal.Stateestimationofrecurrentneuralnetworkswithintervaltime-varyingdelay:animproveddelay-dependentapproach[J].NeuralComputAppl, 2013, 23(3): 1149-1158.

[10]SCHWENKERF,KESTLERHG.Threelearningphasesforradialbasisfunctionnetworks[J].NeuralNetworks, 2001, 14(2): 439-458.

[11]CHENGCaixia,SUNFuchun,ZHOUXinquan.Onefiredetectionmethodusingneuralnetworks[J].TsinghuaScienceandTechnology, 2011, 16(1): 31-35

[12]ADHYARUDM.Stateobserverdesignfornonlinearsystemsusingneuralnetwork[J].AppliedSoftComputing, 2012, 12(8): 2530-2537.

[13]曹海青, 王渝, 杜明芳, 等. 小型漂浮式衛(wèi)星天線自抗擾控制器的研究[J]. 電波科學(xué)學(xué)報, 2014, 29(5): 841-847.

CAOHaiqing,WANGYu,DUMingfang,etal.Activedisturbancerejectioncontrollerforsmall-sizedfloatantenna[J].ChineseJournalofRadioScience, 2014, 29(5): 841-847. (inChinese)

[14]GRIPHF,SABERIA,JOHANSENTA.Observersforinterconnectednonlinearandlinearsystems[J].Automatica, 2012, 48(7): 1339-1346.

[15]SHAIKFA,PURWARS,PRATAPB.Real-timeimplementationofChebyshevneuralnetworkobserverfortwinrotorcontrolsystem[J].ExpertSystemswithApplications, 2011, 38(10): 13043-13049.

[16]ABDOLLAHIF,TALEBIHA.Astableneuralnetworkobserver-basedobserverwithapplicationtoflexiblejointmanipulators[J].IEEETransactiononNeuralNetwork, 2006, 17(1):118-129.

[17]TOFIGHIM,ALIZADEHM,GANJEFARS,etal.Directadaptivepowersystemstabilizerdesignusingfuzzywaveletneuralnetworkwithself-recurrentconsequentpart[J].AppliedSoftComputing, 2015, 28(3):514-526.

聞新(1961-),男,遼寧人,沈陽航空航天大學(xué)博士生導(dǎo)師,南京航空航天大學(xué)航天控制系主任,主要研究的方向為航天器總體設(shè)計與故障診斷．

李新 (1988-),男,江蘇人,沈陽航空航天大學(xué)航空航天工程學(xué)部碩士研究生,主要研究方向為智能檢測與診斷及航天器故障診斷技術(shù)．

王爾申(1980-),男,遼寧人,博士,副教授,在站博士后,主要研究方向為衛(wèi)星導(dǎo)航、智能信號處理．

張忠祥, 孔勐, 陳明生, 等. 一種計算復(fù)雜天線散射截面的新型快速方法[J]. 電波科學(xué)學(xué)報,2015,30(6):1205-1210. doi: 10.13443/j.cjors. 2014103003

ZHANG Zhongxiang, KONG Meng, CHEN Mingsheng, et al. A novel method of RCS fast calculation with complex antenna structure[J]. Chinese Journal of Radio Science,2015,30(6):1205-1210. (in Chinese). doi: 10.13443/j.cjors. 2014103003

Observer design for the single hidden layer fuzzy

recurrent wavelet neural network

WEN XinLI XinWANG Ershen

(FacultyofAerospaceEngineering,ShenyangAerospaceUniversity,Shenyang110136,China)

AbstractThe fuzzy neural network has good nonlinear function approximation properties, and wavelet transform has good time-frequency signal analysis capabilities. The single hidden layer fuzzy recurrent wavelet neural network (SLFRWNN) is developed by combining with the advantages of both in this paper. The structure of networks, the form of its activation functions and its influence on SLFRWNN are analyzed. Then a design method of adaptive observer based on the single hidden layer recurrent fuzzy wavelet neural network is proposed. The Lyapunov function is introduced to prove the stability of this observer design method. And the network observer of initialization and the optimal learning algorithm is given. The final simulation results show that the single hidden layer neural fuzzy recurrent wavelet network observer can easily observe the state of the system.

Key wordsfuzzy neural networks; adaptive observer; nonlinear systems; simulation

作者簡介

收稿日期：2014-10-14

中圖分類號TP183

文獻標(biāo)志碼A

文章編號1005-0388(2015)06-1197-08