基于綜合目標函數的神經網絡多新息辨識算法

徐寶昌,劉新樂

(中國石油大學地球物理與信息工程學院,北京 102249)

基于綜合目標函數的神經網絡多新息辨識算法

徐寶昌,劉新樂

(中國石油大學地球物理與信息工程學院,北京 102249)

為提高動態(tài)神經網絡學習算法的辨識精度及抗噪性能,提出一種基于綜合目標函數的多新息辨識算法。該算法基于多新息理論在最小均方誤差目標函數中引入一輔助項構造綜合目標函數,利用該目標函數進行網絡輸出層權值的訓練,并采用牛頓法推導出輸出層權值的遞推計算公式。與已有二階學習算法相比,新算法魯棒性強,收斂速度快,辨識精度高。仿真結果驗證了算法的有效性。

系統(tǒng)辨識；綜合目標函數；神經網絡；多新息

人工神經網絡以其強大的非線性變換能力被廣泛應用于非線性系統(tǒng)模型[1-4]。很多學者將不同的優(yōu)化方法用于網絡結構的選擇與權值的訓練,形成了各具特色的學習算法[5-8]。然而,學習算法的性能跟目標函數同樣有很大關系。不同于構造常規(guī)最小均方誤差目標函數,文獻[9]針對前饋型網絡構造新的目標函數,提出了一種新的優(yōu)化算法,但是該方法中對樣本的剔除沒有依據；文獻[10]通過在目標函數中引入輔助項,以增強算法的抗噪性能,但僅用于穩(wěn)態(tài)網絡輸出層的權值訓練；文獻[11]提出了基于泛化損失率的目標函數,并將粒子群算法用于神經網絡權值訓練,改善了網絡的收斂性能與泛化能力,該算法過于復雜。而且,在權值訓練過程中,已有的方法都是利用的單新息參數修正技術。近年來,丁鋒等[12-13]相繼提出了多新息理論并用于參數辨識,可有效保證辨識性能。筆者研究動態(tài)非線性系統(tǒng)的神經網絡辨識問題,針對訓練樣本受噪聲污染嚴重的實際情況,提出一種新型的綜合目標函數,基于該目標函數和多新息辨識理論對網絡輸出層的權值進行訓練。

1 非線性系統(tǒng)辨識的神經網絡模型

離散的非線性時變系統(tǒng)可以描述為

式中,yk和uk為系統(tǒng)輸出、輸入向量；vk為零均值白噪聲序列；F為未知的非線性函數。

設綜合輸入

由于F未知,用具有rn個隱含層的前向神經網絡逼近,即利用輸入、輸出樣本集ξ={(Uk,yk)|k=1,…,m}對此神經網絡進行學習訓練,使其在某一準則下逼近于非線性系統(tǒng)(1)。對?k,神經網絡輸出層和各隱層輸出向量分別為

2 算法分析

2.1 算法推導

對于神經網絡系統(tǒng)而言,實際采集的訓練樣本總會受到噪聲的污染,即使經過一定的處理,噪聲的影響依然存在。在對網絡權值訓練時,如果依然采取常規(guī)最小均方誤差的目標函數,受噪聲污染的樣本會使得網絡在訓練的過程中出現壞數據,甚至導致矩陣奇異,嚴重影響算法的收斂性,降低了算法克服噪聲影響的能力。而且,單新息參數修正沒有完全利用過去的誤差信息,難以保證參數辨識的性能[13],即k時刻的參數估計θ(k)是在θ(k-1)的基礎上,由增益向量h(k)與單新息e(k)乘積來修正: θ(k)=θ(k-1)+h(k)e(k)。多新息辨識理論就是將增益向量與新息向量拓展為矩陣,在每次迭代中,利用k=k-P+1到k=k時的P組數據對前一時刻的參數進行修正。本文即采用多新息理論,同時利用輸入輸出數據的先驗信息,在LMSE目標函數中引入一輔助項,構成新的綜合目標函數?；谠撃繕撕瘮颠M行輸出層權值訓練,能夠提高算法的學習速度和精度,增強算法的抗噪能力。

綜合目標函數的形式為

式(4)中第一項將基于單新息的LMSE目標函數進行了拓展,P值的選取決定了新息向量的維數,利用遍歷數據信息,有效提高學習算法的收斂速度。第二項用于約束網絡輸出的平滑性,利用P維網絡輸出對輸出層權值的一階導數進行在線調整實現。

定理1對于多層前向神經網絡模型,基于式(4)綜合目標函數,輸出層權值的遞推計算公式為

證明 式(4)可化為如下形式:

利用Gauss-Newton法求解式(12)的最小化問題,可得輸出層權值的遞推計算公式為

故式(13),(16),(18),(22)組成了輸出層權值的遞推計算公式,每次輸入一個新的樣本,利用P維新息對權值進行修正,所有樣本輸入,即完成一次訓練。增加訓練次數,直至滿足精度的要求。在訓練過程中,要始終保證Hessian矩陣的非奇異性,從而保證計算的穩(wěn)定性,所以的初始化矩陣=ωI,ω應取一很大的數。定理1得證。0

對于輸入層和隱含層權值的訓練,本文采用文獻[14]中提出的Karayiannis方法,該方法基于常規(guī)LMSE目標函數,利用Gauss-Newton法近似推導的一種二階學習方法,具有比經典BP算法更快的收斂速度和辨識精度。

2.2 算法性能分析

(1)針對訓練樣本受噪聲污染的實際情況,本文在常規(guī)LMSE目標函數的基礎之上,通過引入一輔助約束項,構造綜合目標函數,提高網絡擬合曲面的光滑度,增強算法的抗噪能力。

(2)基于單新息參數修正的辨識算法,本文引入多新息理論,通過拓展新息向量,每次迭代中都可以利用遍歷信息,有效克服壞數據干擾,加快算法的收斂速度。其中P值的選取根據實際輸入輸出數據先驗信息確定。

(4)基于最優(yōu)化理論,本文提出的算法具有較好的收斂性能。同時得到了辨識算法的遞推計算公式,可用于在線辨識,有效減小計算量。

(5)根據式(22),權值增量的遞推公式可以寫成

BP算法中權值增量的計算公式為

式中,α為慣性因子；η為學習速率。

將式(23)、(24)作對比可發(fā)現,式(23)也為帶有慣性系數和學習因子的遞推算法,它的慣性系數和學習因子都是基于多新息在線自適應調整,有效防止算法震蕩,加快收斂。同時平滑算子λ的引入,增強了該辨識算法的魯棒性,平滑網絡擬合曲面。

3 仿真實驗及分析

3.1 測試數據與模型評價標準

以如下典型非線性時變系統(tǒng)產生測試數據:

其中,輸入信號u(k)=sin(0.01πk),v(k)為白噪聲,通過調整白噪聲v(k)的方差,得到不同噪信比的測試數據,本例噪信比δns分別設為5%,20%, 35%。P=1時,本文算法就退化為單新息的神經網絡辨識算法。在不同的噪信比情況下,本文算法P分別取1和3,并與Karayiannis算法進行比較,以訓練次數與均方誤差作為性能評價標準。其中均方誤差定義為

3.2 辨識過程與結果分析

以Matlab7.0軟件為編程工具,采用三層網絡結構,其中輸入層為u(k)和y(k-1),一個6單元隱層及一個輸出y(k),學習速率α由一維搜索確定,初始權值為0與0.01間均勻分布的隨機數。不同噪信比情況下的仿真結果如圖1和表1所示。為驗證ω應取較大值,在P=1、噪信比δns為35%、ω分別取10和106時進行相關辨識實驗,結果如圖2所示。

通過對比可以發(fā)現,目標函數中輔助項的引入可以有效克服噪聲的影響,同時,多新息的引入加快了辨識算法的收斂性,精度亦有所提高。當噪聲污染程度較大時,算法的辨識性能明顯優(yōu)于Karayiannis算法。通過圖2對比曲線驗證,初始化=ωI,ω應取較大值(106)。仿真結果表明:基于綜合目標函數的非線性神經網絡多新息辨識算法在辨識精度與抗噪能力上均優(yōu)于已有的Karayiannis二階辨識算法。

圖1 不同噪信比時的仿真曲線Fig.1 Simulation curves for differentnoise-to-signal ratio

表1 不同噪信比下本文算法與Karayiannis算法仿真結果對比Table 1 Comparison of simulation results between two algorithms with different noise-to-signal ratio

圖2 ω取不同值時對比仿真曲線Fig.2 Comparison curves for different ω

4 結束語

通過在目標函數中引進平滑網絡輸出曲面的輔助約束項,同時利用多新息參數修正,提出一種新型的非線性動態(tài)神經網絡辨識算法。該算法突破了常規(guī)LMSE目標函數的限制,可有效抑制噪聲對訓練樣本的影響,提高系統(tǒng)辨識的速度和精度。同時推導出算法的遞推計算公式,避免矩陣求逆,可有效降低存儲量和計算量。大量仿真結果表明本文算法具有魯棒性強、收斂快速、精度高的特點,與現有的同類算法相比,更適用于非線性系統(tǒng)的辨識。

[1] ROJAS I,POMARES H,BERNIER J L,et al.Time series analysis using normalized PG-RBF network with regression weights[J].Neurocomputing,2002,42(1/4): 267-285.

[2] LACY S,L,BEMSTEIN D S.Subspace identification for non-linear systems with measured-input non-linearities[J]. International Journal of Control,2005,78(12):906-925.

[3] ZAPRANIS A,ALEXANDRIDIS A.model identification in wavelet neural networks framework.Proceedings of the 5th IFIP Conference on Artificial Intelligence Applications &Innovations,Thessaloniki,Greece,April 23-25,2009 [C].Berlin:Springer,2009.

[4] 華陳權,王昌明,耿艷峰,等.基于神經網絡的槽式孔板濕氣計量修正模型[J].中國石油大學學報:自然科學版,2009,33(6):152-156.

HUA Chen-quan,WANG Chang-ming,GENG Yan-feng, et al.Wet gas flow metering correction model of slotted orifice based on neural network[J].Journal of China U-niversity of Petroleum(Edition of Natural Science), 2009,33(6):152-156.

[5] SINGH Y P,ROYCHOWDHURY P.Dynamic tunneling based regularization in feedforward neural networks[J]. Artificial Intelligence,2001,131(1/2):55-71.

[6] KONSTANTINOS P F.Biological engineering applications of feedforward neural networks designed and parameterized by genetic algorithms[J].Neural Networks,2005,18 (7):934-950.

[7] YU J B,WANG S J,Xi L F.Evolving artificial neural networks using an improved PSO and DPSO[J].Neurocomputing,2008,71(4/6):1054-1060.

[8] 邵紅梅,安鳳仙.一類訓練前饋神經網絡的梯度算法及收斂性[J].中國石油大學學報:自然科學版,2010, 34(4):176-178.

SHAO Hong-mei,AN Feng-xian.A class of gradient algorithms with variable learning rates and convergence analysis for feedforward neural networks training[J].Journal of China University of Petroleum(Edition of Natural Science),2010,34(4):176-178.

[9] CHEN D S,RAMESH C J.A robust back propagation learning algorithm for function approximation[J].IEEE Trans on Neural Networks,1994,5(3):467-479.

[10] 徐寶昌,羅雄麟,王金山.一種基于綜合目標函數的神經網絡學習算法[J].中國石油大學學報:自然科學版,2009,33(6):95-99.

XU Bao-chang,LUO Xiong-lin,WANG Jin-shan.A novel neural network training algorithm based on generalized objective function[J].Journal of China University of Petroleum(Edition of Natural Science),2009,33 (6):95-99.

[11] 包芳,潘永惠.神經網絡泛化性能優(yōu)化算法[J].計算機工程與設計,2009,30(22):5211-5213.

BAO Fang,PAN Yong-hui.Algorithm of generalization performance optimization of neural network[J].Computer Engineering and Design,2009,30(22):5211-5213.

[12] DING F,CHEN T.Performance analysis of mlti-innovation gradient type identification methods[J].Automatica,2007,43(1):1-14.

[13] DING F,CHEN H B,LI M.Multi-innovation least squares identification methods based on the auxiliary model for MISO systems[J].Applied Mathematics and Computation,2007,187(2):658-668.

[14] 王永驥,涂健.神經元網絡控制[M].北京:機械工業(yè)出版社,1999.

(編輯 修榮榮)

Multi-innovation identification algorithm of neural network based on generalized objective function

XU Bao-chang,LIU Xin-le
(College of Geophysics and Information Engineering in China University of Petroleum,Beijing 102249,China)

To improve the identification accuracy and robustness to noise of dynamic neural network learning algorithm,multi-innovation identification algorithm based on a generalized objective function was presented.The generalized function based on multi-innovation theory was constructed by combining an auxiliary constraint term with the least mean square error.The weight matrix of output layer was trained using the generalized function.The recursive equations for training weight matrix of output layer were derived using Newton iterative algorithm.Compared with the existed second-order learning algorithm,this algorithm has stronger robustness,better convergent rate and accuracy.Simulation results show the efficiency of the new algorithm.

system identification；generalized objective function；neural network；multi-innovation

TP 183

A

1673-5005(2013)02-0165-05

10.3969/j.issn.1673-5005.2013.02.027

2012-09-05

國家重大專項(2011ZX05021-003)

徐寶昌(1974-),男,副教授,博士,主要從事復雜油氣系統(tǒng)的信息處理、建模與先進控制。E-mail:xbcyl@163.com。