基于神經(jīng)網(wǎng)絡(luò)的Hammerstein OE非線性系統(tǒng)參數(shù)估計

李峰 李誠豪

摘? ? 要：針對噪聲干擾下的Hammerstein非線性動態(tài)系統(tǒng)，提出一種基于神經(jīng)網(wǎng)絡(luò)的Hammerstein OE（Hammerstein Output Error）非線性系統(tǒng)參數(shù)估計方法。在該系統(tǒng)中，利用BP神經(jīng)網(wǎng)絡(luò)和自回歸模型分別建立靜態(tài)非線性模塊和動態(tài)線性模塊，并提出兩階段參數(shù)估計方法：第一階段，利用輔助模型遞推最小二乘方法估計動態(tài)線性模塊的參數(shù)，解決了系統(tǒng)中間變量不可測問題;第二階段，為了改善參數(shù)學(xué)習(xí)收斂率，利用含有動量項的隨機梯度下降方法估計BP神經(jīng)網(wǎng)絡(luò)的權(quán)值。仿真結(jié)果表明，提出的方法能夠有效估計Hammerstein OE非線性系統(tǒng)參數(shù)。

關(guān)鍵詞：Hammerstein非線性系統(tǒng);BP神經(jīng)網(wǎng)絡(luò);輔助模型;參數(shù)估計

中圖分類號：TP273? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ?文章編號：2095-7394（2021）04-0025-07

在非線性系統(tǒng)辨識和自動控制領(lǐng)域，塊結(jié)構(gòu)模型是當前的研究熱點。按串聯(lián)模塊的連接形式，塊結(jié)構(gòu)模型可分為：Hammerstein系統(tǒng)、Wiener系統(tǒng)、Hammerstein-Wiener系統(tǒng)和Wiener-Hammerstein系統(tǒng)。在這些系統(tǒng)中，Hammerstein非線性系統(tǒng)由靜態(tài)非線性模塊和動態(tài)線性模塊串聯(lián)而成，是一類典型的非線性系統(tǒng)。研究表明，該系統(tǒng)能夠有效地描述大多數(shù)非線性特性，適合作為過程模型使用[1-9]，因此，得到了廣泛認可和關(guān)注。近年來，國內(nèi)外學(xué)者提出了多種Hammerstein非線性系統(tǒng)的辨識方法，主要包括：子空間方法[10-11] 、過參數(shù)化方法[12-13]、迭代方法[14-15]、盲辨識方法[16]以及多信號源方法[17-18]等。

在非線性系統(tǒng)的建模研究領(lǐng)域中，神經(jīng)網(wǎng)絡(luò)模型能夠較好地反映對象的動態(tài)特性和復(fù)雜的非線性映射關(guān)系，具有較強的自學(xué)習(xí)能力和非線性處理能力;因此，近年來，神經(jīng)網(wǎng)絡(luò)模型已成功應(yīng)用于Hammerstein非線性系統(tǒng)的建模和辨識研究中。但在實際工業(yè)生產(chǎn)過程中普遍存在噪聲，噪聲對系統(tǒng)的相關(guān)性能會造成影響;因此，研究噪聲干擾下的Hammerstein非線性系統(tǒng)具有重要意義。JANCZAK [19]利用多層神經(jīng)網(wǎng)絡(luò)逼近Hammerstein模型的靜態(tài)非線性，研究了白噪聲干擾下Hammerstein模型神經(jīng)網(wǎng)絡(luò)辨識方法。WU[20]研究了有色噪聲下Hammerstein非線性動態(tài)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識：首先，將Hammerstein模型的辨識問題轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題;然后，采用誤差反向傳播算法求解。然而，上述參數(shù)估計方法雖然取得了較好的辨識結(jié)果，但在辨識的系統(tǒng)中包含了參數(shù)的乘積項，需要通過分解技術(shù)將各模塊的未知參數(shù)分離出來，因而增加了辨識的復(fù)雜度。針對上述辨識方法中存在的問題，本文提出了一種基于神經(jīng)網(wǎng)絡(luò)的Hammerstein OE非線性系統(tǒng)參數(shù)估計方法，從而能夠有效估計Hammerstein OE非線性系統(tǒng)的參數(shù)。

1? ?問題描述

考慮單輸入單輸出Hammerstein OE非線性系統(tǒng)，其結(jié)構(gòu)如圖1所示。

Hammerstein OE非線性系統(tǒng)的數(shù)學(xué)表達式為：

基于給定的閾值[ε]建立Hammerstein OE非線性系統(tǒng)，就是要求解滿足如下條件的參數(shù)：

本文采用的BP神經(jīng)網(wǎng)絡(luò)擬合靜態(tài)非線性模塊，其結(jié)構(gòu)如圖1中的[N?]所示。BP神經(jīng)網(wǎng)絡(luò)的輸出可以通過下式表示：

2? ? BP神經(jīng)網(wǎng)絡(luò)Hammerstein OE非線性系統(tǒng)參數(shù)估計

前期研究表明，如果系統(tǒng)的輸入為二進制信號[uk]，則相應(yīng)的中間變量[vk]為與[uk]同頻率不同幅值的二進制信號[21]。在此基礎(chǔ)上，本文利用二進制信號和隨機信號的組合信號源，研究Hammerstein OE非線性系統(tǒng)的非線性模塊和線性模塊參數(shù)估計的分離。

2.1? 動態(tài)線性模塊的參數(shù)估計

根據(jù)上述分析，基于二進制信號的輸入輸出數(shù)據(jù)，利用輔助模型最小二乘方法估計動態(tài)線性模塊的參數(shù)。由圖1可以得到：

在式（5）中，由于信息向量[φk]中含有未知變量[xk]，因此，不能利用最小二乘方法求解參數(shù)。為解決這一問題，借助輔助模型辨識思想[22]，定義[φak]和[θak]分別是[k]時刻輔助模型的信息向量和參數(shù)向量。由此，定義下列輔助模型表達式：

2.2? 靜態(tài)非線性模塊的參數(shù)估計

在本節(jié)中，利用隨機信號的輸入輸出數(shù)據(jù)估計靜態(tài)非線性模塊的參數(shù)，也就是BP神經(jīng)網(wǎng)絡(luò)的權(quán)值[w1j]和[w2j]。為了改善參數(shù)學(xué)習(xí)收斂率，利用含有動量項的隨機梯度下降方法調(diào)整各層之間的權(quán)值，即神經(jīng)網(wǎng)絡(luò)的輸入層至隱含層權(quán)值以及隱含層至輸出層權(quán)值。

根據(jù)式（1）和式（2），得到：

如圖2所示為不同噪信比下線性模塊的參數(shù)估計誤差。

首先，根據(jù)二進制信號的輸入輸出數(shù)據(jù)，利用輔助模型遞推最小二乘算法估計動態(tài)線性模塊的未知參數(shù)。從圖2可以看出，隨著噪信比的增加，提出的方法能夠有效估計線性模塊參數(shù)，且取得較小的參數(shù)估計誤差。

其次，利用隨機梯度下降算法估計BP神經(jīng)網(wǎng)絡(luò)的權(quán)值，即神經(jīng)網(wǎng)絡(luò)的輸入層至隱含層權(quán)值以及隱含層至輸出層權(quán)值。文中設(shè)置隱含層神經(jīng)元的數(shù)目為10，[δns=7.71%]，計算得到輸入層至隱含層權(quán)值為[-2.082 8， -2.309 6， 1.056 1， -2.485 7，][0.791 5，? ? 0.953 2，? ? -1.383 4，? ?-4.312 6，? ?-1.846 7， ][-0.583 69]，隱含層至輸出層權(quán)值為[ -0.283 8， ][-0.284 8，? ? 0.860 7，? ? -0.332 7，? ? ?0.852 9，? ? ?0.818 1，][-0.698 5，-0.271 1，-0.446 1，][0.665 0]。如圖3所示為靜態(tài)非線性模塊的估計。從圖3可以看出，針對噪聲干擾提出的Hammerstein OE非線性系統(tǒng)，其隨機梯度下降方法能夠有效近似非線性模塊。

最后，為了驗證噪聲干擾下Hammerstein非線性系統(tǒng)的預(yù)測性能，隨機產(chǎn)生400組測試信號，并且在系統(tǒng)的輸出加10%的高斯噪聲，如圖4所示為系統(tǒng)預(yù)測輸出。從圖4可以看出，針對噪聲干擾下的Hammerstein非線性系統(tǒng)，所提出的參數(shù)估計方法具有較強的預(yù)測性能。

4? ? 結(jié)語

本文針對單輸入單輸出噪聲干擾下的Hammerstein非線性動態(tài)系統(tǒng)，提出了一種基于神經(jīng)網(wǎng)絡(luò)的Hammerstein OE非線性系統(tǒng)參數(shù)估計方法。在研究中，利用多信號源實現(xiàn)噪聲干擾下Hammerstein非線性系統(tǒng)靜態(tài)非線性模塊參數(shù)和動態(tài)線性模塊參數(shù)的分離估計，文中的多信號源包括二進制信號和隨機信號。首先，基于二進制信號的輸入輸出數(shù)據(jù)，利用輔助模型遞推最小二乘方法估計動態(tài)線性模塊的參數(shù);其次，利用隨機梯度下降算法，估計靜態(tài)非線性模塊中神經(jīng)網(wǎng)絡(luò)的輸入層至隱含層權(quán)值以及隱含層至輸出層權(quán)值。仿真結(jié)果表明，本文提出的參數(shù)估計方法能夠有效估計神經(jīng)網(wǎng)絡(luò)Hammerstein OE非線性系統(tǒng)。

參考文獻：

[1] RAMESH K，HISYAM A，AZIZ N，et al. Nonlinear model predictive control of a distillation column using wavenet based Hammerstein model [J]. Engineering Letters，2012，20（4）：330-335.

[2] BHANDARI B N，ROLLINS D. Continuous-time Hammerstein nonlinear modeling applied to distillation [J]. AICHE Journal，2004，50（2）：530-533.

[3] PRSIT D，NEDIT N，F(xiàn)ILIPOVIT V，et al. Multilinear model of heat exchanger with Hammerstein structure [J]. Journal of Control Science and Engineering，2016（1）：1-7.

[4] ZHANG H T，LI H X，CHEN G. Dual-mode predictive control algorithm for constrained Hammerstein systems [J]. International Journal of Control，2008，81（10）：1609-1625.

[5] LI F，JIA L，PENG D，et al. Neuro-fuzzy based identification method for Hammerstein output error model with colored noise [J]. Neurocomputing，2017（244）：90-101.

[6] LI F，CHEN L，WO S，et al. Modeling and parameter learning for the Hammerstein-Wiener model with disturbance [J]. Measurement and Control， 2020，53（5/6）：971-982.

[7] LI F，YAO K，LI B，et al. A novel learning algorithm of the neuro-fuzzy based Hammerstein-Wiener model corrupted by process noise[J]. Journal of the Franklin Institute，2021，358（3）：2115-2137.

[8] CHEN H T，HWANG S H，CHANG C T. Iterative identification of continuous-time Hammerstein and Wiener systems using a two-stage estimation algorithm [J]. Industrial and Engineering Chemistry Research， 2009，48（3）：1495-1510.

[9] LI D，JIA Y，LI Q，et al. Identification and nonlinear model predictive control of MIMO Hammerstein system with constraints [J]. Journal of Central South University，2017，24（2）：448-458.

[10] GOMEZ J C，BAEYENS E. Subspace-based identification algorithms for Hammerstein and Wiener models [J]. European Journal of Control，2005，11（2）：127-136.

[11] WANG J S，CHEN Y P. A Hammerstein recurrent neurofuzzy network with an online minimal realization learning algorithm [J]. IEEE Transactions on Fuzzy Systems，2008，16（6）：1597-1612.

[12] 王峰，邢科義，徐小平. 辨識Hammerstein模型方法研究[J]. 系統(tǒng)仿真學(xué)報，2011，23（6）：1090-1092.

[13] FILIPOVIC V Z. Consistency of the robust recursive Hammerstein model identification algorithm [J]. Journal of the Franklin Institute，2015，352（5）：1932-1945.

[14] BAI E W，LI D. Convergence of the iterative Hammerstein system identification algorithm [J]. IEEE Transactions on Automatic Control，2004，49（11）：1929-1940.

[15] LIU Y，BAI E W. Iterative identification of Hammerstein systems [J]. Automatica，2007，43（2）：346-354.

[16] BAI E W，F(xiàn)U M. A blind approach to Hammerstein model identification [J]. IEEE Transactions on Signal Processing，2002，50（7）：1610-1619.

[17] LI F，JIA L，PENG D. Identification method of neuro-fuzzy-based Hammerstein model with coloured noise [J]. IET Control Theory and Applications，2017，11（17）：3026-3037.

[18] LI F，JIA L. Correlation analysis-based error compensation recursive least-square identification method for the Hammerstein model [J]. Journal of Statistical Computation and Simulation，2018，88（1）：56-74.

[19] JANCZAK A. Neural network approach for identification of Hammerstein system [J]. International Journal of Control，2004，76（17）：1749-1766.

[20] WU D H. Neural network identification of Hammerstein nonlinear dynamic systems [C]// Proceedings of the 29th Chinese Control Conference，2010.

[21] 李峰，謝良旭，李博，等. 基于組合式信號的Hammerstein OE模型辨識[J]. 江蘇理工學(xué)院學(xué)報，2019，25（6）：66-72.

[22] 賈立，楊愛華，邱銘森. 基于輔助模型遞推最小二乘法的Hammerstein 模型多信號源辨識[J]. 南京理工大學(xué)學(xué)報，2014，38（1）：34-39.

責任編輯? ? 盛? ? 艷