引入先驗(yàn)知識(shí)的燃油加熱器系統(tǒng)神經(jīng)網(wǎng)絡(luò)辨識(shí)

臧玉萍，張 洋，孫 博

ZANG Yu-ping1，ZHANG Yang1，SUN Bo2

（1.長(zhǎng)春工業(yè)大學(xué) 人文信息學(xué)院，長(zhǎng)春 130122；2.長(zhǎng)春工業(yè)大學(xué) 基礎(chǔ)科學(xué)學(xué)院，長(zhǎng)春 130012）

0 引言

獨(dú)立式汽車(chē)燃油加熱器，是一種用于對(duì)工作在低溫條件下的汽柴發(fā)動(dòng)機(jī)進(jìn)行預(yù)熱的小型燃油內(nèi)燃機(jī)系統(tǒng)。該系統(tǒng)一般由燃油供給、電控點(diǎn)火、助燃空氣供給、燃燒及熱交換、水循環(huán)、暖風(fēng)循環(huán)、電控單元等主要部分構(gòu)成。對(duì)加熱器的控制目標(biāo)之一是通過(guò)調(diào)整油泵的燃油供給量和風(fēng)機(jī)的助燃空氣供給量使發(fā)動(dòng)機(jī)冷卻液溫度按預(yù)定的曲線變化。加熱器-負(fù)載系統(tǒng)是一種具有滯后、系統(tǒng)外部不確定擾動(dòng)引起時(shí)變等特征，且難以建立確定數(shù)學(xué)模型的被控系統(tǒng)，由此控制模型的設(shè)計(jì)必須解決系統(tǒng)模型在線辨識(shí)的問(wèn)題。

系統(tǒng)辨識(shí)問(wèn)題本質(zhì)上是一個(gè)優(yōu)化問(wèn)題。傳統(tǒng)辨識(shí)算法的基本思想，是通過(guò)建立一個(gè)與系統(tǒng)輸入和輸出響應(yīng)相關(guān)的參數(shù)模型，將辨識(shí)問(wèn)題轉(zhuǎn)化為模型的參數(shù)識(shí)別問(wèn)題，典型方法如最小二乘法、梯度校正法、極大似然法等。此類方法，在對(duì)具有不確定參數(shù)的線性、時(shí)不變系統(tǒng)的辨識(shí)和自適應(yīng)控制問(wèn)題中取得了很大的進(jìn)展，但對(duì)于非線性、時(shí)變、滯后系統(tǒng)則還很難實(shí)行有效的辨識(shí)和自適應(yīng)控制[1]。

神經(jīng)網(wǎng)絡(luò)建模方法的一大特點(diǎn)是“黑箱”特性，即不需要對(duì)系統(tǒng)的內(nèi)部結(jié)構(gòu)、動(dòng)力學(xué)特性做任何分析，只需要知道輸入輸出即可[2]。神經(jīng)網(wǎng)絡(luò)用于系統(tǒng)辨識(shí)的本質(zhì)，是選擇一個(gè)合適的神經(jīng)網(wǎng)絡(luò)模型來(lái)逼近實(shí)際系統(tǒng)。辨識(shí)過(guò)程中，通過(guò)直接學(xué)習(xí)系統(tǒng)的輸入/輸出數(shù)據(jù)，使誤差函數(shù)達(dá)到最小，從而歸納出隱含在系統(tǒng)輸入/輸出數(shù)據(jù)中的關(guān)系，從而完成對(duì)原系統(tǒng)的辨識(shí)。

1 SISO系統(tǒng)三層前向神經(jīng)網(wǎng)絡(luò)辨識(shí)器

1.1 神經(jīng)網(wǎng)絡(luò)辨識(shí)器拓?fù)浣Y(jié)構(gòu)

具有單輸入輸出關(guān)系的SISO（Single Input Single Output，單輸入單輸出）系統(tǒng)是一類工程中普遍存在的控制對(duì)象。設(shè)具有此特征的SISO系統(tǒng)：

式中，u(k)、y(k)為由第k次采樣得到的系統(tǒng)輸入和輸出；nu和ny為u和y的階次；f[.]為非線性函數(shù)。

圖1 SISO系統(tǒng)三層前向神經(jīng)網(wǎng)絡(luò)辨識(shí)器拓?fù)浣Y(jié)構(gòu)圖

絡(luò)辨識(shí)器模型NNI的輸入-輸出關(guān)系可表述為：

式中，k為采樣序號(hào)，k=0,1,2…；

f[.]，g[.]分別為隱含層、輸出層傳輸函數(shù)，且有：

1.2 三層前向辨識(shí)網(wǎng)絡(luò)權(quán)值系數(shù)調(diào)整算法

式(2)～式(6)給出的三層前向辨識(shí)器模型中的權(quán)值/閾值系數(shù)可借助反向傳播學(xué)習(xí)算法確定[1]。修正權(quán)值系數(shù)的過(guò)程本質(zhì)上是一個(gè)搜索過(guò)程?；诶硐氡孀R(shí)模型將使系統(tǒng)輸出y和辨識(shí)器預(yù)報(bào)輸出之間誤差最小的思想，及辨識(shí)準(zhǔn)則：

可建立指標(biāo)函數(shù)：

并由此得到權(quán)值系數(shù)的調(diào)整算法：

式中，η∈[0,1]為學(xué)習(xí)速率；α∈[0,1]為動(dòng)量系數(shù)。引入動(dòng)量系數(shù)是為了加快搜索過(guò)程，使其快速收斂于全局最小。

2 LLYCO-30KW加熱器系統(tǒng)神經(jīng)網(wǎng)絡(luò)辨識(shí)器設(shè)計(jì)

LLYCO-30KW型加熱器是雷克汽車(chē)供暖有限公司生產(chǎn)的獨(dú)立式燃油加熱器，實(shí)驗(yàn)研究表明，該加熱器在負(fù)載不同的情況下，開(kāi)環(huán)響應(yīng)曲線表現(xiàn)出明顯的S形特征，負(fù)載不同，滯后時(shí)間不同，系統(tǒng)特性隨溫度的變化具有明顯的緩時(shí)變特征，本文以LLYCO-30KW型加熱器為對(duì)象設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)辨識(shí)器。

2.1 辨識(shí)器網(wǎng)絡(luò)輸入設(shè)計(jì)

式(2)～式(6)以及圖1給出了SISO系統(tǒng)三層前向辨識(shí)器的基本理論構(gòu)架，工程實(shí)踐中需進(jìn)一步確定網(wǎng)絡(luò)輸入層向量和隱含層神經(jīng)元數(shù)量。

對(duì)于如式(1)給出的SISO系統(tǒng)，根據(jù)系統(tǒng)輸入u和輸出y的階次nu和ny確定輸入向量元素?cái)?shù)。對(duì)于響應(yīng)曲線具有明顯S形特征的一類系統(tǒng)用三階函數(shù)加以描述。記辨識(shí)器輸入層輸入向量為p，輸入u的階次為nu，輸出y的階次為ny，總節(jié)點(diǎn)數(shù)為nI，則有：

式中，y(k)為第k次采樣得到的系統(tǒng)輸出值；u(k)、u(k-1)、u(k-2)分別為第k、k-1、k-2次采樣得到的系統(tǒng)輸入值。

2.2 辨識(shí)器隱含層神經(jīng)元設(shè)計(jì)

辨識(shí)網(wǎng)絡(luò)隱含層神經(jīng)元設(shè)計(jì)問(wèn)題，與問(wèn)題域密切相關(guān)，目前還沒(méi)有一種可行的理論方法可借鑒，實(shí)踐中通常是采用經(jīng)驗(yàn)和實(shí)驗(yàn)的方法。對(duì)于本工作所涉及的高階非線性研究對(duì)象而言，一般認(rèn)為如下一些原則對(duì)隱含層拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)具有借鑒意義：

神經(jīng)元數(shù)量不少于輸入數(shù)。

增加神經(jīng)元數(shù)量有利于提高預(yù)測(cè)精度，但同時(shí)會(huì)由于結(jié)構(gòu)復(fù)雜度的增加而增加計(jì)算時(shí)間，降低時(shí)間效率。

減少神經(jīng)元數(shù)量會(huì)加大預(yù)測(cè)誤差，同時(shí)也會(huì)由于預(yù)測(cè)值不能很快的收斂于目標(biāo)值而增加計(jì)算時(shí)間，降低時(shí)間效率。

過(guò)多的神經(jīng)元數(shù)量會(huì)增加過(guò)擬合的風(fēng)險(xiǎn)，降低魯棒性。

基于上述考慮，本工作針對(duì)辨識(shí)網(wǎng)絡(luò)隱含層設(shè)計(jì)問(wèn)題，對(duì)含有不同隱含層神經(jīng)元數(shù)的辨識(shí)網(wǎng)絡(luò)進(jìn)行了實(shí)驗(yàn)研究。實(shí)驗(yàn)結(jié)果表明，由3～5個(gè)神經(jīng)元構(gòu)成的隱含層網(wǎng)絡(luò)，均可對(duì)本工作所對(duì)的目標(biāo)系統(tǒng)實(shí)現(xiàn)有效的辨識(shí)；其間的區(qū)別在于簡(jiǎn)單的隱含層結(jié)構(gòu)（如3神經(jīng)元模型）有利于減小初始誤差，但5神經(jīng)元模型的辨識(shí)收斂速度則明顯優(yōu)于3神經(jīng)元模型。而更復(fù)雜的隱含層結(jié)構(gòu)，從各方面考慮都是不利的。

2.3 先驗(yàn)知識(shí)引導(dǎo)模型與基于先驗(yàn)知識(shí)的網(wǎng)絡(luò)權(quán)值系數(shù)初始化

神經(jīng)網(wǎng)絡(luò)辨識(shí)器工作過(guò)程中，首先需要對(duì)網(wǎng)絡(luò)權(quán)值系數(shù)進(jìn)行初始化賦值[3,4]。通常情況下，可采用一組非零的隨機(jī)數(shù)作為網(wǎng)絡(luò)權(quán)值系數(shù)的初值。對(duì)被測(cè)目標(biāo)系統(tǒng)的辨識(shí)、黑箱建模過(guò)程的本質(zhì)是在一組由無(wú)窮多個(gè)備選模型組成的解空間中搜索出一個(gè)次優(yōu)解（或滿意解）。隨機(jī)初始化權(quán)值系數(shù)的方法，相當(dāng)于在解空間中隨機(jī)選取一點(diǎn)作為搜索起點(diǎn)。顯而易見(jiàn)，由隨機(jī)起點(diǎn)收斂到接近次優(yōu)解（或滿意解）所在位置需要一段時(shí)間，而若能以接近次優(yōu)解（或滿意解）所在位置作為搜索起點(diǎn)，無(wú)疑會(huì)減少搜索步次，加快收斂速度，進(jìn)而提高辨識(shí)器的時(shí)間效率。而對(duì)于實(shí)時(shí)在線辨識(shí)的應(yīng)用目標(biāo)而言，時(shí)間效率的提高有著重要的意義。

一種解決此問(wèn)題的思想是借助于先驗(yàn)知識(shí)選擇一組參數(shù)作為辨識(shí)網(wǎng)絡(luò)的初始值。加入先驗(yàn)知識(shí)相當(dāng)于減小了神經(jīng)網(wǎng)絡(luò)函數(shù)類的VC維數(shù)[5]，在神經(jīng)網(wǎng)絡(luò)中使用任何一種先驗(yàn)知識(shí)都能改進(jìn)網(wǎng)絡(luò)的泛化能力。與此同時(shí)，引入先驗(yàn)知識(shí)后的神經(jīng)網(wǎng)絡(luò)，既可以滿足一定的過(guò)程特性（增益、單調(diào)、凸性等），也能保證可靠的安全性（避免零增益和增益反轉(zhuǎn)）[6]?？紤]到導(dǎo)致加熱器系統(tǒng)模型變化的主要原因?yàn)橥獠凯h(huán)境條件的變化，而一般情況下此時(shí)變過(guò)程為一緩變過(guò)程，由此可以利用前次辨識(shí)得到的系統(tǒng)模型參數(shù)作為先驗(yàn)知識(shí)初始化網(wǎng)絡(luò)權(quán)值系數(shù)?？梢灶A(yù)見(jiàn)，此權(quán)值系數(shù)初始化模型在最不利的情況下等價(jià)于隨機(jī)數(shù)初始化模型；而在一般多數(shù)情況下將表現(xiàn)出更優(yōu)良的時(shí)間效率。

基于上述思想，本工作在系統(tǒng)辨識(shí)器中增加了一個(gè)用于保存前次辨識(shí)得到的系統(tǒng)模型參數(shù)的知識(shí)庫(kù)模塊，作為先驗(yàn)知識(shí)引導(dǎo)本次辨識(shí)網(wǎng)絡(luò)權(quán)值系數(shù)。知識(shí)引導(dǎo)學(xué)習(xí)算法的系統(tǒng)辨識(shí)器框圖如圖2所示。

圖3為5神經(jīng)元模型在兩種初始化條件下辨識(shí)性能的比較，其中圖3(a)為采用隨機(jī)算法初始化網(wǎng)絡(luò)權(quán)值系數(shù)的辨識(shí)誤差曲線，圖3(b)為采用先驗(yàn)知識(shí)引導(dǎo)算法初始化網(wǎng)絡(luò)權(quán)值系數(shù)的辨識(shí)誤差曲線。分析實(shí)驗(yàn)結(jié)果可見(jiàn)：基于先驗(yàn)知識(shí)的網(wǎng)絡(luò)權(quán)值系數(shù)初始化模型對(duì)辨識(shí)器性能有明顯改善作用；知識(shí)引導(dǎo)模型的最大辨識(shí)誤差降低至隨機(jī)模型的30%左右；辨識(shí)響應(yīng)速度也有所提高。

圖2 知識(shí)引導(dǎo)學(xué)習(xí)系統(tǒng)辨識(shí)器結(jié)構(gòu)框圖

圖3 兩種初始化條件下5神經(jīng)元結(jié)構(gòu)辨識(shí)器辨識(shí)性能比較

其中：(a)為采用隨機(jī)算法初始化網(wǎng)絡(luò)權(quán)值系數(shù)的辨識(shí)誤差曲線；(b)為采用先驗(yàn)知識(shí)引導(dǎo)算法初始化網(wǎng)絡(luò)權(quán)值系數(shù)的辨識(shí)誤差曲線。

2.4 辨識(shí)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)設(shè)計(jì)

式(2)～式(6)與圖1給出的SISO系統(tǒng)三層前向神經(jīng)網(wǎng)絡(luò)辨識(shí)器的輸出為第k+1次循環(huán)時(shí)系統(tǒng)的預(yù)報(bào)輸出實(shí)踐中還需要以的形式（即第k+1次循環(huán)系統(tǒng)預(yù)報(bào)輸出對(duì)第k次采樣得到的系統(tǒng)輸入值的偏導(dǎo)數(shù)）作為系統(tǒng)輸出，由式(2)～式(6)，可導(dǎo)出的計(jì)算式：

在前述討論基礎(chǔ)上，可構(gòu)建加熱器系統(tǒng)SISO三層前向神經(jīng)網(wǎng)絡(luò)辨識(shí)器NNI，拓?fù)浣Y(jié)構(gòu)如圖4所示。為方便后續(xù)仿真計(jì)算起見(jiàn)，圖中采用了Simulink仿真器符號(hào)系統(tǒng)。其中：

隱含層由5個(gè)神經(jīng)元構(gòu)成IW為隱含層5×4權(quán)值系數(shù)矩陣。b1為隱含層5×1偏值系數(shù)向量。n1為隱含層5×1累加器輸出。f[.]為式(3)～式(7)所定義的隱含層雙曲正切傳輸函數(shù)。a1為隱含層5×1輸出向量。

輸出層由1個(gè)神經(jīng)元構(gòu)成。IW為輸出層1×5權(quán)值系數(shù)矩陣。b2為輸出層1×1偏值系數(shù)向量。n2為輸出層1×1累加器輸出。g[.]為式(3)～式(8)所定義的輸出層傳輸函數(shù)。為辨識(shí)器預(yù)報(bào)輸出，1×1輸出向量。為第k+1次循環(huán)系統(tǒng)預(yù)報(bào)輸出對(duì)第k次采樣得到的系統(tǒng)輸入值的偏導(dǎo)數(shù)，1×1輸出向量。

2.5 辨識(shí)器在線建模算法設(shè)計(jì)

辨識(shí)器在線建模算法如下：

調(diào)入知識(shí)庫(kù)，讀?。狠斎雽庸?jié)點(diǎn)數(shù)nI；隱含層節(jié)點(diǎn)數(shù)Q；學(xué)習(xí)速率η；

圖4 加熱器系統(tǒng)SISO三層神經(jīng)網(wǎng)絡(luò)辨識(shí)器拓?fù)浣Y(jié)構(gòu)

動(dòng)量系數(shù)α；隱含層權(quán)值系數(shù)矩陣IW，偏置系數(shù)向量b1；輸出層權(quán)值系數(shù)向量IW，偏置系數(shù)向量b2；采樣序號(hào)k=0；輸入向量初始化p1=(0,0,0,0)；

讀當(dāng)前時(shí)刻輸入/輸出采樣值u(k),y(k)；

輸入層輸入向量p1賦值，

計(jì)算隱含層累加器輸出：

計(jì)算隱含層傳輸函數(shù)輸出：

計(jì)算輸出層傳輸函數(shù)輸出：

修正隱含層權(quán)值系數(shù)向量：

讀停止指令；若指令繼續(xù)，跳轉(zhuǎn)至下一步；若指令停止，跳轉(zhuǎn)至式(13)；

采樣序號(hào)k=k+1；

返回至式(3)；

保存IW、LW至知識(shí)庫(kù)；

退出。

3 辨識(shí)器Simulink仿真實(shí)驗(yàn)研究

利用MATLAB-Simulink仿真器平臺(tái)，對(duì)3.3節(jié)加熱器系統(tǒng)辨識(shí)模型和3.5節(jié)在線建模算法進(jìn)行仿真調(diào)試。系統(tǒng)辨識(shí)器NNI仿真結(jié)果如表1所示，仿真曲線及仿真誤差曲線如圖5所示。

圖5左圖為燃油加熱器系統(tǒng)辨識(shí)Simulink仿真曲線。圖中階躍線為單位階躍信號(hào)，曲線為加熱器傳遞函數(shù)輸出曲線，*號(hào)線為辨識(shí)器辨識(shí)輸出。右圖為燃油加熱器系統(tǒng)辨識(shí)Simulink仿真誤差曲線。

分析NNI仿真數(shù)據(jù)可知：

表1 加熱器系統(tǒng)辨識(shí)器Simulink仿真結(jié)果

圖5 燃油加熱器系統(tǒng)辨識(shí)Simulink仿真曲線

NNI辨識(shí)器可以很好的實(shí)現(xiàn)對(duì)燃油加熱器的系統(tǒng)辨識(shí)任務(wù)，最大辨識(shí)誤差不大于1%，優(yōu)于加熱器設(shè)計(jì)的精度要求。

NNI辨識(shí)器具有良好的響應(yīng)特性。辨識(shí)誤差不大于1%的響應(yīng)時(shí)間不大于3秒，優(yōu)于加熱器設(shè)計(jì)對(duì)緩慢時(shí)變系統(tǒng)實(shí)時(shí)在線辨識(shí)建模的響應(yīng)速度要求。

4 結(jié)論

1）采用神經(jīng)網(wǎng)絡(luò)對(duì)燃油加熱器系統(tǒng)進(jìn)行在線辨識(shí)，設(shè)計(jì)了一種基于三層神經(jīng)網(wǎng)絡(luò)模型的系統(tǒng)辨識(shí)器NNI。NNI以由第k次采樣得到的被控系統(tǒng)的輸入、輸出u(k)、u(k-1)、u(k-2)、y(k)作為辨識(shí)器的輸入，隱含層采用5神經(jīng)元結(jié)構(gòu)和雙曲正切函數(shù)作為傳輸函數(shù)，輸出層采用單神經(jīng)元結(jié)構(gòu)和線性傳輸函數(shù)，采用了基于反向傳播學(xué)習(xí)算法的網(wǎng)絡(luò)權(quán)值系數(shù)調(diào)整算法。實(shí)驗(yàn)結(jié)果表明，NNI辨識(shí)器最大辨識(shí)誤差不大于1%，優(yōu)于加熱器設(shè)計(jì)的精度要求；NNI辨識(shí)器具有良好的響應(yīng)特性，辨識(shí)誤差不大于1%的響應(yīng)時(shí)間不大于3秒，優(yōu)于加熱器設(shè)計(jì)對(duì)緩慢時(shí)變系統(tǒng)實(shí)時(shí)在線辨識(shí)建模的響應(yīng)速度要求。前向神經(jīng)網(wǎng)絡(luò)辨識(shí)器NNI是解決具有三階非線性、時(shí)變不確定性、純滯后等特征的系統(tǒng)辨識(shí)問(wèn)題的有效方法。

2）構(gòu)建了知識(shí)引導(dǎo)學(xué)習(xí)模型，采用了先驗(yàn)知識(shí)引導(dǎo)下的權(quán)值系數(shù)初始化策略，從而加快了搜索過(guò)程收斂于滿意解的速度，更有利于實(shí)現(xiàn)對(duì)控制對(duì)象的實(shí)時(shí)在線辨識(shí)和建模。

[1]Martin T.Hagan,Howard B.Demuth,Mark H.Beale.神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)[M].北京：機(jī)械工業(yè)出版社,2002.

[2]薛福珍,柏潔.基于先驗(yàn)知識(shí)和神經(jīng)網(wǎng)絡(luò)的非線性建模與預(yù)測(cè)控制[J].系統(tǒng)仿真學(xué)報(bào),2004,16(5),1057-1063.

[3]Martin T.Hogan,Howard B.Demuth,Mark H.Beale.Neural Ntwork Design[M].北京：機(jī)械工業(yè)出版社,2002.

[4]Theodoridis,Koutroumbas.Pattern Recognition(2nd Edition)[M].北京：電子工業(yè)出版社,2004.

[5]Abu-Mostafa Y S.Hints and VC dimension[J].Neural Comut.1993,5：278-288.

[6]婁海川,蘇宏業(yè),謝磊.融合過(guò)程先驗(yàn)知識(shí)的遞歸神經(jīng)網(wǎng)絡(luò)模型及其應(yīng)用[J].化工學(xué)報(bào),2013,64(5)：1665-1673.