基于LM算法的BP神經(jīng)網(wǎng)絡對汽車排放污染物的預測

簡曉春，王利偉，閔 峰

(重慶交通大學 a.交通運輸學院;b.機電與汽車工程學院，重慶 400074)

在發(fā)動機排放污染物檢測和實時控制過程中，由于測量儀的測量點無法布置或?qū)崟r測量儀條件不具備等，造成難以測量的問題。同時，發(fā)動機實時運行工況是非線性的，使得建立傳統(tǒng)的數(shù)學模型相對困難，需作一系列簡化，測量精度往往不高;而用經(jīng)驗公式計算，一般只考慮少數(shù)幾個主要因素，得出的結果帶有一定誤差［1］。人工神經(jīng)網(wǎng)絡模擬生物神經(jīng)結構與思維的過程，通過不依賴于對象的數(shù)學模型來解決多維空間的非線性問題［2］。BP神經(jīng)網(wǎng)絡是目前應用最為廣泛和成功的神經(jīng)網(wǎng)絡之一，它能夠處理任意復雜的非線性問題，具有自我學習和高容錯性等特點［3-5］。本文以BP神經(jīng)網(wǎng)絡基本原理為基礎，結合Levenberg-Marquardt優(yōu)化算法建立了基于汽車排放污染物CO的LMBP神經(jīng)網(wǎng)絡軟測量模型，為發(fā)動機的排放檢測與實時控制提供依據(jù)。

1 LMBP算法理論分析

1.1 BP神經(jīng)網(wǎng)絡基本原理

BP神經(jīng)網(wǎng)絡模型處理信息的基本原理:輸入信號xi通過中間節(jié)點(隱含層節(jié)點)作用于輸出節(jié)點，經(jīng)過非線性變換，產(chǎn)生輸出信號zl，網(wǎng)絡訓練的每個樣本包括輸入向量X和期望輸出量T、網(wǎng)絡輸出值Z與期望輸出值T之間的偏差。通過調(diào)整輸入節(jié)點與隱層節(jié)點間的網(wǎng)絡權值wji、隱層節(jié)點與輸出節(jié)點的網(wǎng)絡權值vlj以及閾值，使誤差沿梯度方向下降，經(jīng)過反復學習訓練，確定與最小誤差相對應的網(wǎng)絡參數(shù)(權值和閾值)，訓練即告停止。此時，經(jīng)過訓練的神經(jīng)網(wǎng)絡即能自行處理輸出誤差最小、且經(jīng)過非線性轉(zhuǎn)換的信息［6-8］。

具體步驟:

1)初始化，隨機給定網(wǎng)絡權值wji、vlj及閾值θj、θl;

2)由給定的輸入輸出模式對計算隱含層、輸出層各單元輸出:

式中:yj為隱含層第j個節(jié)點實際輸出;zl為輸出層第l個節(jié)點的實際輸出。

其中:δl為輸出層的校正誤差;δ'l為隱層的校正誤差。

3)計算新的網(wǎng)絡權值及閾值，計算公式為:

式中 η、η'為學習系數(shù)(0＜η ＜1，0＜η'＜1)。

4)選取下一個輸入模式對，返回第2步反復訓練，直到網(wǎng)絡輸出誤差達到要求，結束訓練。

理論上已經(jīng)證明，存在閾值和至少1個S型隱含層加上1個線性輸出層的BP網(wǎng)絡具有可逼近任意非線性連續(xù)映射的能力［9］，適合于非線性系統(tǒng)的建模，是目前使用較多的一種神經(jīng)網(wǎng)絡模型。一個3層的BP網(wǎng)絡的結構如圖1所示，圖中:I、H、O表示3層的節(jié)點數(shù);θj(k)表示隱層各節(jié)點的閾值;θl(k)表示輸出層各節(jié)點的閾值。

圖1 BP網(wǎng)絡的結構

雖然BP算法有著廣泛的應用，但在實際應用中BP算法的神經(jīng)網(wǎng)絡存在收斂速度慢、學習速率不易確定等缺點，很難應用于實際計算。目前常用的改進算法有附加動量算法、變速率算法、共軛梯度算法、高斯-牛頓算法及Levenberg-Marquardt算法(簡稱LM算法)［10-11］等，其中LM 算法收斂速度最快、魯棒性最好。

1.2 LM算法原理

Levenberg-Marquardt(簡稱LM)算法為非線性最小二乘無約束優(yōu)化的主要算法，是一種利用標準數(shù)值優(yōu)化技術的快速算法，既有牛頓法的局部收斂特性，又有梯度下降算法的全局特性［12］。該算法本質(zhì)是牛頓法的變形，具有二階收斂速度，所需要的迭代次數(shù)很少，而且不需要計算Hessian矩陣。對參數(shù)數(shù)目不太大的網(wǎng)絡模型，該方法是一種快速有效的訓練算法。而BP算法實際上就是要求導信號與網(wǎng)絡輸出信號的誤差平方和達到最小，因此把LM算法應用到BP算法中是一種很有效的改進途徑。

設Y表示迭代訓練時各層權值與閾值組成的向量，Y的調(diào)節(jié)量是ΔY。調(diào)節(jié)Y，即調(diào)節(jié)網(wǎng)絡的權值與閾值，從而達到訓練學習的目的。

設表現(xiàn)函數(shù)

式中ei(Y)2，i=1～I表示誤差的平方，那么，

式中:E(Y)表示ei(Y)，i=1～I組成的向量;J(Y)是雅克比矩陣;S(Y)是誤差函數(shù)。

由于LM算法是高斯-牛頓法的改進形式，則

式中:I是單位矩陣;μ＞0是常數(shù)。

當μ=0時，LM算法轉(zhuǎn)化為具有近似Hessian陣的高斯-牛頓法。當μ較大時，LM算法接近小步長的梯度法。在訓練過程中，μ的修改系數(shù)設為α。如果訓練成功，減小μ的值;如果訓練失敗，增加μ的值。這樣表現(xiàn)函數(shù)最終會減小到一定值，達到學習的目的。

LM算法的迭代過程:

1)初始化。給出訓練誤差允許值ξ以及常數(shù)α和μ，初始化權值和閾值，令迭代次數(shù)k=0。

2)計算網(wǎng)絡輸出及表現(xiàn)函數(shù)P(Y)。

3)計算雅克比矩陣J(Y)。

4)計算ΔY。

5)如果P(Y)＜ξ，則轉(zhuǎn)到步驟6);否則，用Y+ΔY為權值和閾值向量重新計算表現(xiàn)函數(shù)P(Y)。此時如果P(Y)小于步驟2)中計算出來的P(Y)值，則令 k=k+1，μ =μ/α，且 Y=Y+ΔY，轉(zhuǎn)到步驟2);否則，令μ=μ·α，轉(zhuǎn)到步驟4)。

6)結束。

1.3 神經(jīng)網(wǎng)絡函數(shù)逼近仿真分析

下面以函數(shù)逼近方面的應用為例來比較標準BP神經(jīng)網(wǎng)絡算法和LMBP神經(jīng)網(wǎng)絡算法。將要逼近的非線性函數(shù)設為正弦函數(shù)y=sin(k·pi·x)，其頻率參數(shù)k(k=1)可以調(diào)節(jié)。網(wǎng)絡訓練分別采用標準BP算法和LM算法，仿真結果如圖2～3所示。仿真結果表明:標準BP算法訓練100步時未能達到精度要求，誤差值要高于精度要求;而LM算法在訓練2步之后就能達到精度要求。由仿真結果可以看出，在逼近效果和收斂速度方面，LM優(yōu)化算法較標準的BP算法具有明顯優(yōu)勢。這為BP神經(jīng)網(wǎng)絡應用于實時性要求高的場合(如在線檢測)提供了算法基礎［13］。

圖2 標準BP算法函數(shù)逼近仿真與訓練誤差曲線

圖3 LM算法函數(shù)逼近仿真與訓練誤差曲線

2 基于LMBP神經(jīng)網(wǎng)絡的CO排放模型

采用神經(jīng)網(wǎng)絡軟測量技術，可充分利用檢測過程中易于獲取的測量參數(shù)。按照這些參數(shù)與被測變量之間的關系(模型)，通過計算、估計及推斷來確定被測變量。該方法簡單易行，便于檢測操作，具有很好的實用價值［14］。將LMBP神經(jīng)網(wǎng)絡應用于發(fā)動機CO排放檢測與實時控制中，所建立的排放模型如圖4所示。

圖4 CO排放的LMBP神經(jīng)網(wǎng)絡模型

2.1 神經(jīng)網(wǎng)絡輸入和輸出

基于人工神經(jīng)網(wǎng)絡的軟測量技術，只需事先了解輸入、輸出狀態(tài)。如果事先了解這些輸入、輸出狀態(tài)，就可以利用前述的LMBP學習算法進行大量的學習訓練，再將其應用于檢測或?qū)崟r控制中，從而彌補測量儀器和傳統(tǒng)建模檢測的不足。根據(jù)汽車發(fā)動機排放形成機理，CO排放主要與發(fā)動機的節(jié)氣門開度、發(fā)動機轉(zhuǎn)速有關，從而確定采用LM算法的BP神經(jīng)網(wǎng)絡的輸入層節(jié)點數(shù)為2，分別為發(fā)動機的節(jié)氣門開度、發(fā)動機轉(zhuǎn)速;輸出層節(jié)點數(shù)為1，即汽車排放污染物中的CO含量值。

2.2 隱含層節(jié)點數(shù)的確定

已有理論證明，3層結構的BP網(wǎng)絡可以逼近任意的非線性映射關系，因此實際的應用以3層結構的BP網(wǎng)絡為主［15］。網(wǎng)絡隱含層節(jié)點數(shù)對神經(jīng)網(wǎng)絡預測的精度有較大影響，在實際問題中，通常根據(jù)參考公式來確定節(jié)點數(shù)范圍，式中:l為隱含層節(jié)點數(shù);m為輸入神經(jīng)層節(jié)點數(shù);n為輸出神經(jīng)層節(jié)點數(shù);a為1～10的常數(shù)。通過網(wǎng)絡訓練，選取不同的隱含層節(jié)點數(shù)來確定最佳的節(jié)點數(shù)量。

表1列出了各種隱含層節(jié)點數(shù)選擇數(shù)量及相應的訓練步數(shù)和訓練精度誤差率。

表1 隱含層節(jié)點數(shù)與網(wǎng)絡性能

從表1可以看出:當隱含層節(jié)點數(shù)為4和12時，訓練步數(shù)多，訓練精度相對較小。通過比較發(fā)現(xiàn)，當隱含層節(jié)點數(shù)為8時，訓練步數(shù)相對較少，但訓練精度最高，并且隱層節(jié)點數(shù)不多，網(wǎng)絡不復雜。實際應用中，選擇隱含層節(jié)點數(shù)為8的神經(jīng)網(wǎng)絡。

3 排放模型在檢測與實時控制中的應用

采用以上建立的排放模型，結合LM-BP算法對CA6102型汽油發(fā)動機CO排放進行實際訓練與檢測。網(wǎng)絡訓練數(shù)據(jù)來自對汽油機的排放試驗，在點火初始提前角為3°CA前提下，采集以不同發(fā)動機轉(zhuǎn)速、節(jié)氣門開度為參數(shù)的CO排放數(shù)值300組。首先對采集的實際排放數(shù)據(jù)進行預處理，從中選擇無明顯誤差的275組數(shù)據(jù)進行網(wǎng)絡訓練，精度要求為1E-3。將訓練好的神經(jīng)網(wǎng)絡用Matlab進行仿真，并作反歸一化處理。用實際排放數(shù)值進行驗證，得到建立的CO排放模型輸出值與實際測量值的比較結果，如表2所示(受篇幅限制，本文只列出部分數(shù)據(jù)組)，網(wǎng)絡訓練誤差變化曲線如圖5所示。

表2 CO排放模型的仿真值與實測值比較

從表2可以得出，通過對LM算法改進的BP神經(jīng)網(wǎng)絡學習訓練后，其仿真輸出值與實際測量值的誤差很小，最大相對誤差為2.83%，在允許誤差范圍之內(nèi)。證明用LM算法改進的BP神經(jīng)網(wǎng)絡模型可以很好地模擬發(fā)動機排放性能，對于排放物CO含量的測量是有效和準確的。

圖5 網(wǎng)絡訓練誤差變化曲線

此外，LMBP神經(jīng)網(wǎng)絡還可以實現(xiàn)對發(fā)動機CO排放實時檢測的模糊控制。模糊控制中所用的經(jīng)驗和規(guī)則是預先確定的，對較復雜的不確定性過程的控制精度較低。由于神經(jīng)網(wǎng)絡具有較強的泛化能力和學習能力，將模糊控制與神經(jīng)網(wǎng)絡相結合能提高控制的精度［16］。在汽車排放污染物的模糊控制中，可用由上述排放模型輸出的CO值與目標CO值的計算誤差和誤差變化率作為模糊控制的輸入，并按模糊神經(jīng)網(wǎng)絡控制方案實施控制。在控制中，只需要利用發(fā)動機轉(zhuǎn)速和節(jié)氣門開度即可實時反映CO的排放量。因而，該控制方法可實現(xiàn)CO模糊控制的實時性和準確性。

4 結束語

發(fā)動機排放指標受許多因素影響，傳統(tǒng)的建模方法復雜，且不能真實地反映發(fā)動機的排放情況。應用神經(jīng)網(wǎng)絡可使模型簡化，而且將神經(jīng)網(wǎng)絡用于發(fā)動機排放檢測，能很好地處理其非線性問題，解決測量儀器不足和測量點無法布置等問題。采用LM算法改進的BP神經(jīng)網(wǎng)絡，訓練速度快且預測精度高，將其應用于汽車尾氣排放研究中可為實現(xiàn)汽車尾氣排放實時檢測與控制提供一種新方法，具有一定實用價值。

［1］宮喚春.RBF神經(jīng)網(wǎng)絡軟測量技術在汽油機CO排放中的應用［J］.拖拉機與農(nóng)用運輸車，2007，34(5):48-49.

［2］李威，賈志新，孟惠榮.基于神經(jīng)網(wǎng)絡的車輛傳動系統(tǒng)故障數(shù)據(jù)可靠性建模［J］.機械，2002，29(1):4-5.

［3］張彤，肖南峰.基于BP網(wǎng)絡的指紋識別系統(tǒng)［J］.重慶理工大學學報:自然科學版，2010，24(1):47-50.

［4］郭慶春，何振芳，李力，等.基于BP神經(jīng)網(wǎng)絡的我國農(nóng)民收入預測模型［J］.安徽農(nóng)業(yè)科學，2011(20):12471-12473.

［5］張彤，肖南峰.基于BP網(wǎng)絡的數(shù)字識別方法［J］.重慶理工大學學報:自然科學版，2010，24(3):43-47.

［6］張虹冕，孫世群.基于BP神經(jīng)網(wǎng)絡的大氣環(huán)境質(zhì)量評價模型［J］.安徽農(nóng)業(yè)科學，2010(31):17656-17657.

［7］李紅連.BP神經(jīng)網(wǎng)絡在車輛組合導航中的應用研究［J］.壓電與聲光，2011(1):45-48.

［8］武文紅，杜貞棟，劉現(xiàn)偉，等.基于BP神經(jīng)網(wǎng)絡的土壤貯水量預報模型研究［J］.安徽農(nóng)業(yè)科學，2010(15):8211-8212.

［9］周瑞芬，姜民政，董康興.基于LMBP算法的油田用抽油桿懸點載荷預測［J］.化工機械，2011，38(4):428-431.

［10］Hagan M T，Menbaj M.Training Feedforward Networks with the Marquardt Algorithm［J］.IEEE Transactions on Neural Networks，1994，5(6):295-301.

［11］Narendra K，Parthasarathy K.Nonlinear System Identification Using Neural Network［J］.Int J Control，1990，1(1):1191-1214.

［12］常炳國.基于RBF神經(jīng)網(wǎng)絡的混合氣體智能檢測系統(tǒng)研究［J］.湖南大學學報:自然科學版，2009，36(7):82-84.

［13］王赟松，許洪國.快速收斂的BP神經(jīng)網(wǎng)絡算法［J］.吉林大學學報:工學版，2003，33(4):79-83.

［14］杜艾永，李樹珉，夏均忠，等.軟測量技術在車輛排放數(shù)據(jù)處理中的應用研究［J］.中國測試技術，2007，33(3):41-43.

［15］唐磊.BP網(wǎng)絡結構確定算法的研究及仿真［D］.青島:中國石油大學，2008.

［16］李小穎，侯志祥.神經(jīng)網(wǎng)絡軟測量技術在汽車發(fā)動機排放中的應用［J］.交通與計算機，2002，20(3):47-48.