基于Elman神經網絡的化工過程軟測量建模方法

Soft Sensing Modeling Method Based on Elman Neural Network for Chemical Process

桑樺李軍(蘭州交通大學自動化與電氣工程學院，甘肅蘭州　730070)

?

基于Elman神經網絡的化工過程軟測量建模方法

Expanded Kalman filter algorithmChemical processes

國家自然科學基金資助項目(編號:51467008)。

修改稿收到日期:2015－06－02。

第一作者桑樺(1991－)，男，現(xiàn)為蘭州交通大學自動化與電氣工程學院在讀碩士研究生;主要從事軟測量建模、計算智能方面的研究。

0　引言

在化工生產過程中，許多重要的質量變量難以實時測量。軟測量技術通過構建某種數(shù)學模型，描述可測、易測的輔助變量與難以直接測量的待測主導變量間的函數(shù)關系。根據最優(yōu)準則，軟測量技術能夠實現(xiàn)對待測變量的測量或估計［1－2］。

近年來，人工神經網絡(artificial neural network，ANN)、支持向量機(support vector machine，SVM)等方法被廣泛地應用于軟測量建模［1－6］。文獻［1］提出了基于多層感知器神經網絡的軟測量建模方法，并將其應用于脫丁烷塔的軟測量建模;文獻［2］提出了一種基于SVR的軟測量建模方法，并把它用于乙烯裂解產物收率的測量中。關于軟測量建模的研究大部分都采用靜態(tài)結構。Elman神經網絡是一種遞歸神經網絡(recurrent neural network，RNN)，能夠將隱層狀態(tài)變量反饋到輸入端，反饋中包含時間延時，因此具有動態(tài)記憶特性，可以有效提高模型的估計精度。傳統(tǒng)的RNN訓練算法，如沿著時間反向傳播(back－propagation through time，BPTT)算法［7］、實時遞歸(real－time recurrent learning，RTRL)算法［8］，遵循誤差梯度最小化的準則，存在收斂速度慢、易陷入局部最優(yōu)等問題。擴展卡爾曼濾波［8－10］(expanded Kalman filter，EKF)作為卡爾曼算法的一種非線性擴展形式，屬于最優(yōu)狀態(tài)估計算法，用于訓練神經網絡，可以提高收斂速度，滿足軟測量建模實時性的需求。

1　理論基礎

1.1 Elman神經網絡

Elman網絡是1990年由Elman提出的一種RNN［7］。它是在基本前饋多層感知器結構的基礎上，增加一個反饋層，作為一步延時算子，使其具備動態(tài)記憶特性;能直接反映動態(tài)過程系統(tǒng)的特性，可用于構建具有時空特性動態(tài)軟測量模型。Elman神經網絡的拓撲結構如圖1所示。

Elman網絡主要由四部分組成，分別為輸入層U、隱含層X、承接層C及輸出層Y。輸入層、隱含層、輸出層的連接類似于前饋式神經網絡，輸入層單元起信號傳輸作用，輸出層單元起線性加權作用，隱含層單元的傳遞函數(shù)可選擇線性或者非線性函數(shù)，承接層用來記憶隱含層單元前一時刻的輸出值并返回給網絡的輸入。設外部輸入U (t)=［(μ1(t)，…，μj(t)，…，μm(t)］，承接層輸入X(t)=［x1(t)，…，xj(t)，…，xt(t)］，輸入層至隱含層、隱含層與承接層及隱含層至輸出層的連接權值矩陣分別為: WRI、WRC及WOR，則網絡隱含層的輸入x～(t)和輸出x(t)可以表示為:

輸出層的輸入y～(t)和輸出y(t)可表示為:

式中: f1(·)和f2(·)為神經元之間的傳遞函數(shù)，通常用Sigmoid函數(shù)。

圖1　Elman神經網絡拓撲結構圖Fig.1 Topological structure of Elman neural network

與其他RNN一樣，Elman神經網絡的訓練算法主要有基于梯度下降的BPTT算法和RTRL算法。

1.2 BPTT算法

BPTT算法是由前饋神經網絡訓練中經常使用的反向傳播算法(back propagation，BP)發(fā)展而來。傳統(tǒng)的BP算法只能應用于沒有動態(tài)特性的前饋神經網絡，不適用于訓練Elman神經網絡。BPTT算法把輸出誤差梯度儲存于每一個時間步，將網絡沿著時間展開，使動態(tài)網絡轉化為靜態(tài)網絡。

對于時間層之前的層，對輸出層和隱含層神經元有:

設學習率為α，則權值的修正形式可表示為:

BPTT算法是一種離線算法，其存在的主要問題是收斂速度慢、容易陷入局部最小，需要耗費較長的時間才能得到滿意的效果。

1.3 RTRL算法

RTRL算法是1989年由Williams和Zipser提出的一種前向梯度下降算法，它能夠在每次迭代時直接計算每個節(jié)點的誤差梯度，并且能夠獲得每一個時間步的精確誤差梯度解。網絡的訓練目的是通過調整權值使均方誤差和最小，輸出層至隱含層連接權值的修正形式可表示為:

式中: d(t)=［d1(t)，…，dn(t)］為網絡輸出的期望值;α為學習率。

隱含層至輸入層連接權值的修正可表示為:

同樣的方法，隱含層至承接層連接權值的修正可表示為:

式中:當h =1時，δkhrjon=1;否則δkhrjon=0。

RTRL算法可以得到誤差梯度的精確解，但是與BPTT算法一樣，同樣存在收斂速度較慢和容易陷入局部最優(yōu)的缺陷;而且，RTRL算法計算復雜度較高，比較適用于小型網絡。

1.4 EKF算法

EKF學習算法是適用于非線性系統(tǒng)的一種狀態(tài)估計技術，在神經網絡建模中的應用十分廣泛。其基本思路是把網絡的連接權值作為Kalman濾波器的待估狀態(tài)，把網絡的輸出作為Kalman濾波器的觀察輸出，這樣就可以把神經網絡的訓練問題轉化為非線性濾波問題，改善了用簡單的梯度下降算法訓練RNN時所產生的收斂速度慢、容易陷入局部最優(yōu)等問題。EKF的網絡訓練過程可簡單表示為:

式中: W為狀態(tài)矩陣，可由長度為nw的網絡權值向量(包括WRI、WRC和WOR)表示; H為nw×ny的雅克比矩陣，通常采用BPTT算法或RTRL算法對其進行求解; P為nw×nw的誤差協(xié)方差矩陣，它包含了對應于每一組網絡權值的誤差協(xié)方差; K為nw×nw的Kalman增益矩陣，可以根據期望輸出向量和實際輸出向量的差值來更新權值矩陣W; N為ny×ny的測量噪聲矩陣，與BPTT或RTRL算法中的學習率相似，用來控制網絡的訓練速度，ny為輸出單元的個數(shù); Q為nw×nw的過程噪聲協(xié)方差矩陣，nw為網絡權值的個數(shù)。非零的過程噪聲可以提高濾波器的收斂速率。

對于強非線性系統(tǒng)，EKF算法進行狀態(tài)估計時可以很快地實現(xiàn)對真值的逼近，而且能夠避免BPTT算法和RTRL算法容易陷入局部最小的缺點，因此更適用于化工過程軟測量建模。

2　仿真實驗

為了驗證本文所用方法的有效性，進行了2個仿真實驗，具體包括脫丁烷塔塔底的戊烷油組分中丁烷組分含量的估計和SRU中H2S和SO2氣體濃度的預測。模型性能的評價指標如下。

(1)均方誤差。

式中: yd(i)和y(i)分別為不同時刻的實測值和估計

式中: cov(.)為協(xié)方差矩陣。

相關系數(shù)表示兩個變量之間的緊密程度，R越大表明變量之間的線性相關程度越高。

2.1脫丁烷塔底軟測量建模

脫丁烷塔是煉油廠煉油過程中脫硫和石腦油分離裝置的必要組成部分，其目的主要是降低脫丁烷塔底部丁烷的濃度。由于丁烷濃度是在異戊烷塔頂產物儲存處進行監(jiān)測，利用在線測量儀表監(jiān)測丁烷濃度，需要的周期較長，因此建立動態(tài)軟測量模型［11－12］，對丁烷濃度進行實時監(jiān)測是十分必要的。

該過程共有2 394組數(shù)據，7個輔助變量和1個主導變量，采樣周期為12 min。本文選取數(shù)據的前50%作為訓練樣本，后50%作為測試樣本，采用式(22)所示的具有外部輸入的非線性自回歸模型結構(nonlinear auto regressive with exogenous inputs，NARX)［1］:值; T0為起始時刻; T為終止時刻。

(2)相關系數(shù)。

式中: y(k)為丁烷在k時刻的濃度; f為Elman神經網絡。

在該過程中，采用隱層神經元個數(shù)為6的Elman神經網絡，網絡的權值和初始狀態(tài)分別在(－0.5，0.5)和(0.0，1.0)之間隨機給定。采用BPTT和RTRL算法，學習率取0.5，對主導變量進行估計，然后用EKF對BPTT和RTRL兩種算法進行改進。令其狀態(tài)誤差協(xié)方差矩陣P的對角元素值為P1，非對角元素值為P2，測量噪聲協(xié)方差矩陣和輸出噪聲協(xié)方差矩陣對角元素值分別為R和Q，采用交叉驗證法，當P1= 10 000、P2=1 000、R =100、Q =0.001時可得到較好的實驗結果。

圖2和圖3分別給出了基于EKF－BPTT和EKF－RTRL算法對C4組分進行預測時，在測試集上模型的預測值與實際值的對比圖;表1給出了基于不同算法估計C4濃度時，測試集上的相關系數(shù)以及均方誤差的性能指標比較。由表1可知，采用EKF算法對網絡進行訓練，提高了網絡的預測精度。同時，本文還與相關文獻的結果進行了比較。文獻［3］在與本文完全相同的條件下，選取數(shù)據的前50%作為訓練樣本，后50%作為測試樣本，采用式(22)所示的NARX模型，利用16－12－1的多層感知器(multilayer perceptron，MLP)方法，得到相關系數(shù)為0.985。文獻［14］運用貝葉斯網絡建立軟測量模型，獲得值為0.995的相關系數(shù)。經對比可知，本文采用的方法均優(yōu)于文獻［2］和［3］中所使用的方法。

圖2　EKF－BPTT對丁烷濃度預測圖Fig.2 C4prediction using EKF－BPTT

圖3　EKF－RTRL對丁烷濃度預測圖Fig.3 C4prediction using EKF－RTRL

表1　在測試集上C4組分預測性能評價指標對比結果Tab.1 Contrast results of performance evaluation indexes of C4in test set

2.2 SRU軟測量建模

硫回收裝置(sulfur recovery unit，SRU)是煉油廠不可或缺的一個裝置，其主要作用是在把酸性氣體流排放到空氣之前，移除其中的環(huán)境污染物，如SO2、H2S，最終將硫元素作為一種副產品被SRU回收。由于測量濃度的儀表容易受到酸性氣體的腐蝕，當儀表進行維護時，可以用軟傳感器暫時替代。

根據專家經驗，選取5個輔助變量作為SRU模型的輸入，2個主導變量(分別是H2S和SO2的濃度)作為輸出，采樣周期為1 min。考慮到SRU是一個MIMO非線性動態(tài)模型，本文采用式(23)和式(24)所示的非線性滑動平均(nonlinear moving average，NMA )結構［1］:

式中: y1(k)為H2S在k時刻的濃度輸出; y2(k)為SO2在k時刻的濃度輸出; f1及f2為Elman神經網絡。

該化工過程共收集了10 081組數(shù)據，本文選取其中的前4/5作為訓練樣本，其余的作為測試樣本，采用隱層神經元個數(shù)為8的Elman神經網絡，網絡的權值和初始狀態(tài)分別在(－0.5，0.5)和(0.0，1.0)之間隨機給定。采用BPTT和RTRL算法，學習率取0.5，對主導變量進行估計，然后用EKF對BPTT和RTRL兩種算法進行改進，令其狀態(tài)誤差協(xié)方差矩陣P的對角元素值為P1，非對角元素值為P2，測量噪聲協(xié)方差矩陣和輸出噪聲協(xié)方差矩陣對角元素值分別為R和Q，通過交叉驗證，當P1=10 000、P2=1 000、R =100、Q = 0.001時可得到較好的實驗結果。

表2和表3分別給出了基于不同算法估計H2S和SO2的濃度時，測試集上的相關系數(shù)以及均方誤差的性能指標比較。由表2和表3可以看出，對具有強非線性的SRU化工過程，EKF算法使Elman神經網絡的預測精度得到明顯提高。同時，本文還對相關文獻的結果進行了比較。文獻［3］中，分別基于MLP、RBF神經網絡、自適應神經模糊系統(tǒng)和非線性最小二乘4種方法，對H2S和SO2的濃度進行估計，在數(shù)據集中分別隨機選取1 000組數(shù)據作為訓練樣本和測試樣本，非線性最小二乘的預測精度最高，其H2S的預測指標MSE為8×10－4，相關系數(shù)為0.848;對SO2的預測指標MSE為4×10－4，相關系數(shù)為0.905。經對比可知，本文采用的方法均優(yōu)于文獻［2］和［3］中所使用的方法。

表2　在測試集上H2S性能評價指標對比結果Tab.2 Contrast results of performance evaluation indexes of H2S in test set

表3　在測試集上SO2性能評價指標對比結果Tab.3 Contrast results of performance indexes of SO2in test set

3　結束語

軟測量建模構成的“軟傳感器”具有較強的適用性，可與硬件傳感器同時工作，當系統(tǒng)參數(shù)發(fā)生變化時能夠被重置，而且能夠克服硬件傳感器的延時問題，為需要監(jiān)控的過程主導變量提供了一種廉價、快速的實時估計手段，有效提高了控制系統(tǒng)的性能。本文對傳統(tǒng)RNN的訓練算法進行了說明，并引入了EKF算法，用于化工過程軟測量建模。與傳統(tǒng)訓練算法以及相關文獻的研究成果進行比較，實驗結果表明基于EKF算法的Elman神經網絡收斂速度快，收斂精度高，而且具有較好的魯棒性，是一種有效的軟測量建模方法。

參考文獻

［1］Fortuna L，Graziani S，Xibilia M G.Soft sensors for product quality monitoring in debutanizer distillation columns［J］.Control Engineering Practice，2005，13(4): 499－508.

［2］吳文元，熊智華，呂寧.支持向量回歸在乙烯裂解產物收率軟測量中的應用［J］.化工學報，2010，61(8):2046－2050.

［3］Fortuna L，Graziani S，Rizzo A，et al.Soft sensors for monitoring and control of industrial processes［M］.Berlin: Springer，2007.

［4］Kadlec P，Grbi R，Gabrys B.Review of adaptation mechanisms for data－driven soft sensors［J］.Computers＆Chemical Engineering，2011，35(1): 1－24.

［5］Graziani S，Napoli G，Xibilia M G.Soft sensor design for a sulfur recovery unit using a clustering based approach［C］/ / InstrumentationandMeasurementTechnologyConference Proceedings，IEEE，2008: 1162－1167.

［6］曹鵬飛，羅雄麟.化工過程軟測量建模方法研究進展［J］.化工學報，2013，64(3):788－800.

［7］Mazumdar J，Harley R G.Recurrent neural networks trained with backpropagation through time algorithm to estimate nonlinear load harmonic currents［J］.Industrial Electronics，IEEE Transactions on，2008，55(9): 3484－3491.

［8］Erňansky M，Makula M，Beňuková L.Organization of the state space of a simple recurrent network before and after training on recursive linguistic structures［J］.Neural Networks，2007，20(2): 236－244.

［9］陳巍.遞歸神經網絡的卡爾曼濾波及分層學習算法［J］.華南理工大學學報:自然科學版，1998，26(4): 44－48.

［10］仲衛(wèi)進，艾芊.擴展卡爾曼濾波在動態(tài)負荷參數(shù)辨識中應用［J］.電力自動化設備，2007，27(2): 47－50.

［11］Souza F，Araújo R.Online mixture of univariate linear regression models for adaptive soft sensors［J］.IEEE Transactions on Industrial Informatics，2013，10(2):937－945.

［12］Naha A，Deb A K.Soft－sensor approach for measuring pulverised coal flow［J］.Science，Measurement＆Technology，IET，2014，8(4):220－227.

［13］唐志杰，唐朝暉，朱紅求.一種基于多模型融合軟測量建模方法［J］.化工學報，2011，62(8): 2248－2252.

［14］李雅芹，周開武，楊慧中.基于貝葉斯網絡的軟測量建模方法［J］.計算機與應用化學，2010(10):25.

Soft Sensing Modeling Method Based on Elman Neural Network for Chemical Process

桑樺李軍
(蘭州交通大學自動化與電氣工程學院，甘肅蘭州730070)

摘要:針對軟測量建模問題，提出了一種基于Elman神經網絡的軟測量建模方法。將該方法應用于脫丁烷塔底部丁烷組分含量以及硫回收裝置尾氣中SO2和H2S含量的軟測量建模，分別采用BPTT算法、RTRL算法和EKF算法對Elman網絡進行訓練。在同等條件下，通過與傳統(tǒng)的梯度下降算法以及其他軟測量建模方法對比表明，EKF算法能夠獲得較好的離線估計結果，具有較好的魯棒性和較快的收斂速度。

關鍵詞:Elman神經網絡軟測量時間反向傳播(BPTT)算法實時遞歸(RTRL)算法擴展卡爾曼濾波(EKF)算法化工過程

Abstract:For soft sensing modeling，the method based on Elman neural network is proposed，and applied in soft sensing modeling for butane component content of the bottom of the debutanizer，and the contents of SO2and H2S in tail gas of sulfur recovery unit; and the Elman neural network is trained by using BPTT algorithm，RTRL algorithm and EKF algorithm respectively.Comparison with other soft sensing modeling methods and traditional gradient descent algorithm，better off line estimation result，robustness and faster convergence speed are obtained by EKF algorithm.

Keywords:Elman neural networkSoft sensingBack－propagation through time algorithmReal－time recurrent learning algorithm

中圖分類號:TH－39; TP274

文獻標志碼:A

DOI:10.16086/j.cnki.issn1000－0380.201603017