基于集合卡爾曼-Elman 網(wǎng)絡(luò)的軟測(cè)量建模方法

方港 袁瓏華 王曉明 李艷 黃道平 于廣平 葉洪濤 劉乙奇，5?

（1.華南理工大學(xué) 自動(dòng)化科學(xué)與工程學(xué)院/自主系統(tǒng)與網(wǎng)絡(luò)控制教育部重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510640；2.華南理工大學(xué)未來技術(shù)學(xué)院，廣東 廣州 511442；3.廣州工業(yè)智能研究院，廣東 廣州 511458；4.廣西科技大學(xué) 廣西汽車零部件與整車技術(shù)重點(diǎn)實(shí)驗(yàn)室，廣西 柳州 545036；5.華南理工大學(xué) 廣東省無人機(jī)系統(tǒng)工程技術(shù)研究中心，廣東 廣州 510640）

軟測(cè)量技術(shù)能夠?qū)I(yè)過程中重要且難以在線測(cè)量的變量進(jìn)行測(cè)量，并實(shí)現(xiàn)對(duì)過程變量的實(shí)時(shí)監(jiān)控。近年來，隨著人工智能技術(shù)的發(fā)展，基于數(shù)據(jù)驅(qū)動(dòng)的軟測(cè)量技術(shù)被廣泛應(yīng)用于工業(yè)過程中，成為了先進(jìn)過程控制技術(shù)的重要組成部分，也是化工領(lǐng)域中用于難測(cè)過程變量檢測(cè)的常用技術(shù)［1-2］?；跀?shù)據(jù)驅(qū)動(dòng)的軟測(cè)量建模技術(shù)無需獲取精確的機(jī)理模型，其通過對(duì)數(shù)據(jù)的深度分析構(gòu)建易測(cè)變量和難測(cè)變量之間的數(shù)學(xué)模型，利用易測(cè)的輔助變量估計(jì)難測(cè)變量［3］?；谏窠?jīng)網(wǎng)絡(luò)的軟測(cè)量建模方法憑借其強(qiáng)大的非線性映射能力、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和魯棒性，以及不依賴于數(shù)學(xué)模型的特性，成為了軟測(cè)量領(lǐng)域最為活躍的研究分支［4-6］。但是，強(qiáng)非線性、參數(shù)時(shí)變、多變量耦合使得利用傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)建立的模型存在檢測(cè)不清、故障診斷不明和實(shí)時(shí)控制不準(zhǔn)等問題。遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的處理單元間既有內(nèi)部的反饋連接又有前饋連接，具有動(dòng)態(tài)記憶特性，能夠處理具有時(shí)延信息的數(shù)據(jù)，從而具有比前饋神經(jīng)網(wǎng)絡(luò)更強(qiáng)的動(dòng)態(tài)行為和計(jì)算能力［7］。作為最典型的RNN 之一，Elman 遞歸神經(jīng)網(wǎng)絡(luò)在水質(zhì)軟測(cè)量模型中得到了較好的應(yīng)用［8］。關(guān)學(xué)忠等［9］對(duì)污水處理廠曝氣池中的化學(xué)需氧量（Chemical Oxygen Demand，COD）進(jìn)行學(xué)習(xí)預(yù)測(cè)，證明了Elman網(wǎng)絡(luò)對(duì)污水COD的預(yù)測(cè)能力優(yōu)于反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)。

然而，現(xiàn)有Elman 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法多采用時(shí)間反向傳播（Back Propagation Through Time，BPTT）［10］、動(dòng)量梯度下降（Gradient Descent with Momentum，GDM）和Levenberg-Marquardt（LM）［11］等傳統(tǒng)優(yōu)化算法［12］。這些基于梯度下降的算法存在對(duì)初始值設(shè)置敏感、計(jì)算結(jié)果不穩(wěn)定、易收斂到局部最優(yōu)解和梯度消失等問題［13-14］，而卡爾曼濾波算法（Kalman Filter，KF）［15］的提出為上述問題提供了一個(gè)解決思路［16］。Hao 等［17］采用基于擴(kuò)展卡爾曼濾波器（Extended Kalman Filter，EKF）的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，提高了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的迭代收斂速度和精度，但每次迭代計(jì)算量大。EKF方法采用一階泰勒近似，需要計(jì)算雅克比矩陣，在局部非線性較強(qiáng)時(shí)容易引入較大的近似誤差，導(dǎo)致濾波器失效，不利于并行計(jì)算［18-19］。為此，研究者們嘗試引入集合卡爾曼濾波（Ensemble Kalman Filter，EnKF）以避免上述問題［20-21］。

EnKF 是 由Evensen［22］提出的一種數(shù)據(jù)同化方法，適用于高維、非線性和非高斯?fàn)顟B(tài)估計(jì)問題［21］，目前在神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化領(lǐng)域得到了廣泛應(yīng)用。Legler 等［23］將EnKF 與標(biāo)準(zhǔn)人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）相結(jié)合來優(yōu)化淺水模型參數(shù)，減小了大氣變量的狀態(tài)誤差，有效量化了參數(shù)估計(jì)的不確定性，但其預(yù)測(cè)能力在實(shí)際數(shù)據(jù)的表現(xiàn)仍有待進(jìn)一步研究。Mirikitani 等［24］通過將EnKF 與遞歸神經(jīng)網(wǎng)絡(luò)有序結(jié)合，驗(yàn)證了EnKF 在RNN 的時(shí)間序列預(yù)測(cè)上具有很好的適用性。此外，Chen等［25］采用EnKF 訓(xùn)練長(zhǎng)短期記憶網(wǎng)絡(luò)，將其作為捕獲預(yù)測(cè)不確定性的無梯度替代方案。

為避免雅克比矩陣的計(jì)算，并規(guī)避標(biāo)準(zhǔn)算法不適用于大型神經(jīng)網(wǎng)絡(luò)的難題，文中將EnKF 引入Elman 遞歸神經(jīng)網(wǎng)絡(luò)中更新網(wǎng)絡(luò)參數(shù)，以期獲得一種簡(jiǎn)單、無梯度的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，提高軟測(cè)量模型的預(yù)測(cè)性能。

1 Elman 遞歸神經(jīng)網(wǎng)絡(luò)及其狀態(tài)空間模型

1.1 Elman遞歸神經(jīng)網(wǎng)絡(luò)的基本架構(gòu)

神經(jīng)網(wǎng)絡(luò)是目前最常使用的軟測(cè)量模型，文中采用Elman 遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行動(dòng)態(tài)非線性建模。Elman 網(wǎng)絡(luò)也稱為簡(jiǎn)單遞歸神經(jīng)網(wǎng)絡(luò)（Simple Recurrent Network，SRN），是一種典型的局部回歸網(wǎng)絡(luò)［26］。與前饋網(wǎng)絡(luò)相比，Elman 網(wǎng)絡(luò)引入了一個(gè)特別的隱含層，稱為關(guān)聯(lián)層。關(guān)聯(lián)層保存了上一時(shí)刻的隱含層狀態(tài)信息，并與當(dāng)前時(shí)刻的網(wǎng)絡(luò)輸入一起作用于隱含層，這相當(dāng)于引入了狀態(tài)反饋。這種內(nèi)部反饋增加了網(wǎng)絡(luò)動(dòng)態(tài)特性，可實(shí)現(xiàn)動(dòng)態(tài)建模。

Elman 網(wǎng)絡(luò)一般分為4 層：輸入層U，隱含層R，承接層C 和輸出層Y。用WRU、WRC、WYR分別表示輸入層到隱含層、承接層到隱含層、隱含層到輸出層的連接權(quán)值矩陣。隱含層輸出經(jīng)單位時(shí)延后作為下一時(shí)刻承接層的輸入，即ck=vk-1，并經(jīng)權(quán)值矩陣WRC作用到隱含層。

給定k時(shí)刻的輸入uk∈Rn，Elman 網(wǎng)絡(luò)的輸出可以計(jì)算為

式中，fh(·)為隱含層激活函數(shù)，fo(·)為輸出層激活函數(shù)，n、Nh、m分別表示輸入層、隱含層、輸出層的結(jié)點(diǎn)個(gè)數(shù)。文中隱含層激活函數(shù)采用sigmoid函數(shù)fh(x)=，輸出層采用線性激活函數(shù)fo(x)=x。

Elman 神經(jīng)網(wǎng)絡(luò)引入的內(nèi)部反饋增加了網(wǎng)絡(luò)動(dòng)態(tài)特性，便于動(dòng)態(tài)建模，但同時(shí)也使模型結(jié)構(gòu)變得復(fù)雜，訓(xùn)練時(shí)更易陷入局部最小值。訓(xùn)練Elman神經(jīng)網(wǎng)絡(luò)的方法較多，比較常用的有BPTT 算法、GMD和LM算法等［10-12］。

1.2 動(dòng)態(tài)狀態(tài)空間建模

遞歸神經(jīng)網(wǎng)絡(luò)、前饋神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)（Radial Basis Function，RBF）神經(jīng)網(wǎng)絡(luò)等的學(xué)習(xí)問題本質(zhì)上是參數(shù)優(yōu)化問題，通過對(duì)模型參數(shù)（權(quán)值）的不斷調(diào)整，使性能函數(shù)（如均方根誤差）的值不斷減小。

將集合卡爾曼濾波技術(shù)引入神經(jīng)網(wǎng)絡(luò)中，本質(zhì)上是把神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間的連接權(quán)值參數(shù)作為隨機(jī)變量，即濾波器的狀態(tài)，采用動(dòng)態(tài)狀態(tài)空間框架，隨著時(shí)序k不斷優(yōu)化網(wǎng)絡(luò)的參數(shù)，使得網(wǎng)絡(luò)的目標(biāo)輸出與預(yù)測(cè)輸出之間的均方誤差逐漸減小，進(jìn)而提高網(wǎng)絡(luò)的訓(xùn)練精度。利用卡爾曼框架編寫神經(jīng)網(wǎng)絡(luò)的狀態(tài)空間模型如下：

式中：xk為由權(quán)值參數(shù)所組成的狀態(tài)向量；uk為輸入向量；zk為模型輸出；rk為過程噪聲向量，假設(shè)rk～N(0，Rk)；vk為測(cè)量噪聲向量，假設(shè)vk～N(0，Vk)；g（·）為神經(jīng)網(wǎng)絡(luò)函數(shù)，文中g(shù)（·）為Elman遞歸神經(jīng)網(wǎng)絡(luò)，也可以將其擴(kuò)展到前饋神經(jīng)網(wǎng)絡(luò)（Feed Forward Neural Network，F(xiàn)FNN）、RBF等網(wǎng)絡(luò)中。

2 基于集合卡爾曼濾波的Elman 網(wǎng)絡(luò)算法

2.1 基于基本集合卡爾曼濾波的Elman 網(wǎng)絡(luò)算法

EnKF是一種基于隨機(jī)采樣的卡爾曼濾波方法，它通過隨機(jī)采樣產(chǎn)生的粒子集來擬合狀態(tài)分布，用粒子集的協(xié)方差信息代替系統(tǒng)協(xié)方差，簡(jiǎn)化了卡爾曼框架中協(xié)方差矩陣的分析過程。當(dāng)新的數(shù)據(jù)到來時(shí)，EnKF 對(duì)粒子集中的每個(gè)粒子進(jìn)行更新，從而不斷調(diào)整概率分布，因此，EnKF更便于實(shí)現(xiàn)。

應(yīng)用基本EnKF 算法可以對(duì)Elman 網(wǎng)絡(luò)參數(shù)進(jìn)行估計(jì)。對(duì)于式（4）的狀態(tài)空間模型，基于EnKF濾波的Elman網(wǎng)絡(luò)參數(shù)學(xué)習(xí)過程（EnKF-Elman）可整理為以下步驟。

步驟1由初始狀態(tài)的均值和協(xié)方差隨機(jī)采樣生成由集成粒子xk，i∈Rn（n為狀態(tài)維度）組成的粒子集：

式中，N為集成粒子個(gè)數(shù)，Xk為k時(shí)刻的粒子集合。狀態(tài)分布的均值和協(xié)方差可以由這N個(gè)集成粒子來近似：

式中：1N∈RN，是維度為N、元素均為1 的列向量；表示去均值后的粒子集合，

步驟2計(jì)算Elman模型的預(yù)測(cè)粒子集：

分別用和Yk表示粒子轉(zhuǎn)移狀態(tài)和粒子輸出的組成矩陣：

步驟3粒子更新——給定測(cè)量值z(mì)k∈Rm，其粒子集的更新方式如下：

式中：Hk為輸出zk相對(duì)于網(wǎng)絡(luò)權(quán)重xk的雅可比矩陣；εk為施加在每個(gè)粒子上的擾動(dòng)觀測(cè)向量所組成的擾動(dòng)矩陣，它可以有效避免協(xié)方差矩陣的過度低估［27］；為粒子集的協(xié)方差，可由其去均值后的矩陣進(jìn)行計(jì)算，具體計(jì)算方法可參照式（7）和（8），那么可將粒子集的更新方式寫為

式（14）的更新需要計(jì)算Hk，更簡(jiǎn)便地，可以采用直接計(jì)算Hk的方法［28］：

在實(shí)際應(yīng)用中，為加快運(yùn)算速度并避免矩陣求逆的問題，往往采用奇異值分解（Singular Value Decomposition，SVD）的方法進(jìn)行計(jì)算［27-28］，即

這樣，算法的編程實(shí)現(xiàn)可以更加高效、快速。

EnKF根據(jù)測(cè)量數(shù)據(jù)循環(huán)迭代步驟2和3，不斷調(diào)整粒子集分布，從而實(shí)現(xiàn)Elman 網(wǎng)絡(luò)的參數(shù)更新?？梢园l(fā)現(xiàn)，EnKF 只需要更新粒子集，因此有效解決了KF 框架在計(jì)算和更新狀態(tài)誤差協(xié)方差時(shí)對(duì)計(jì)算資源需求量過大的問題；同時(shí)，其不需要求解和計(jì)算雅克比矩陣，易于實(shí)現(xiàn)，便于擴(kuò)展。

2.2 基于對(duì)偶有限樣本集合卡爾曼濾波的Elman網(wǎng)絡(luò)算法

相比EnKF-Elman，基于對(duì)偶有限樣本集合卡爾曼濾波（Dual Finite-Size Ensemble Kalman Filter，D-EnKF-N）的Elman 網(wǎng)絡(luò)算法主要在于濾波器的不同，其采用的是D-EnKF-N 濾波器。在介紹D-EnKF-N 濾波器前，先介紹有限樣本的集合卡爾曼濾波（Finite-Size Ensemble Kalman Filter，EnKF-N）方法。

2.2.1 有限樣本的集合卡爾曼濾波方法

EnKF-N 本質(zhì)上不需要像基本集合卡爾曼濾波一樣引入擾動(dòng)觀測(cè)矩陣，其主要思想是：式（6）和（7）計(jì)算得到的集合均值和協(xié)方差與先驗(yàn)概率密度函數(shù)（Probability Density Function，PDF）的均值Xb和誤差協(xié)方差B不匹配；對(duì)于較大的樣本（N→∞），它們是接近一致的，但由于采樣誤差的存在，對(duì)于較小的樣本它們往往是不一致的。為此，EnKF-N 在EnKF 中提出了一種新的先驗(yàn)PDF，它是對(duì)所有可能的Xb和B進(jìn)行積分的結(jié)果：

式中：det|·|表示矩陣的行列式；εN是一個(gè)取決于先驗(yàn)分布假設(shè)的常數(shù)，如果集合均值Xˉ與Xb一致，則εN=1，否則。由于預(yù)測(cè)先驗(yàn)公式（18）是非高斯的，需要通過類似于變分優(yōu)化的最大似然濾波器進(jìn)行分析［29］。在集合空間中，狀態(tài)被向量∈RN參數(shù)化，使得

此時(shí)，EnKF-N的代價(jià)函數(shù)為

那么，式（19）中的可通過最小化式（20）得出：

式中：VT為滿足VT1N=1N的任意正交矩陣；為集合空間中的分析誤差協(xié)方差矩陣，其計(jì)算方式為

2.2.2 基于D-EnKF-N的Elman網(wǎng)絡(luò)算法原理

因?yàn)镈(?)是一個(gè)標(biāo)量函數(shù)，式（25）的全局最小值很容易找到。變量?與平方半徑共軛，其可以看作是粒子集中有效自由度的數(shù)量。D(?)的最小值?a可以通過在區(qū)間[0，N/εN]上最小化以下對(duì)偶代價(jià)函數(shù)來實(shí)現(xiàn)［31］：

一旦計(jì)算出最小值?a，就可以從類似式（21）的代價(jià)函數(shù)中獲得對(duì)w的分析：此時(shí)，通過式（22）和（24）可對(duì)粒子集進(jìn)行更新，詳細(xì)信息可以參閱文獻(xiàn)［31-32］。D-EnKF-N 與Elman網(wǎng)絡(luò)相結(jié)合構(gòu)建軟測(cè)量模型的步驟總結(jié)如下。

對(duì)比EnKF-Elman和D-EnKF-N-Elman算法，可以發(fā)現(xiàn)它們本質(zhì)上是為了緩解粒子集的分布與狀態(tài)參數(shù)的實(shí)際分布不匹配問題而采取了不同的措施。EnKF-Elman 算法在訓(xùn)練過程中通過引入擾動(dòng)觀測(cè)矩陣來緩解協(xié)方差矩陣的過度低估問題，其訓(xùn)練過程簡(jiǎn)單，易于實(shí)現(xiàn)，但在迭代過程中引入了隨機(jī)性，可能產(chǎn)生次優(yōu)的濾波性能；D-EnKF-N-Elman算法采用新的先驗(yàn)概率密度函數(shù)進(jìn)行分析，避免了每次迭代過程中擾動(dòng)觀測(cè)矩陣的隨機(jī)性影響，性能更好，但是增加了算法的復(fù)雜度。

3 實(shí)驗(yàn)分析

3.1 案例說明

為了驗(yàn)證所提出的算法的優(yōu)越性，文中使用加州大學(xué)歐文分校機(jī)器學(xué)習(xí)數(shù)據(jù)庫中的污水?dāng)?shù)據(jù)（UCI數(shù)據(jù)）進(jìn)行仿真。UCI 數(shù)據(jù)來源于一間城市活性污泥污水處理廠，由于該廠的污水處理工藝較為落后，5 日生物需氧量BOD5在線分析儀往往不可靠。此外，實(shí)驗(yàn)室測(cè)量過程又存在固有的5天延遲，難以實(shí)時(shí)獲取BOD5值，給污水的有效處理帶來了挑戰(zhàn)，因此非常需要一個(gè)合理、準(zhǔn)確的預(yù)測(cè)模型來對(duì)BOD5等重要的出水指標(biāo)進(jìn)行預(yù)測(cè)。

如圖1 所示，該廠的污水處理過程由4 部分組成［33］：預(yù)處理、初沉池、反應(yīng)池和二沉池。該廠每天對(duì)38 個(gè)與有機(jī)物和微生物相關(guān)的過程變量進(jìn)行測(cè)量。受測(cè)量條件的限制，設(shè)備故障、傳感器失靈、天氣、人為等因素均會(huì)對(duì)變量的測(cè)量產(chǎn)生影響，導(dǎo)致僅有275天的正常數(shù)據(jù)。對(duì)此，文中首先結(jié)合機(jī)理分析對(duì)變量進(jìn)行了初步篩選，最終選擇18個(gè)過程變量作為模型的輸入［34-35］，詳細(xì)的變量介紹見表1。

表1 UCI輔助變量Table 1 UCI auxiliary variables

圖1 污水處理過程Fig.1 Sewage treatment process

研究中選擇工廠出水中的化學(xué)需氧量（CODS）、生物需氧量（BOD5）和固體懸浮物濃度（ρSS，S）作為輸出變量。

為評(píng)價(jià)模型的預(yù)測(cè)精度，分別引入均方根誤差（Root Mean Square Error，ERMSE）、平均絕對(duì)百分比誤差（Mean Absolute Percentage Error，EMAPE）和相關(guān)系數(shù)R作為性能指標(biāo)，它們的數(shù)學(xué)表達(dá)式分別為

式中：N為樣本個(gè)數(shù)；和yi分別為第i個(gè)樣本的預(yù)測(cè)值和輸出值；cov(Y，Y)為協(xié)方差；var(Y)和var()分別為Y和的方差；=(，，…，)，Y=(y1，y2，…，yn)。ERMSE衡量的是真實(shí)值與預(yù)測(cè)值偏離的絕對(duì)大小，而EMAPE衡量的是預(yù)測(cè)值偏離真實(shí)值的相對(duì)大?。窗俜致剩?，R主要用來衡量模型對(duì)數(shù)據(jù)變化趨勢(shì)的擬合程度。顯然，ERMSE和EMAPE越小，模型的預(yù)測(cè)誤差和偏離實(shí)際值的程度越小，效果越好；R越大，模型越能很好地跟蹤數(shù)據(jù)的變化趨勢(shì)，性能也就越好。

考慮到文中使用Elman網(wǎng)絡(luò)作為多輸出模型同時(shí)預(yù)測(cè)多個(gè)響應(yīng)，因此用對(duì)角平方和的均方根ERMSSD和多元相關(guān)系數(shù)RMR作為多輸出的性能評(píng)價(jià)標(biāo)準(zhǔn)。這些評(píng)價(jià)標(biāo)準(zhǔn)的計(jì)算公式如下：

式中，trace{·}表示矩陣的跡，Ri為第i個(gè)輸出所對(duì)應(yīng)的相關(guān)系數(shù)。對(duì)于軟測(cè)量模型而言，ERMSSD越小、RMR越大，則預(yù)測(cè)性能越好。

性能評(píng)估時(shí)，采用ERMSE、EMAPE和R這3 個(gè)指標(biāo)來評(píng)價(jià)各輸出變量的預(yù)測(cè)精度和偏差率，采用ERMSSD和RMR來評(píng)價(jià)多輸出模型的整體預(yù)測(cè)性能。

3.2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證集成卡爾曼濾波技術(shù)在Elman網(wǎng)絡(luò)軟測(cè)量模型上的有效性，將其用于預(yù)測(cè)UCI數(shù)據(jù)集的ρSS，S、BOD5和CODS，并將其和使用經(jīng)典訓(xùn)練算法的Elman 網(wǎng)絡(luò)（BPTT-Elman、GDM-Elman、LM-Elman）進(jìn)行對(duì)比，評(píng)估其預(yù)測(cè)性能。為了方便書寫，下文用EnKF-Elman 表示集合卡爾曼濾波的Elman 軟測(cè)量模型，用D-EnKF-N-Elman 表示基于對(duì)偶有限樣本的集合卡爾曼濾波的Elman軟測(cè)量模型。

為便于對(duì)比，實(shí)驗(yàn)中所采用的網(wǎng)絡(luò)結(jié)構(gòu)均為18-8-3 的Elman 網(wǎng)絡(luò)結(jié)構(gòu)，而隱含層激活函數(shù)和輸出層激活函數(shù)分別使用sigmoid 函數(shù)fh(x)=和線性激活函數(shù)fo(x)=x；權(quán)重的初始值介于［-0.5，0.5］；將UCI 的400 組數(shù)據(jù)中的前200 組樣本用于訓(xùn)練模型，后200組用于驗(yàn)證模型性能?？紤]到受初始權(quán)重隨機(jī)性的影響，表2中結(jié)果是使用300次隨機(jī)的初始權(quán)值運(yùn)行得到的平均結(jié)果。

表2 不同集成粒子個(gè)數(shù)下EnKF-Elman模型的預(yù)測(cè)結(jié)果1）Table 2 Prediction results of EnKF-Elman model with different particle numbers

表2 給出了不同算法的預(yù)測(cè)結(jié)果?？梢钥闯觯?dāng)集成粒子個(gè)數(shù)M為500時(shí)，基于集合卡爾曼技術(shù)的Elman軟測(cè)量模型已能得到較好的預(yù)測(cè)效果，性能顯著優(yōu)于BPTT-Elman、GDM-Elman 和LM-Elman等傳統(tǒng)Elman網(wǎng)絡(luò)。

以EnKF-Elman 為例，從單個(gè)輸出的預(yù)測(cè)指標(biāo)ERMSE、R和EMAPE來看，集合卡爾曼濾波方法的粒子個(gè)數(shù)為500 時(shí)，EnKF-Elman 在ρSS，S、BOD5和CODS上的ERMSE分別為3.379、1.897 和8.667，比BPTTElman分別減小了31.83%、47.17%和46.25%，比GDM-Elman分別減小了26.51%、42.65%和40.14%，比LM-Elman分別減小了86.98%、43.51%和35.95%，這表明文中提出的EnKF-Elman 方法在水質(zhì)參數(shù)預(yù)測(cè)上比傳統(tǒng)Elman 模型的測(cè)量誤差更小，性能更優(yōu)。

EnKF-Elman 在各個(gè)水質(zhì)質(zhì)量參數(shù)輸出的EMAPE和R上同樣有類似的提升，具有較好的性能表現(xiàn)。從整體預(yù)測(cè)性能ERMSSD和RMR來看，EnKF-Elman 的ERMSSD減少到了9.499，RMR達(dá)到了0.911，比BPTTElman 分別提升了45.00% 和32.41%，比GDMElman 分別提升了38.99% 和16.65%，比LMElman 分別提升了69.71%和19.08%，這說明集合卡爾曼濾波方法提升了Elman網(wǎng)絡(luò)的預(yù)測(cè)性能，可對(duì)系統(tǒng)多水質(zhì)參數(shù)進(jìn)行有效檢測(cè)。

對(duì)比EnKF-Elman 和D-EnKF-N-Elman 可以發(fā)現(xiàn)，對(duì)偶形式的有限樣本集合卡爾曼濾波比標(biāo)準(zhǔn)形式的集合卡爾曼濾波的預(yù)測(cè)結(jié)果略優(yōu)，能夠更有效地提高Elman網(wǎng)絡(luò)的預(yù)測(cè)性能。

圖2 和圖3 為不同算法的輸出預(yù)測(cè)曲線。為了方便觀察，僅列出前100 個(gè)測(cè)試數(shù)據(jù)的預(yù)測(cè)結(jié)果。對(duì)比基于BPTT、GDM 和LM 的傳統(tǒng)算法的預(yù)測(cè)結(jié)果，可以看出文中基于EnKF 的算法能夠更好地跟蹤輸出變量ρSS，S的動(dòng)態(tài)變化。傳統(tǒng)算法中的輸出水質(zhì)參數(shù)ρSS，S的預(yù)測(cè)值與實(shí)際值的擬合較差，這主要是因?yàn)樗惴ㄈ菀紫萑刖植繕O小值，得到較為不理想的預(yù)測(cè)結(jié)果，這反過來證明了文中方法的有效性。對(duì)于變量BOD5和CODS，BPTT-Elman、GDM-Elman和LM-Elman 等傳統(tǒng)算法具有良好的擬合性能。但從預(yù)測(cè)曲線的峰值和峰谷來看，基于EnKF 技術(shù)的Elman 網(wǎng)絡(luò)能夠更好地跟蹤實(shí)際曲線的動(dòng)態(tài)變化，其預(yù)測(cè)能力優(yōu)于上面列出的傳統(tǒng)Elman 訓(xùn)練算法，這說明EnKF-Elman 可以很好地?cái)M合預(yù)測(cè)水質(zhì)參數(shù)的變化趨勢(shì)。

圖2 BPTT-Elman、GDM-Elman 和LM-Elman 模型的輸出預(yù)測(cè)曲線Fig.2 Output prediction curves of BPTT-Elman，GDM-Elman and LM-Elman models

圖3 EnKF-Elman 和D-EnKF-N-Elman 模型的輸出預(yù)測(cè)曲線（M=500）Fig.3 Output prediction curves of EnKF-Elman and D-EnKFN-Elman models（M=500）

圖4 為基于集合卡爾曼技術(shù)的Elman 網(wǎng)絡(luò)的收斂曲線?？梢钥闯觯珼-EnKF-N-Elman 的收斂精度比EnKF-Elman的略高，說明D-EnKF-N-Elman的收斂性能更好。這主要是因?yàn)镈-EnKF-N 濾波器在先驗(yàn)中考慮了采樣誤差，而且不需要像集合卡爾曼濾波器一樣引入擾動(dòng)觀測(cè)矩陣，可以有效減小采樣誤差。但是，EnKF-N 類方法計(jì)算更加復(fù)雜，其訓(xùn)練時(shí)間要求更高。

圖4 EnKF-Elman 和D-EnKF-N-Elman 模型的平均ERMSE 收斂曲線Fig.4 Average ERMSE convergence curves of EnKF-Elman and D-EnKF-N-Elman models

4 結(jié)語

文中針對(duì)傳統(tǒng)Elman 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度欠佳、容易陷入局部最小值的問題，將集合卡爾曼濾波技術(shù)引入到Elman 網(wǎng)絡(luò)中構(gòu)建軟測(cè)量模型，采用UCI數(shù)據(jù)進(jìn)行驗(yàn)證，對(duì)ρSS，S、BOD5和CODS等重要污水出水水質(zhì)參數(shù)進(jìn)行預(yù)測(cè)，并將結(jié)果與傳統(tǒng)的模型進(jìn)行對(duì)比，發(fā)現(xiàn)EnKF-Elman和D-EnKF-N-Elman模型無論是單輸出還是多輸出評(píng)價(jià)指標(biāo)，其預(yù)測(cè)性能都優(yōu)于傳統(tǒng)的Elman模型，說明文中提出的方法是有效和可行的。但隨著系統(tǒng)復(fù)雜度增加，EnKF 算法占用的內(nèi)存會(huì)大幅增加，后續(xù)研究中擬引入解耦方法，以提高算法的運(yùn)行效率和實(shí)用性。