基于相對貢獻(xiàn)指標(biāo)的自組織RBF神經(jīng)網(wǎng)絡(luò)的設(shè)計

喬俊飛，安茹，韓紅桂

徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)由于其準(zhǔn)確的局部感知特性和強(qiáng)大的非線性逼近能力，已被廣泛應(yīng)用于時間序列預(yù)測、非線性系統(tǒng)在線建模與控制等領(lǐng)域[1]。神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用對于復(fù)雜工業(yè)過程建模提供了新的方法；與此同時，神經(jīng)網(wǎng)絡(luò)的設(shè)計成為非線性動態(tài)過程建模的重點(diǎn)和難點(diǎn)。RBF神經(jīng)網(wǎng)絡(luò)的性能嚴(yán)重依賴于網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)，包括隱含層節(jié)點(diǎn)的數(shù)量、中心和寬度、隱含層到輸出層的連接權(quán)值等參數(shù)[2]。事實(shí)上，如果網(wǎng)絡(luò)結(jié)構(gòu)越大，系統(tǒng)動力學(xué)錯綜復(fù)雜，表現(xiàn)良好的性能，但是會增大計算量和計算時間，容易導(dǎo)致“過擬合”；反之，規(guī)模過小，內(nèi)部動力學(xué)過于簡單，學(xué)習(xí)能力不足，不能高精度地逼近非線性映射，而且網(wǎng)絡(luò)的參數(shù)優(yōu)化算法能夠保證網(wǎng)絡(luò)達(dá)到較好的性能，能夠較快收斂，因此，RBF網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)學(xué)習(xí)算法研究對于實(shí)際應(yīng)用和理論研究具有重要的實(shí)際意義。

為使RBF神經(jīng)網(wǎng)絡(luò)能夠根據(jù)實(shí)際被控過程自適應(yīng)的動態(tài)調(diào)整，近年來不少學(xué)者進(jìn)行研究。Platt[3]首先提出資源分配網(wǎng)絡(luò)算法(resource allocation network，RAN)，根據(jù)實(shí)際對象能夠動態(tài)增加RBF網(wǎng)絡(luò)隱含層節(jié)點(diǎn)，但是該算法只增加隱節(jié)點(diǎn)不能刪減，對于處理復(fù)雜問題時網(wǎng)絡(luò)結(jié)構(gòu)會出現(xiàn)冗余。在此基礎(chǔ)上，為解決這一問題，Lu等[4]提出一種最小資源分配算法(minimal resource allocation network,MRAN)，該算法能夠在學(xué)習(xí)過程中增加和刪減神經(jīng)元動態(tài)調(diào)整去適應(yīng)被控過程，該方法受到廣泛應(yīng)用，但是卻忽略了神經(jīng)元結(jié)構(gòu)調(diào)整之后的參數(shù)學(xué)習(xí)，導(dǎo)致網(wǎng)絡(luò)收斂速度較慢[5]。Huang[6]提出一種在線調(diào)整的RBF結(jié)構(gòu)設(shè)計方法；隨后出現(xiàn)廣義增長修剪算法(generalized growing and pruning RBF，GGAP-RBF)，根據(jù)隱含層神經(jīng)元的重要性判斷是否增刪，但僅僅考慮對新增加或者刪減的神經(jīng)元進(jìn)行參數(shù)調(diào)整，有效提高算法的運(yùn)算速度，但是網(wǎng)絡(luò)初始值的設(shè)定需要依據(jù)整體樣本數(shù)據(jù)，因而不適合在線學(xué)習(xí)。Gonzales[7]采用進(jìn)化計算的思想，利用其良好的魯棒性和全局搜索能力對網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)進(jìn)行調(diào)整學(xué)習(xí)，取得較好的效果。文獻(xiàn)[8-9]提出用粒子群(particle swarm optimization，PSO)算法自動調(diào)整每個RBF網(wǎng)絡(luò)的中心，寬度和權(quán)值，能夠獲得不錯的建模性能，但是該算法由于訓(xùn)練過程中需要全局搜索，需要較長的訓(xùn)練時間而且算法計算復(fù)雜，不利于實(shí)時在線建模。Lian[10]提出自組織RBF網(wǎng)絡(luò)(self-organizing RBF, SORBF)，設(shè)計僅僅采用訓(xùn)練誤差作為結(jié)構(gòu)調(diào)整判斷條件，沒有考慮隱含層和輸出層之間的相關(guān)性以及網(wǎng)絡(luò)調(diào)整后參數(shù)設(shè)置問題，訓(xùn)練時間較長。Yu等[11]提出基于誤差修正的思想，每次采用誤差最大的點(diǎn)對應(yīng)的輸入數(shù)據(jù)作為新增加神經(jīng)元的中心，采用改進(jìn)的LM算法優(yōu)化所有隱節(jié)點(diǎn)的參數(shù)，訓(xùn)練時間快，能夠采用精簡的結(jié)構(gòu)去逼近非線性函數(shù)，但是該自組織機(jī)制只能增加隱節(jié)點(diǎn)不能刪減，而且對于多輸入的輸入數(shù)據(jù)如何判斷中心不能很好地確定。要想使RBF網(wǎng)絡(luò)具有更好的非線性建模性能，完成結(jié)構(gòu)設(shè)計之后，尋找快速的參數(shù)學(xué)習(xí)算法對網(wǎng)絡(luò)的性能也是至關(guān)重要的。常見的參數(shù)訓(xùn)練算法有BP算法、高斯–牛頓算法和LM算法等。其中，最常用的是BP算法，但是該算法由于搜索空間限制容易陷入局部極小，收斂速度慢等。近年來，具有快速收斂速度和強(qiáng)有力搜索空間的二階LM算法被引入到訓(xùn)練RBF網(wǎng)絡(luò)，取得了很好的效果，獲得了廣泛應(yīng)用[12-13]。但是該算法由于雅可比矩陣的計算會增加計算量和存儲空間，影響算法的訓(xùn)練速度，因此，本文采用一種改進(jìn)的LM算法對參數(shù)進(jìn)行訓(xùn)練。

針對RBF網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)設(shè)計問題，首先，利用隱含層和輸出層之間的回歸關(guān)系，采用相對貢獻(xiàn)指標(biāo)結(jié)合訓(xùn)練誤差信息處理能力，最大程度地挖掘隱含層和輸出層之間的隱含信息，解決了RBF網(wǎng)絡(luò)結(jié)構(gòu)動態(tài)調(diào)整的問題；同時，采用改進(jìn)的LM算法，將整個雅可比矩陣的計算轉(zhuǎn)化為向量相乘的形式，避免整個雅可比矩陣的存儲，加速算法的訓(xùn)練時間和收斂速度；最終保證RBF網(wǎng)絡(luò)能夠根據(jù)實(shí)際處理對象的動態(tài)過程快速準(zhǔn)確地自適應(yīng)調(diào)整結(jié)構(gòu)和參數(shù)，達(dá)到滿意的非線性逼近能力和預(yù)測精度，驗(yàn)證了算法的有效性。

1 RBF網(wǎng)絡(luò)

RBF網(wǎng)絡(luò)是一個包括輸入層、隱含層和輸出層的3層前饋神經(jīng)網(wǎng)絡(luò)，其拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1 中網(wǎng)絡(luò)的輸入向量為

M為輸入向量的維數(shù)，隱含層激活函數(shù)采用高斯函數(shù)，隱含層第j個神經(jīng)元的輸出表達(dá)式如式(1)所示。

式中：Φj(t)為隱含層[第j個神經(jīng)元的輸]出；‖·‖為歐幾里得范數(shù)；H為徑向基函數(shù)的中心向量，H為隱含層神經(jīng)元的個數(shù)，隱節(jié)點(diǎn)中心離輸入越近，輸出值越大；σj(t)為第j個基函數(shù)的擴(kuò)展寬度，主要影響基函數(shù)的分布的密集程度[14]。輸出層神經(jīng)元的輸出為

式中：wi1為第j個隱含層神經(jīng)元與輸出層的連接權(quán)值向量，y1(t)為輸出層神經(jīng)元的輸出。

2 自組織RBF網(wǎng)絡(luò)的設(shè)計

2.1 相對貢獻(xiàn)指標(biāo)

網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整的設(shè)計思想是采用回歸的思想，分別對隱含層和輸出層矩陣進(jìn)行成分提取為ti和vi，要求提取的成分對于原變量信息具有最大的解釋能力，而且具有最大的相關(guān)性，得到隱含層神經(jīng)元和輸出層神經(jīng)元的相對貢獻(xiàn)指標(biāo)，用來表示此神經(jīng)元對輸出神經(jīng)元的貢獻(xiàn)程度；同時結(jié)合網(wǎng)絡(luò)的誤差信息處理能力，作為判斷結(jié)構(gòu)是否調(diào)整的依據(jù)。

相對貢獻(xiàn)指標(biāo)： RBF神經(jīng)網(wǎng)絡(luò)隱節(jié)點(diǎn)j在樣本數(shù)為P個的相對貢獻(xiàn)指標(biāo)定義為

式中：ti和vi是第i對成分的得分向量；αi和βi為成分的負(fù)荷量；Φi和yi為第i次迭代產(chǎn)生的殘差矩陣，不斷迭代直到得到r個成分, 并且r=rank(Φ0)；Φ0是隱含層矩陣和輸出矩陣對P個樣本的標(biāo)準(zhǔn)化矩陣。另外要求提取的成分具有最大的相關(guān)性，通過拉格朗日法轉(zhuǎn)化為求權(quán)重向量?i和ui。進(jìn)而求出相對貢獻(xiàn)指標(biāo)。

2.2 結(jié)構(gòu)調(diào)整機(jī)制

2.2.1 神經(jīng)元增加機(jī)制

結(jié)合上述相對貢獻(xiàn)指標(biāo)RC和網(wǎng)絡(luò)誤差信息處理能力作為神經(jīng)元增加機(jī)制的判定條件，當(dāng)算法迭代t次的誤差比t–n大時，代表此時網(wǎng)絡(luò)對于動態(tài)過程的信息處理能力不足，需要增加新的隱節(jié)點(diǎn)，分裂當(dāng)前隱含層神經(jīng)元和輸出神經(jīng)元之間具有最大相對貢獻(xiàn)的隱含層神經(jīng)元j，此神經(jīng)元表示和輸出神經(jīng)元之間具有最大的貢獻(xiàn)度，即滿足式(9)：

式中：E(t)和 E(t–n)分別為迭代步數(shù) t和 t–n 時的訓(xùn)練誤差，n是樣本間隔，j是隱含層神經(jīng)元和輸出神經(jīng)元相對貢獻(xiàn)RC最大的神經(jīng)元，H是在t時刻存在的隱含層神經(jīng)元數(shù)量。對新增加的神經(jīng)元參數(shù)設(shè)置為

式中：cj(t)、σj(t)分別代表第j個神經(jīng)元分裂前的中心和寬度；cnew、σnew代表新增加神經(jīng)元的中心和寬度；wnew為新增加神經(jīng)元的輸出連接權(quán)值；ej(t)為t時刻神經(jīng)網(wǎng)絡(luò)的誤差；Φnew(t)為新增加神經(jīng)元的隱含層輸出值。

2.2.2 神經(jīng)元刪減機(jī)制

如果當(dāng)前第k個隱含層神經(jīng)元和輸出層的RC小于設(shè)定的閾值ε，說明此神經(jīng)元對輸出的相對貢獻(xiàn)較小，可以認(rèn)為此神經(jīng)元對輸出的貢獻(xiàn)很小甚至可以忽略，所以刪掉第k個神經(jīng)元，則滿足：

式中：k是隱含層神經(jīng)元和輸出神經(jīng)元相對貢獻(xiàn)最小的神經(jīng)元，ε為設(shè)定的刪減閾值。

2.3 改進(jìn)的LM算法

采用改進(jìn)的LM算法(improved LM algorithm,ILM)去優(yōu)化RBF網(wǎng)絡(luò)的中心、寬度和權(quán)值。不同于之前算法的矩陣運(yùn)算方式，文中采用一種將矩陣運(yùn)算轉(zhuǎn)化為向量相乘的方式，不需要存儲整個雅可比矩陣，這樣避免整個雅可比矩陣的計算，適用于輸入數(shù)量比較多。其中，擬海森矩陣和梯度向量的計算通過子矩陣及其子向量疊加和的方式來得到的[15]。同時，在訓(xùn)練過程中算法引入自適應(yīng)學(xué)習(xí)率，這樣能夠加快網(wǎng)絡(luò)的收斂速度，提高算法的預(yù)測精度。具體更新規(guī)則如式(17)所示：

式中：Ω(t)為更新規(guī)則包含參數(shù)向量，Θ(t) 為梯度向量，?(t)為擬海森矩陣，I是為了避免擬海森矩陣奇異設(shè)置的單位矩陣，根據(jù)文獻(xiàn)[16]，自適應(yīng)學(xué)習(xí)率λ(t)被定義為

式中：α為正實(shí)數(shù)，α∈(0, 1)。參數(shù)向量Ω(t)包括更新網(wǎng)絡(luò)的所有參數(shù)：連接權(quán)值w，中心向量c，寬度向量σ。

擬海森矩陣?(t)和梯度向量Θ(t)的計算分別是對應(yīng)的子矩陣與子向量的累加求和得到的，計算公式為

式中：P是樣本總數(shù)，子矩陣qp(t)與子向量φp(t)的計算公式分別為

第p個樣本的訓(xùn)練誤差定義為

式中：P為樣本數(shù)，ep(t)為訓(xùn)練誤差，yp(t)與op(t)是分別為第p個輸入樣本對應(yīng)的網(wǎng)絡(luò)輸出與實(shí)際輸出，雅克比矩陣行向量jp(t)如式(25)所示：

根據(jù)文獻(xiàn)[17]式(25)中誤差對權(quán)值的導(dǎo)數(shù)，誤差對寬度的導(dǎo)數(shù)，誤差對中心的導(dǎo)數(shù)計算公式分別為

雅可比矩陣行向量jp(t)的計算由式(26)～(28)計算得到，對于所有輸入模式，擬海森矩陣和梯度向量分別由式(20)和(21)得到，然后應(yīng)用更新規(guī)則(17)對3個參數(shù)同時進(jìn)行更新。采用上述ILM算法去優(yōu)化RBF網(wǎng)絡(luò)參數(shù)，加快算法的收斂速度并且提高網(wǎng)絡(luò)的預(yù)測準(zhǔn)確度。

RC-RBF 網(wǎng)絡(luò)的設(shè)計算法的步驟如下：

1) 初始隨機(jī)給定一個RBF神經(jīng)網(wǎng)絡(luò)，輸入節(jié)點(diǎn)與輸出節(jié)點(diǎn)個數(shù)根據(jù)具體實(shí)驗(yàn)設(shè)置，隱節(jié)點(diǎn)個數(shù)隨機(jī)設(shè)定，所有的參數(shù)隨機(jī)產(chǎn)生在一個小范圍內(nèi)。

2) 對于輸入樣本x(t)，隱含層到輸出層之間的權(quán)值、寬度、中心分別通過式(26)～(28)進(jìn)行調(diào)整，采用固定樣本個數(shù)的在線形式，然后，判斷神經(jīng)網(wǎng)絡(luò)是否滿足結(jié)構(gòu)調(diào)整條件，滿足條件則轉(zhuǎn)向3)，否則轉(zhuǎn)向6)。

3) 根據(jù)式(3)計算當(dāng)前存在的隱含層神經(jīng)元與網(wǎng)絡(luò)輸出計算相對貢獻(xiàn)指標(biāo)RC，如果第t步的訓(xùn)練RMSE比第t-n步大時：e(t)-e(t-n)＞0時，則轉(zhuǎn)向4)；轉(zhuǎn)向5)，判斷是否滿足刪減條件，否則轉(zhuǎn)向6)。

4) 此時，說明神經(jīng)網(wǎng)絡(luò)信息處理能力不足，需要增加神經(jīng)元，按照式(9)，選出相對貢獻(xiàn)指標(biāo)最大的神經(jīng)元進(jìn)行分裂，根據(jù)式(10)～(12)對新增加神經(jīng)元的設(shè)定初始化參數(shù)。

5) 如果滿足刪減條件(13)，則刪除相對指標(biāo)貢獻(xiàn)值小于閾值ε的隱含層神經(jīng)元，刪除與此神經(jīng)元的連接權(quán)值、中心和寬度，并利用式(14)～(16)對其臨近的神經(jīng)元的相應(yīng)參數(shù)進(jìn)行調(diào)整。

6) 利用改進(jìn)的LM算法對神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行更新。

7) 滿足停止條件或達(dá)到計算次數(shù)時停止計算，否則轉(zhuǎn)向2)(網(wǎng)絡(luò)結(jié)構(gòu)還需調(diào)整)進(jìn)行重新訓(xùn)練。

3 收斂性分析

網(wǎng)絡(luò)是否收斂決定了算法的性能，因?yàn)榫W(wǎng)絡(luò)在結(jié)構(gòu)調(diào)整之后對其收斂性往往不能保證，以下給出結(jié)構(gòu)調(diào)整階段的收斂性證明，主要分為3部分：1)隱節(jié)點(diǎn)增加階段；2)隱節(jié)點(diǎn)刪減階段；3)隱節(jié)點(diǎn)數(shù)目不變的階段。

假設(shè)：當(dāng)前網(wǎng)絡(luò)存在J個隱含層神經(jīng)元，當(dāng)前時刻的誤差為eJ(t)。

1)當(dāng)滿足神經(jīng)元增加條件時，分裂神經(jīng)元，此時神經(jīng)元數(shù)目變?yōu)镴+1個，此時網(wǎng)絡(luò)的誤差變?yōu)?。新增加的神?jīng)元的參數(shù)設(shè)置按照式(12)進(jìn)行設(shè)置。

可以看出，隱含層新增加神經(jīng)元之后，其參數(shù)設(shè)置對網(wǎng)絡(luò)的輸出誤差進(jìn)行了補(bǔ)償，調(diào)整后誤差為0，一定程度上加快算法的學(xué)習(xí)速度。

2)當(dāng)滿足刪減條件時，刪除第k個神經(jīng)元，此時神經(jīng)元的數(shù)量變?yōu)镴-1，神經(jīng)網(wǎng)絡(luò)的輸出誤差為，刪減之后對臨近神經(jīng)元的參數(shù)更新設(shè)置如式(16)。

可以看出，刪掉神經(jīng)元與輸出之間的連接權(quán)值，中心，寬度等參數(shù)，對其鄰近的神經(jīng)元進(jìn)行參數(shù)更新，神經(jīng)元調(diào)整前后，神經(jīng)網(wǎng)絡(luò)的輸出誤差相等，可見結(jié)構(gòu)刪減對網(wǎng)絡(luò)的誤差沒有產(chǎn)生影響。

3) 隱節(jié)點(diǎn)數(shù)目不變的階段

為了證明算法在固定神經(jīng)元時算法的收斂性，定義一個Lyapunov函數(shù)：

根據(jù)泰勒展開式可以得到，Lyapunov函數(shù)F(Ω(t))的變化量：

現(xiàn)在有以下收斂定理：

假設(shè)RC-RBF神經(jīng)網(wǎng)絡(luò)中的隱含層神經(jīng)元數(shù)為固定J，同時網(wǎng)絡(luò)參數(shù)根據(jù)式(17)中的規(guī)則進(jìn)行更新，如果滿足以下假設(shè)：

那么，結(jié)合等式(32)～(34)可以得到

由此可以得出Lyapunov函數(shù)F(Ω(t))不是增加的，進(jìn)一步得出當(dāng)e(t)→0,網(wǎng)絡(luò)收斂

綜上所述，通過網(wǎng)路誤差補(bǔ)償更新神經(jīng)元的參數(shù)，對神經(jīng)元增長和刪減兩階段的收斂性證明；同時也對結(jié)構(gòu)固定階段的RBF網(wǎng)絡(luò)的收斂性也進(jìn)行證明，因此提出設(shè)計方法的收斂性得以驗(yàn)證。

4 仿真實(shí)驗(yàn)

RC-RBF神經(jīng)網(wǎng)絡(luò)能夠根據(jù)研究對象的復(fù)雜動態(tài)變化在線調(diào)整隱含層神經(jīng)元的個數(shù)，提高網(wǎng)絡(luò)的預(yù)測能力，為驗(yàn)證算法的有效性和可行性，對Mackey-class時間序列和污水處理關(guān)鍵出水參數(shù)氨氮預(yù)測進(jìn)行預(yù)測實(shí)驗(yàn)，對其算法進(jìn)行驗(yàn)證。

利用均方根誤差函數(shù)作為衡量網(wǎng)路的性能指標(biāo)函數(shù)，計算公式如式(40)所示。

式中：P為樣本總數(shù)，yp(t)為第p個樣本t時刻對應(yīng)的網(wǎng)絡(luò)輸出，op(t)為第p個樣本t時刻對應(yīng)的期望輸出。

1) Mackey-Glass時間序列預(yù)測

Mackey-Glass時間序列預(yù)測是一個典型的驗(yàn)證自組織網(wǎng)絡(luò)性能的基準(zhǔn)函數(shù)[18]。其微分方程表達(dá)式如式(41)所示：

式中：a=0.1，b=0.2，τ=17，并且初始條件為 x(0)=1.2,p=6, Δt=6。過去的 4 個值{x(t), x(t–Δt), x(t–2Δt), x(t–3Δt)}去預(yù)測x(t+p)的值，預(yù)測模型如式(42)所示：

根據(jù)式(42)產(chǎn)生1 000個數(shù)據(jù)，其中，t∈[136,535]產(chǎn)生500組作為訓(xùn)練數(shù)據(jù)，t∈[636, 1 135]產(chǎn)生的500組用作測試數(shù)據(jù)。網(wǎng)絡(luò)的初始結(jié)構(gòu)為4-3-1，閾值ε為0.1。圖2～5的仿真結(jié)果分別為訓(xùn)練過程中隱節(jié)點(diǎn)數(shù)目的變化，網(wǎng)絡(luò)測試輸出和實(shí)際輸出曲線，Mackey-class測試誤差曲線，訓(xùn)練RMSE變化曲線。

圖2 Mackey-class測試輸出和實(shí)際輸出Fig. 2 The curve of Mackey-class test output and actual output

圖3 Mackey-class測試誤差曲線Fig. 3 The curve of Mackey-class testing error

圖4 訓(xùn)練RMSE值的變化曲線Fig. 4 The curve of training RMSE value

從圖2可以看出，網(wǎng)絡(luò)的測試輸出與實(shí)際輸出曲線基本吻合，說明該方法能夠較好地逼近非線性時間序列。圖3中顯示網(wǎng)絡(luò)的測試誤差曲線，誤差值范圍保持在[-0.04, 0.04]較小的范圍內(nèi)，表現(xiàn)出良好的泛化性能。圖4顯示的網(wǎng)絡(luò)訓(xùn)練RMSE變化曲線，誤差隨著訓(xùn)練過程一直保持下降趨勢，證明表2算法能夠快速收斂到滿意的性能。

為了驗(yàn)證算法的有效性，該方法與其他自組織神經(jīng)網(wǎng)絡(luò)進(jìn)行對比，NFN-FOESA[19]，自組織RBF神經(jīng)網(wǎng)絡(luò)(self-organizing RBF neural networks,SORBF)[20]，增長–修剪RBF神經(jīng)網(wǎng)絡(luò)(growing and pruning RBF neural networks, GAP-RBF)[21]、RBFAFSII[22]、SOFMLS[23]。表1展現(xiàn)了不同算法的性能指標(biāo)，從表中可以看出，和其他方法相比，該方法能夠采用較精簡的結(jié)構(gòu)很好地逼近非線性時間序列。

表2 不同算法的性能對比Table 2 The performance of different algorithms

2) 污水處理關(guān)鍵水質(zhì)參數(shù)氨氮預(yù)測

出水水質(zhì)參數(shù)預(yù)測模型的建立對于污水處理中減少微生物風(fēng)險和過程的優(yōu)化控制提供了一定的管理決策支持依據(jù)。由于污水處理過程中影響硝化和反硝化的因素眾多，動力學(xué)反應(yīng)及其復(fù)雜，導(dǎo)致影響氨氮的參數(shù)很多，而且各參數(shù)之間相互作用，具有強(qiáng)烈的耦合和非線性特性，因此很難精確建立其機(jī)理模型；而且，氨氮的檢測，現(xiàn)在大多采用實(shí)驗(yàn)室取樣離線分析，操作繁瑣，需要很長的時間才能檢測出等原因，不利于實(shí)時準(zhǔn)確獲得水質(zhì)參數(shù)。因此，采用數(shù)據(jù)驅(qū)動的方式，利用上述方法根據(jù)污水處理廠實(shí)際輸入輸出數(shù)據(jù)對氨氮這一出水參數(shù)建立準(zhǔn)確快速的軟測量模型。

實(shí)驗(yàn)過程中，數(shù)據(jù)取自北京市某污水處理廠2014年的真實(shí)測量數(shù)據(jù)，剔除異常數(shù)據(jù)并進(jìn)行數(shù)據(jù)歸一化之后，140組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，50組數(shù)據(jù)作為測試數(shù)據(jù)。為消除輸入數(shù)據(jù)間的高度相關(guān)性通過主元分析的方法，選出對氨氮影響較大的輸入變量，依次為溫度T (Temperature)，好氧前段DO (Dissolved Oxygen)，好氧末端總固體懸浮物TSS (Total suspended solids concentration)，出水 PH (Acidity and basicity)，厭氧末端ORP (Oxidation-reduction potential)，泥齡。輸出變量為出水氨氮。網(wǎng)絡(luò)的初始結(jié)構(gòu)為6-2-1，刪減閾值設(shè)為0.1。預(yù)測性能通過預(yù)測精度pa(prediction accuracy)來衡量。

預(yù)測精度pa越大，說明基于RC-RBF神經(jīng)網(wǎng)絡(luò)的氨氮預(yù)測模型性能越好。實(shí)驗(yàn)仿真結(jié)果如圖6～10。

圖6 網(wǎng)絡(luò)訓(xùn)練輸出和實(shí)際輸出曲線Fig. 6 Network training output and Actual output

圖7 訓(xùn)練RMSE值變化Fig. 7 The curve of tranining RMSE value

圖8 訓(xùn)練過程中隱節(jié)點(diǎn)的數(shù)目變化Fig. 8 The number of hidden layer number

圖9 網(wǎng)絡(luò)測試輸出和實(shí)際輸出Fig. 9 The curve of test the actual output

從仿真結(jié)果可以看出，圖6顯示的RBF網(wǎng)絡(luò)訓(xùn)練輸出和氨氮實(shí)際輸出曲線，曲線基本重合，可以看出算法對污水處理動態(tài)過程具有較好的學(xué)習(xí)能力。圖7表明算法在訓(xùn)練過程中RMSE的值呈現(xiàn)下降趨勢，訓(xùn)練時間為僅為1.24 s，快速收斂到較小的期望誤差。圖9顯示RBF網(wǎng)絡(luò)測試輸出和實(shí)際輸出變化曲線，測試輸出值和氨氮實(shí)際值基本吻合。從圖10網(wǎng)絡(luò)測試誤差曲線看出，測試誤差較小，說明對于實(shí)際非線性動態(tài)變化過程，RC-RBF神經(jīng)網(wǎng)絡(luò)表現(xiàn)出良好的泛化能力。為了說明該方法針對氨氮預(yù)測的有效性，還和其他方法進(jìn)行對比，采用固定神經(jīng)元的改進(jìn)LM算法(Improved LM algorithm,ILM)優(yōu)化的RBF網(wǎng)絡(luò)(ILM-RBF)，RBF神經(jīng)網(wǎng)絡(luò)，BP網(wǎng)絡(luò)3個對比實(shí)驗(yàn)。表2顯示了算法的性能對比。從中可以看出，和其他方法相比，該方法對于氨氮的預(yù)測精度更高，訓(xùn)練和測試誤差都較小。

圖10 網(wǎng)絡(luò)測試誤差曲線Fig. 10 The curve of network testing error

基于以上仿真結(jié)果，可以得出基于改進(jìn)的自適應(yīng)LM算法的自組織RBF神經(jīng)網(wǎng)絡(luò)能夠很好地對污水處理氨氮指標(biāo)快速準(zhǔn)確地在線預(yù)測，并且具有較小的測試誤差和較高的預(yù)測精度，對于污水處理出水參數(shù)的實(shí)時監(jiān)測和控制具有重要的意義，有利于污水處理廠的正常運(yùn)行。

5 結(jié)束語

文中通過采用相對貢獻(xiàn)指標(biāo)來設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)；同時，采用改進(jìn)的LM算法訓(xùn)練RBF神經(jīng)網(wǎng)絡(luò)的參數(shù)，使得網(wǎng)絡(luò)能夠根據(jù)非線性系統(tǒng)準(zhǔn)確快速地在線結(jié)構(gòu)調(diào)整和參數(shù)優(yōu)化，并表現(xiàn)出良好的泛化能力和預(yù)測精度，一定程度上提高了RBF神經(jīng)網(wǎng)絡(luò)的非線性系統(tǒng)的建模性能和算法的魯棒性。

1) 提出基于相對貢獻(xiàn)指標(biāo)結(jié)合誤差信息處理能力來最大程度的挖掘隱含層神經(jīng)元對輸出神經(jīng)元的相對貢獻(xiàn)，作為判斷網(wǎng)絡(luò)結(jié)構(gòu)是否刪減的條件，并且對增加和刪減階段的神經(jīng)元參數(shù)進(jìn)行更新補(bǔ)償；同時，證明網(wǎng)絡(luò)結(jié)構(gòu)刪減和增加階段，神經(jīng)元固定3個階段的收斂性，證明結(jié)構(gòu)動態(tài)變化過程是收斂的。

2) 采用改進(jìn)的LM算法，將矩陣運(yùn)算轉(zhuǎn)化為向量相乘的方式，避免整個雅可比矩陣的存儲，有效地減少了訓(xùn)練時間和矩陣的存儲空間，自適應(yīng)學(xué)習(xí)率的引入加快算法的收斂速度，并且提高了算法的預(yù)測性能。

3) 采用改進(jìn)LM算法的RC-RBF神經(jīng)網(wǎng)絡(luò)通過對Mackey-class時間序列預(yù)測和污水處理過程的出水參數(shù)氨氮進(jìn)行建模預(yù)測，仿真實(shí)驗(yàn)可以看出網(wǎng)絡(luò)對于解決實(shí)際問題和非線性函數(shù)逼近實(shí)驗(yàn)都具有較好的泛化能力和預(yù)測精度。

綜上所述，本文提出的相對貢獻(xiàn)指標(biāo)結(jié)合網(wǎng)絡(luò)信息處理能力能夠有效解決RBF網(wǎng)絡(luò)的結(jié)構(gòu)調(diào)整問題；同時采用具有快速收斂特性的改進(jìn)LM算法對網(wǎng)絡(luò)參數(shù)優(yōu)化，非線性時間序列仿真實(shí)驗(yàn)和污水處理氨氮預(yù)測實(shí)驗(yàn)都證明算法具有較好的預(yù)測精度，對于實(shí)際非線性系統(tǒng)的建模與應(yīng)用有一定的理論意義和可行性。

[1]QIAO J F, ZHANG Z Z, BO Y C. An online self-adaptive modular neural network for time-varying systems[J]. Neurocomputing, 2014, 125: 7–16.

[2]韓紅桂, 李淼, 喬俊飛. 基于模型輸出敏感度分析的動態(tài)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計[J]. 電子學(xué)報, 2010, 38(3): 731–736.HAN Honggui, LI Miao, QIAO Junfei. Design of dynamic neural network based on the sensitivity analysis of model output[J]. Acta electronica sinica, 2010, 38(3): 731–736.

[3]PLATT J. A resource-allocating network for function interpolation[J]. Neural computation, 1991, 3(2): 213–225.

[4]LU Y G, SUNDARARAJAN N, SARATCHANDRAN P. A sequential learning scheme for function approximation using minimal radial basis function neural networks[J]. Neural computation, 1997, 9(2): 461–478.

[5]PANCHAPAKESAN C, PALANISWAMI M, RALPH D,et al. Effects of moving the center's in an RBF network[J].IEEE transactions on neural networks, 2002, 13(6): 1299–1307.

[6]HUANG G B, SARATCHANDRAN P, SUNDARARAJAN N. A generalized growing and pruning RBF (GGAPRBF) neural network for function approximation[J]. IEEE transactions on neural networks, 2005, 16(1): 57–67.

[7]GONZALEZ J, ROJAS I, ORTEGA J, et al. Multi-objective evolutionary optimization of the size, shape, and position parameters of radial basis function networks for function approximation[J]. IEEE transactions on neural networks, 2003, 14(6): 1478–1495.

[8]FENG H M. Self-generation RBFNs using evolutional PSO learning[J]. Neurocomputing, 2006, 70(1): 241–251.

[9]HAO C, YU G, XIA H. Online modeling with tunable RBF network[J]. IEEE transactions on cybernetics, 2013, 43(3):935–947.

[10]LIAN J M , LEE Y G, SCOTT D, SUDHOFF, et al. Selforganizing radial basis function network for real-time approximation of continuous-time dynamical systems[J].IEEE transactions on neural networks, 2008, 19(3):460–474.

[11]YU H, REINER P D, XIE T T, et al. An incremental design of radial basis function networks[J]. IEEe transactions on neural networks and learning systems, 2014,25(10): 1793–1803.

[12]CONSTANTINOPOULO C, LIIKAS A. An incremental training method for the probabilistic RBF network[J]. IEEE transactions on neural networks, 2006, 17(4): 966–974.

[13]CHEN S, HANZO L, TAN S. Symmetric complex-valued RBF receiver for multiple-antenna-aided wireless systems[J].IEEe transactions on neural networks, 2008, 19(9):1659–1665.

[14]王曉麗, 黃蕾, 楊鵬, 等. 動態(tài)RBF神經(jīng)網(wǎng)絡(luò)在浮選過程模型失配中的應(yīng)用[J]. 化工學(xué)報, 2016, 3(67): 897–902.WANG Xiaoli, HUANG Lei, YANG Peng, et al. Dynamic RBF neural networks for model mismatch problem and its application in flotation process[J]. CIESC journal, 2016,3(67): 897–902.

[15]WILAMOWSKI B M, YU H. Improved computation for Levenberg–Marquardt training[J]. IEEE transactions on neural networks, 2010, 21(6): 930–937.

[16]MA C, JIANG L. Some research on Levenberg–Marquardt method for the nonlinear equations[J]. Applied mathematics and computation, 2007, 184(2): 1032–1040.

[17]XIE T T, YU H, HEWLETT J, et al. Fast and efficient second-order method for training radial basis function networks[J]. IEEE transactions on neural networks and learning systems, 2012, 23(4): 609–619.

[18]QIAO J F, HAN H G. Identification and modeling of nonlinear dynamical systems using a novel self-organizing RBF-based approach[J]. Automatica, 2012, 48(8): 1729–1734.

[19]CHEN C, WANG F Y. A self-organizing neuro-fuzzy network based on first order effect sensitivity analysis[J].Neurocomputing, 2013, 118: 21–32.

[20]HAN H G, CHEN Q L, QIAO J F. An efficient self-organizing RBF neural network for water quality prediction[J].Neural networks the official journal of the international neural network society, 2011, 24(7): 717–25.

[21]HUANG G B, SARATCHANDRAN P, SUNDARARAJAN N. An efficient sequential learning algorithm for growing and pruning RBF (GAP-RBF) networks[J]. IEEE transactions on systems, man, and cybernetics, Part B: (Cybernetics), 2004, 34(6): 2284–2292.

[22]CHO K B, WANG B Y. Radial basis function based adaptive fuzzy systems and their applications to system identification and prediction[J]. Fuzzy sets and systems, 1996,83(3): 325–339.

[23]EBADZADEH M M, SALIMI-BADR A. CFNN: correl-ated fuzzy neural network[J]. Neurocomputing, 2015, 148:430–444.

[24]An R, Li W J, Han H G, et al. An improved Levenberg-Marquardt algorithm with adaptive learning rate for RBF neural network[C]//IEEE Control Conference, [s.l.], 2016:3630-3635.

書訊：《探秘機(jī)器人王國》

由蔡自興教授和翁環(huán)高級講師合著的《探秘機(jī)器人王國》已由清華大學(xué)出版社隆重出版，向全國發(fā)行，正在京東和當(dāng)當(dāng)?shù)葧隉崾壑小?/p>

本書是一本以機(jī)器人學(xué)和人工智能知識和機(jī)器人技術(shù)為中心內(nèi)容的科普及科幻長篇小說。書中通過形象與連續(xù)的故事和插圖，介紹機(jī)器人的發(fā)展歷史、基本結(jié)構(gòu)與分類，在工礦業(yè)與農(nóng)林業(yè)、空間與海洋探索、國防與安保、醫(yī)療衛(wèi)生、家庭服務(wù)、文化娛樂、教育教學(xué)等方面的應(yīng)用，以及智能化工廠、未來宇宙開發(fā)與星際航行和發(fā)展方向等。此外，還展望了其它一些新技術(shù)或潛在高新技術(shù)的未來應(yīng)用。

本書密切聯(lián)系實(shí)際，適當(dāng)加入一些科學(xué)預(yù)測知識，故事情節(jié)生動，圖文并茂，寓知識性、趣味性和娛樂性于一體，是廣大青少年、大中小學(xué)生、中小學(xué)教師、機(jī)器人和人工智能產(chǎn)業(yè)園科技與工作人員以及從事科技與產(chǎn)業(yè)管理的政府與企業(yè)人員的課外閱讀佳作，也是對機(jī)器人感興趣的公眾值得一看的好作品。小學(xué)高年級學(xué)生可以在家長和老師指導(dǎo)下閱讀。

本書作者之一蔡自興教授是一位在智能科技領(lǐng)域碩果累累、德高望重、著作等身和桃李滿天下的科學(xué)家、教授。他在百忙中擠出寶貴時間，撰寫科普小說和科普文章，普及機(jī)器人學(xué)和人工智能知識，培養(yǎng)廣大青少年對科學(xué)技術(shù)的興趣。他與夫人翁環(huán)老師合作編著這部《探秘機(jī)器人王國》科普與科幻著作長篇小說，是他們對科普教育的一個新貢獻(xiàn)。讀者通過閱讀本書，能夠了解機(jī)器人的過去、現(xiàn)在和將來，增進(jìn)對機(jī)器人技術(shù)的興趣與認(rèn)識，因而能夠?qū)V大青少年讀者有所裨益。

中國工程院院士、哈爾濱工業(yè)大學(xué)蔡鶴皋教授為本書作序，對本書給予高度評價。他說：本書的出版必將為廣大讀者，特別是青少年學(xué)生提供一份不可多得的精神快餐，為機(jī)器人學(xué)和人工智能的知識傳播與普及發(fā)揮不可替代的重要作用，進(jìn)而為我國建設(shè)智能強(qiáng)國貢獻(xiàn)重要力量。

世界這么廣大，想要探訪的領(lǐng)域很多很多。厲害啦，機(jī)器人來了！讓我們跟隨《探秘機(jī)器人王國》的足跡去揭開機(jī)器人王國的神秘面紗，探索機(jī)器人家族的奧秘，擁抱多彩多姿的機(jī)器人，看看他們都干了哪些“雷倒眾生”的新鮮事兒。