基于神經(jīng)元特性的徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)自組織設(shè)計方法

賈麗杰，李文靜，喬俊飛

(北京工業(yè)大學(xué)信息學(xué)部，北京 100124;計算智能和智能系統(tǒng)北京市重點實驗室，北京 100124)

1 引言

徑向基函數(shù)(radial basis function，RBF)神經(jīng)網(wǎng)絡(luò)因其結(jié)構(gòu)簡單、逼近能力強(qiáng)，以及收斂速度快、不易陷入局部極小值等優(yōu)點，在模式識別[1-2]、信號處理[3]、故障診斷[4-5]、非線性系統(tǒng)建模[6-7]與自適應(yīng)控制[8-10]等方面得到了廣泛的應(yīng)用.RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計和參數(shù)優(yōu)化是其成功應(yīng)用的關(guān)鍵.隨著RBF網(wǎng)絡(luò)應(yīng)用環(huán)境復(fù)雜性的提高，傳統(tǒng)的通過經(jīng)驗法和試湊法[11-12]來確定RBF網(wǎng)絡(luò)結(jié)構(gòu)的方法已經(jīng)不能滿足其實際應(yīng)用.為了尋求一個可以根據(jù)處理對象自適應(yīng)調(diào)整的RBF神經(jīng)網(wǎng)絡(luò)，大量的文章[13-22]對網(wǎng)絡(luò)結(jié)構(gòu)的自組織設(shè)計進(jìn)行了深入的研究，主要包括:增長法[13]、修剪法[14]、增長-修剪法[15-22]、智能尋優(yōu)法[23-25]等.

Platt等人[13]提出一種增長型資源分配網(wǎng)絡(luò)模型(resource allocation network，RAN)，可以根據(jù)處理的對象，通過隱含層神經(jīng)元的連續(xù)生長構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)，達(dá)到處理復(fù)雜信息的目的.它對RBF神經(jīng)網(wǎng)絡(luò)自組織的發(fā)展做出了巨大貢獻(xiàn)，但是對于RAN，網(wǎng)絡(luò)結(jié)構(gòu)只增不減，網(wǎng)絡(luò)中必然會出現(xiàn)冗余的神經(jīng)元，這會影響網(wǎng)絡(luò)的泛化性能.為了解決冗余神經(jīng)元的問題，在RAN的基礎(chǔ)上，Lu等人[15]提出了一種最小資源神經(jīng)網(wǎng)絡(luò)模型(minimal resource allocation network，MRAN)，在自適應(yīng)增加隱含層神經(jīng)元的同時，還通過每個神經(jīng)元對整個網(wǎng)絡(luò)輸出的貢獻(xiàn)對神經(jīng)元進(jìn)行修剪，以減少RBF神經(jīng)網(wǎng)絡(luò)的復(fù)雜度，但是MRAN增加隱節(jié)點時具有一定的盲目性，新增加的隱節(jié)點的核函數(shù)中心隨機(jī)確定，對網(wǎng)絡(luò)的泛化性能會有一定影響.Huang等人[16]提出了一種廣義增長和剪枝的RBF網(wǎng)絡(luò)模型(generalized growing and pruning radial basis function，GGAP-RBF)，該模型是在GAP-RBF[[17]模型的基礎(chǔ)上提出的一個更高級的模型.GGAP-RBF通過順序?qū)W習(xí)的方法判斷隱含層神經(jīng)元的重要性，并將其與學(xué)習(xí)精度聯(lián)系起來，從而構(gòu)建神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，得到的網(wǎng)絡(luò)較為緊湊.但是該網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法收斂速度慢，會影響整個網(wǎng)絡(luò)的收斂速度.杜大軍等人[18]提出利用一種快速回歸算法來確定RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和中心，盡管該方法收斂速度快，但是無法避免局部極小值.Han等人[19]提出一種自組織RBF神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)根據(jù)RBF神經(jīng)元徑向作用范圍和要求的穩(wěn)定誤差，對隱含層神經(jīng)元進(jìn)行自適應(yīng)增加和刪減.但是該算法涉及參數(shù)過多，這會增加網(wǎng)絡(luò)設(shè)計的復(fù)雜度.Hao等人[20]提出一種基于誤差校正算法的RBF神經(jīng)網(wǎng)絡(luò)，根據(jù)消除誤差的思想設(shè)定新增加的RBF神經(jīng)元參數(shù).Qiao等人[21]提出一種基于神經(jīng)元活動增量的RBF網(wǎng)絡(luò)，網(wǎng)絡(luò)的隱含層結(jié)構(gòu)根據(jù)局部場勢和平均發(fā)射率來計算神經(jīng)元活動并在其基礎(chǔ)上動態(tài)構(gòu)建.以上兩個網(wǎng)絡(luò)都利用二階算法保證了收斂速度且避免了局部極值問題，但是結(jié)構(gòu)設(shè)計過程中沒有神經(jīng)元刪減環(huán)節(jié)，當(dāng)網(wǎng)絡(luò)增加到一定程度，有可能存在冗余神經(jīng)元.Xie等人[22]提出了一種基于神經(jīng)元自適應(yīng)分離合并的網(wǎng)絡(luò)結(jié)構(gòu)自組織設(shè)計算法，但是該算法要先根據(jù)歷史數(shù)據(jù)對中心進(jìn)行初始化，而在實際應(yīng)用有可能會因為歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)差異過大影響網(wǎng)絡(luò)的性能.RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定又可以看成是網(wǎng)絡(luò)神經(jīng)元個數(shù)的尋優(yōu)，因此有很多文獻(xiàn)利用智能尋優(yōu)算法確定網(wǎng)絡(luò)結(jié)構(gòu)，如粒子群算法[23]、人工蜂群算法[24]、萬有引力所搜算法[25]等，但是這些方法都太過耗時.

根據(jù)以上的分析，目前RBF神經(jīng)網(wǎng)絡(luò)設(shè)計仍然是一個開放性的具有挑戰(zhàn)的問題.為了獲得結(jié)構(gòu)和性能俱佳的RBF神經(jīng)網(wǎng)絡(luò)，本文提出一種基于神經(jīng)元特性的網(wǎng)絡(luò)結(jié)構(gòu)自組織算法.首先利用神經(jīng)元激活活性，實現(xiàn)隱含層神經(jīng)元的自適應(yīng)增加，將神經(jīng)元激活活性與其顯著性以及神經(jīng)元之間的相關(guān)性結(jié)合，實現(xiàn)神經(jīng)元的自適應(yīng)合并和替換，確?？梢垣@得緊湊的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu);在實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)自組織設(shè)計的同時，確定網(wǎng)絡(luò)的初始參數(shù)，然后利用二階梯度學(xué)習(xí)算法對網(wǎng)絡(luò)參數(shù)進(jìn)行修正，并對網(wǎng)絡(luò)的結(jié)構(gòu)穩(wěn)定性給出了證明.最后通過非線性動態(tài)系統(tǒng)辨識、Mackey-Glass時間序列預(yù)測以及實際應(yīng)用中污水處理過程的出水生化需氧量(biochemical oxygen demand，BOD)濃度預(yù)測實驗驗證，證明了該方法的有效性.

2 RBF神經(jīng)網(wǎng)絡(luò)

RBF網(wǎng)絡(luò)結(jié)構(gòu)包括3層:輸入層、隱含層、輸出層.不失一般性，RBF 神經(jīng)網(wǎng)絡(luò)采用多輸入單輸出的IJ-1結(jié)構(gòu)，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖如圖1所示.

圖1 RBF網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖Fig.1 RBF network topology structure

網(wǎng)絡(luò)的輸出可描述為

其中:xn=[xn，1xn，2··· xn，I]T是網(wǎng)絡(luò)的第n個I維輸入向量，wj是隱含層第j個神經(jīng)元與輸出節(jié)點之間的連接權(quán)值，J是隱含層的神經(jīng)元個數(shù)，θj是隱含層第j個神經(jīng)元的輸出函數(shù).本文激活函數(shù)選用的是高斯函數(shù)，表達(dá)式如式(2)所示:

其中:cj表示第j個神經(jīng)元的中心向量;‖xn-cj‖表示樣本xn與中心cj之間的歐幾里得距離;σj表示第j個神經(jīng)元的寬度.

3 ASC-RBF網(wǎng)絡(luò)設(shè)計

ASC-RBF神經(jīng)網(wǎng)絡(luò)設(shè)計的思想主要是基于神經(jīng)元激活活性(activation activity)、顯著性(significance)及神經(jīng)元之間相關(guān)性特性(correlation)的判斷來進(jìn)行神經(jīng)元的增加、替換、合并，進(jìn)而確定RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，在結(jié)構(gòu)確定之后利用二階學(xué)習(xí)算法對網(wǎng)絡(luò)的參數(shù)進(jìn)行訓(xùn)練調(diào)整.

3.1 ASC-RBF網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

RBF神經(jīng)網(wǎng)絡(luò)最顯著的特點是隱節(jié)點的基函數(shù)采用距離函數(shù)，并使用高斯函數(shù)作為激活函數(shù)，RBF關(guān)于n維空間的一個中心點具有徑向?qū)ΨQ性，而神經(jīng)元的輸入距離該中心點越遠(yuǎn)，神經(jīng)元的激活程度就越低，隱節(jié)點的這個特性被稱為“局部特性”.這就意味著，如果輸入在任意方向遠(yuǎn)離中心點的話，輸出將趨近于0，越靠近中心點，則激活程度越高，活性值越大，如圖2所示.

圖2 神經(jīng)元“局部特性”Fig.2 Neuron“l(fā)ocal characteristics”

由此引入神經(jīng)元激活活性評價指標(biāo)，如式(3)所示:

這里:θj為隱含層第j個神經(jīng)元被第n個輸入樣本xn激活后的活性值，θ0為活性閾值.當(dāng)激活活性值大于閾值時，說明該樣本可以激活神經(jīng)元，并保證一定的活性;反之，不能激活神經(jīng)元，說明現(xiàn)有的神經(jīng)元不能對當(dāng)前樣本進(jìn)行學(xué)習(xí)，需要增加新的隱含層神經(jīng)元.

初始時刻，網(wǎng)絡(luò)中沒有隱含層節(jié)點，當(dāng)?shù)?個樣本x1進(jìn)入網(wǎng)絡(luò)之后，將輸入的第1個向量作為隱含層第1個中心，將網(wǎng)絡(luò)誤差作為連接權(quán)值.設(shè)在第n時刻，假設(shè)已經(jīng)存在k個隱含層神經(jīng)元節(jié)點，當(dāng)?shù)趎個數(shù)據(jù)樣本進(jìn)入網(wǎng)絡(luò)時，計算所有神經(jīng)元在樣本xn的作用下的激活活性值，如式(4)所示:

對所有神經(jīng)元的活性值按照降序排列，找到在樣本xn作用下活性值最大的兩個神經(jīng)元jmax和imax，如式(5)-(6)所示:

3.1.1 神經(jīng)元增加機(jī)制

為了確保輸入樣本和現(xiàn)有神經(jīng)元的相關(guān)性，當(dāng)有新的數(shù)據(jù)樣本進(jìn)入網(wǎng)絡(luò)時，是否添加新的神經(jīng)元取決于當(dāng)前所有神經(jīng)元的激活活性值，如果當(dāng)前所有神經(jīng)元都不能被新樣本激活，則添加新的神經(jīng)元.

θjmax是所有神經(jīng)元活性值中的最大值，如果θjmax＜θ0，就說明當(dāng)前輸入樣本xn不能激活任何一個神經(jīng)元，即樣本不能被任何現(xiàn)有神經(jīng)元學(xué)習(xí)，所以需要添加一個新的神經(jīng)元來處理該信息，新神經(jīng)元的參數(shù)設(shè)置如式(7)所示:

其中:cj為距離樣本點xn最近的隱含層神經(jīng)元;en為當(dāng)xn為網(wǎng)絡(luò)輸入時，神經(jīng)網(wǎng)絡(luò)的輸出誤差，計算式如式(8)所示:

3.1.2 神經(jīng)元替換和合并機(jī)制

當(dāng)樣本可以激活神經(jīng)元時，檢查樣本所激活神經(jīng)元的個數(shù)，如果只有一個神經(jīng)元被激活，則計算當(dāng)前樣本xn的顯著性[16]和其所激活神經(jīng)元的顯著性，并判斷大小;如果樣本可以激活多個神經(jīng)元，則檢查神經(jīng)元活性值最大的兩個神經(jīng)元的相關(guān)性，如果相關(guān)性大于閾值，則合并神經(jīng)元，如果相關(guān)性小于閾值，則以活性值最大的神經(jīng)元為準(zhǔn)進(jìn)行下一步計算.

1) 如果當(dāng)前樣本xn激活的神經(jīng)元只有一個，根據(jù)式(4)-(6)，即θjmax＞θ0和θimax＜θ0，只有神經(jīng)元jmax被激活，則計算當(dāng)前樣本xn的顯著性Esig(xn)和神經(jīng)元jmax的顯著性Esig(cjmax)，并比較二者大小，其中樣本xn顯著性Esig(cjmax)代表了當(dāng)樣本xn成為中心之后對RBF網(wǎng)絡(luò)性能的貢獻(xiàn)性.計算式分別如式(9)-(10)所示:

其中:κ為徑向基函數(shù)的寬度衰減因子;I為樣本輸入空間的維度;L(x)表示樣本范圍的大小;en為當(dāng)xn為網(wǎng)絡(luò)輸入時，神經(jīng)網(wǎng)絡(luò)的輸出誤差.

如果Esig(xn)＜Esig(cjmax)，說明當(dāng)前神經(jīng)元的顯著性依然很高，則只調(diào)整神經(jīng)元jmax的連接權(quán)值，如式(12)所示:

2) 如果當(dāng)前樣本xn可以激活多個神經(jīng)元，根據(jù)式(4)-(6)，即有θjmax＞θ0和θimax＞θ0，選出函數(shù)值最大的兩個神經(jīng)元jmax和imax.

計算兩個神經(jīng)元之間的相關(guān)性Rjmax，imax，利用最著名的皮爾遜積矩相關(guān)系數(shù)[26]來測量神經(jīng)元間的相關(guān)關(guān)系.計算式如式(13)所示:

其中:θjmax(xn)和θimax(xn)分別是當(dāng)訓(xùn)練樣本為xn時隱含層神經(jīng)元jmax和imax的輸出;變量和分別表示對于目前所有訓(xùn)練樣本神經(jīng)元jmax和imax的輸出平均值.

如果jmax和imax兩個神經(jīng)元的相關(guān)性Rjmax，imax大于閾值R0，說明當(dāng)前兩個神經(jīng)元對整個網(wǎng)絡(luò)的學(xué)習(xí)有很強(qiáng)的關(guān)聯(lián)性，則可將jmax和imax兩個神經(jīng)元合并為一個神經(jīng)元，以簡化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，合并之后的新神經(jīng)元m參數(shù)設(shè)置為式(14)所示:

如果jmax和imax兩個神經(jīng)元的相關(guān)性Rjmax，imax小于閾值R0，則按照當(dāng)前樣本激活一個神經(jīng)元jmax來設(shè)計網(wǎng)絡(luò).

資金問題是阻礙當(dāng)前旅游管理專業(yè)實踐教學(xué)體系建設(shè)的重要方面。實驗室的建設(shè)、實習(xí)實訓(xùn)過程、教師引進(jìn)等環(huán)節(jié)都需要經(jīng)費的支持。目前學(xué)校經(jīng)費來源以財政撥款為主，受政策傾向及撥款時效的影響較大，資金來源單一。旅游管理專業(yè)應(yīng)與旅游企業(yè)密切聯(lián)系，通過“訂單式”培養(yǎng)、產(chǎn)學(xué)研合作等校企合作的形式，將企業(yè)資金引入專業(yè)實踐投入中來。

3) 當(dāng)所有樣本被學(xué)習(xí)完，停止，此時神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搭建完成.

3.2 網(wǎng)絡(luò)參數(shù)學(xué)習(xí)

在RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定之后，需要對網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)整，包括隱含層到輸出層的連接權(quán)值以及神經(jīng)元的中心和寬度.采用二階學(xué)習(xí)算法[30]來訓(xùn)練參數(shù)，直到達(dá)到期望精度為止.算法的更新規(guī)則為

其中:Δ為網(wǎng)絡(luò)的所有待訓(xùn)練的參數(shù)，包括中心c，寬度σ和權(quán)值w，

Q為類海塞矩陣，g為梯度向量.這里的類海塞矩陣Q是由類海塞子矩陣qn相加得到

梯度向量由子梯度向量相加得到

誤差en是期望輸出Yn和實際輸出on的差值:

jn為雅克比分量:

雅克比分量中對應(yīng)的元素為

Δ為學(xué)習(xí)率參數(shù)，在每次迭代中都會隨著訓(xùn)練誤差動態(tài)變化.

選取均方根誤差(root mean square error，RMSE)為網(wǎng)絡(luò)訓(xùn)練過程的評價標(biāo)準(zhǔn)，RMSE計算公式如下所示:

在訓(xùn)練過程時，將當(dāng)前更新的RMSE值與之前兩次的RMSE值進(jìn)行比較，如果RMSE連續(xù)兩次增加時，則參數(shù)訓(xùn)練過程結(jié)束.

4 穩(wěn)定性分析

ASC-RBF神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性將影響網(wǎng)絡(luò)的性能，所以下面給出網(wǎng)絡(luò)的穩(wěn)定性證明.ASC-RBF神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性證明主要分為3個部分:神經(jīng)元增加、神經(jīng)元替換和神經(jīng)元合并.為了方便討論，假設(shè)在第n時刻，RBF網(wǎng)絡(luò)含有J個隱層神經(jīng)元，網(wǎng)絡(luò)其當(dāng)前誤差如式(25)所示:

引理1在第n時刻，如果新進(jìn)來的樣本滿足神經(jīng)元增加機(jī)制，則增加神經(jīng)元，并設(shè)置其參數(shù)如式(7)所示，則新增的神經(jīng)元不會增加網(wǎng)絡(luò)的誤差.

證當(dāng)隱層神經(jīng)元由J個增加到J +1個時，網(wǎng)絡(luò)的誤差為

結(jié)合式(7)和式(25)，神經(jīng)元增加后的神經(jīng)網(wǎng)絡(luò)的誤差即為

由此可知，神經(jīng)元增加之后神經(jīng)網(wǎng)絡(luò)的誤差不會變大.證畢.

引理2在第n時刻，如果新樣本滿足神經(jīng)元替換機(jī)制，則當(dāng)前神經(jīng)元jmax被樣本替換，替換之后新神經(jīng)元參數(shù)設(shè)置如式(11)所示.神經(jīng)元的個數(shù)在替換前后不會發(fā)生變化，神經(jīng)元替換機(jī)制不會影響當(dāng)前時刻的網(wǎng)絡(luò)誤差.

證神經(jīng)元換機(jī)制，相當(dāng)于增加一個神經(jīng)元的同時，刪減一個神經(jīng)元，則神經(jīng)元替換機(jī)制發(fā)生之前，RBF網(wǎng)絡(luò)的誤差為

將式(11)中的參數(shù)設(shè)置代入式(28)，可知神經(jīng)元替換之后的網(wǎng)絡(luò)誤差為

由此可知，當(dāng)神經(jīng)元發(fā)生替換，并不影響當(dāng)前網(wǎng)絡(luò)的誤差.證畢.

引理3在第n時刻，如果有兩個神經(jīng)元滿足神經(jīng)元合并機(jī)制，則將兩個神經(jīng)元合并為一個神經(jīng)元，合并之后的新神經(jīng)元的參數(shù)設(shè)置如式(14)所示.神經(jīng)元合并機(jī)制不會影響網(wǎng)絡(luò)當(dāng)前的誤差.

證兩個神經(jīng)元合并，相當(dāng)于刪減了兩個神經(jīng)元的同時增加了一個新的神經(jīng)元，此時網(wǎng)絡(luò)隱層神經(jīng)元個數(shù)變?yōu)镴 -1個，當(dāng)前誤差為

結(jié)合式(14)和式(30)，神經(jīng)元合并之后網(wǎng)絡(luò)的誤差為

由此可知，當(dāng)神經(jīng)元發(fā)生合并，并不影響當(dāng)前網(wǎng)絡(luò)的誤差.證畢.

由以上分析可知，ASC-RBF神經(jīng)網(wǎng)絡(luò)的自組織機(jī)制并不影響網(wǎng)絡(luò)的穩(wěn)定性.同時保留顯著性最高的神經(jīng)元，可以避免有冗余的神經(jīng)元，獲得更為簡潔的網(wǎng)絡(luò)結(jié)構(gòu).

5 仿真實驗

本文選取非線性動態(tài)系統(tǒng)辨識、Mackey-Glass時間序列預(yù)測以及實際應(yīng)用中污水處理過程的出水BOD濃度預(yù)測實驗對ASC-RBF神經(jīng)網(wǎng)絡(luò)的性能進(jìn)行測試，并與現(xiàn)有的網(wǎng)絡(luò)自組織算法進(jìn)行了實驗對比.在所有實驗中，相關(guān)閾值R0設(shè)置為0.8，以保證兩個神經(jīng)元只有在強(qiáng)相關(guān)時才合并.在LM(Levenberg-Marquarelt)算法，學(xué)習(xí)系數(shù)初始值參考對比算法設(shè)置為Δ=0.01.

所有仿真實驗均在理想的軟硬件環(huán)境中進(jìn)行:聯(lián)想臺式機(jī)(i7--7700，CPU為3.60 GHz，8.0 GB RAM)，操作系統(tǒng)Windows 7，MATLAB軟件版本2014a.

5.1 非線性系統(tǒng)辨識

非線性動態(tài)系統(tǒng)辨識常被用來驗證所設(shè)計的神經(jīng)網(wǎng)絡(luò)的性能，本實驗中所用到的非線性系統(tǒng)如式(32)所示:

該模型描述如式(33)所示:

輸入向量為[y(t) y(t-1) u(t)]，預(yù)測[y(t+1)]的值.本實驗通過式(32)產(chǎn)生1000個實驗數(shù)據(jù)用來驗證網(wǎng)絡(luò)模型的性能，其中用800個樣本進(jìn)行訓(xùn)練(t=1，2，···，800)，用200個樣本進(jìn)行測試(t=801，···，1000).均方誤差(mean square error，MSE)期望的值參考對比算法，設(shè)置為0.001.激活活性值閾值θ0=0.7.

圖3-5分別表示了ASC-RBF網(wǎng)絡(luò)的非線性系統(tǒng)辨識結(jié)果、訓(xùn)練RMSE、隱含層神經(jīng)元個數(shù)變化曲線圖.實驗結(jié)果分別與現(xiàn)有的自組織算法做了對比.所有算法使用相同的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù).表1為各個算法的測試RMSE、隱含層神經(jīng)元個數(shù)、訓(xùn)練時間的比較.

由下圖的結(jié)果可知，所提出的ASC-RBF算法性能良好，訓(xùn)練誤差不斷下降.在此過程中，網(wǎng)絡(luò)結(jié)構(gòu)不斷的根據(jù)迭代調(diào)整，當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)為4時性能最佳，且由圖4可知，在第7步是基本完全收斂，表明了收斂速度快.除此之外，與NA-RBF[22]，F(xiàn)S-RBF[22]，AANN[31]，F(xiàn)DC-RBF[28]進(jìn)行對比，由表1結(jié)果可知，ASC-RBF神經(jīng)網(wǎng)絡(luò)具有最緊湊的網(wǎng)絡(luò)結(jié)構(gòu)(4個隱含層神經(jīng)元)，除了NARBF，該算法在訓(xùn)練時間上要遠(yuǎn)遠(yuǎn)優(yōu)于其他幾種算法，而且ASC-RBF神經(jīng)網(wǎng)絡(luò)跟其他算法相比預(yù)測精度相對最高.

圖3 非線性系統(tǒng)辨識結(jié)果Fig.3 The testing results of the nonlinear system identification

圖4 非線性系統(tǒng)辨識訓(xùn)練RMSEFig.4 The training RMSE of the nonlinear system identification

圖5 隱含層神經(jīng)元個數(shù)變化曲線Fig.5 Variation curve of the number of hidden layer neurons

表1 非線性系統(tǒng)辨識不同算法結(jié)果對比Table 1 Comparison of the performance of different algorithms on nonlinear system identification

由此可以得出，在用ASC-RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行非線性動態(tài)系統(tǒng)辨識時，在保證相當(dāng)測試精度和收斂速度的前提下，結(jié)構(gòu)更為緊湊.

5.2 Mackey-Glass時間序列預(yù)測

為檢驗該網(wǎng)絡(luò)模型對混沌系統(tǒng)預(yù)測的能力，選取典型混沌時間序列Mackey-Glass作為仿真實例進(jìn)行預(yù)測研究.Mackey-Glass微分方程被認(rèn)為是基準(zhǔn)時間序列問題之一，它是由以下時滯微分方程產(chǎn)生的:

實驗時，方程中的參數(shù)設(shè)置:a=0.2，b=0.1，τ=17，采用四階-龍庫塔方法產(chǎn)生4500個實驗數(shù)據(jù)，用4000個樣本對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練(t=1，2，···，4000)，用500個樣本對神經(jīng)網(wǎng)絡(luò)進(jìn)行測試(t=4001，···，4500).輸入向量為[y(t) y(t-6) y(t-12) y(t-18)]，輸出參考對比算法預(yù)測50步[y(t+50)]的值.激活活性值閾值θ0=0.5.

圖6-8分別表示了ASC-RBF網(wǎng)絡(luò)的Mackey-Glass時間序列預(yù)測結(jié)果、訓(xùn)練RMSE以及隱含層神經(jīng)元個數(shù)變化曲線圖.此外將實驗結(jié)果分別與SAS-RBF[22]，NARBF[21]，AI-RBF[28]，GGAP-RBF[16]，RAN[16]等算法做了對比.所有算法都使用相同的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù).對比結(jié)果如表2所示.

圖6 Mackey-Glass時間序列預(yù)測結(jié)果Fig.6 The testing results of Mackey-Glass time series

圖7 Mackey-Glass時間序列預(yù)測網(wǎng)絡(luò)訓(xùn)練RMSEFig.7 The training RMSE of Mackey-Glass time series prediction

圖8 隱層神經(jīng)元個數(shù)變化曲線Fig.8 Variation curve of the number of hidden layer neurons

表2 Mackey-Glass時間序列預(yù)測不同算法結(jié)果對比Table 2 Comparison of the performance of different algorithms on Mackey-Glass time series prediction

由表2可知，ASC-RBF和NARBF兩種算法得到的網(wǎng)絡(luò)性能具有可比性，但是ASC-RBF算法比NARBF算法的在訓(xùn)練時間和網(wǎng)絡(luò)規(guī)模更有優(yōu)勢.與另外幾種算法相比，雖然SAS-RBF算法的網(wǎng)絡(luò)性能和訓(xùn)練時間和本文算法相當(dāng)，但是網(wǎng)絡(luò)規(guī)模結(jié)構(gòu)過大，而AI-RBF算法訓(xùn)練網(wǎng)絡(luò)太過耗時.此外，與GGAP-RBF相比，ASC-RBF算法實現(xiàn)了用最短訓(xùn)練時間，最簡結(jié)構(gòu)獲得最佳的網(wǎng)絡(luò)性能.

5.3 污水處理過程中出水BOD濃度預(yù)測

為了控制和優(yōu)化污水處理工藝，需要對污水處理過程中的許多質(zhì)量參數(shù)進(jìn)行測量和控制.雖然這些參數(shù)可以通過實驗室分析來測量，但是需要的測量時間長(從幾分鐘到幾天)，影響出水水質(zhì)運行的有效性.因此，設(shè)計一個有效的污水處理過程水質(zhì)預(yù)測模型是十分必要的.

本節(jié)利用所提出的ASC-RBF神經(jīng)網(wǎng)絡(luò)建立模型，對污水處理過程中的出水生化需氧量(biochemical oxygen demand，BOD)濃度進(jìn)行準(zhǔn)確、快速的預(yù)測.實驗數(shù)據(jù)來自北京市某污水處理廠，一共有365組數(shù)據(jù)，其中265組數(shù)據(jù)用來訓(xùn)練網(wǎng)絡(luò)，其余的100組數(shù)據(jù)用來測試網(wǎng)絡(luò)性能.分別選取進(jìn)水pH、出水pH、進(jìn)水固體懸浮物濃度(suspend solids，SS)、出水SS、進(jìn)水BOD濃度、進(jìn)水化學(xué)需氧量(chemical oxygen demand，COD)濃度、出水COD濃度、生化池污泥沉降比(settling velocity，SV)、生化池混合液懸浮固體濃度(mixed liquid suspended solids，MLSS)、生化池溶解氧濃度(dissolved oxygen，DO)等10個變量作為輸入.出水BOD濃度作為輸出.

因為實際的污水廠受天氣、環(huán)境等因素影響，各變量之間存在很大的差異，所以需要先對輸入的10個變量進(jìn)行歸一化處理.將輸入變量歸一化至[-1，1]，輸出變量歸一化至[0，1]，訓(xùn)練結(jié)束后，網(wǎng)絡(luò)輸出進(jìn)行反歸一化得到出水BOD實際預(yù)測濃度.

圖9為出水BOD濃度預(yù)測結(jié)果.圖10為出水BOD濃度預(yù)測誤差，由誤差圖可以看出ASC-RBF網(wǎng)絡(luò)對出水BOD濃度的預(yù)測誤差波動范圍在[-1，1]之間，說明網(wǎng)絡(luò)對測試樣本進(jìn)行了比較精確的預(yù)測.

圖9 出水BOD濃度預(yù)測結(jié)果Fig.9 The testing results of the effluent BOD concentration

圖10 出水BOD濃度預(yù)測誤差Fig.10 The testing error of the effluent BOD concentration prediction

為了進(jìn)一步評價本文所提的ASC-RBF網(wǎng)絡(luò)的性能，將實驗結(jié)果分別與NARBF[21]，GGAP-RBF[31]，F(xiàn)S-RBF[31]和ES-RBF[32]等自組織算法做了對比.所對比算法的文獻(xiàn)中的輸入量是基于人工經(jīng)驗選取的5個特征參量，為了便于對比，利用本文提出的算法，同樣以這5個特征參量作為輸入，來預(yù)測出水BOD濃度的值，得到的對比結(jié)果如表3所示.

表3 出水BOD濃度預(yù)測不同算法結(jié)果對比Table 3 Comparison of the performance of different algorithms on the effluent BOD concentration prediction

由對比結(jié)果可知，雖然ASC-RBF和NARBF的測試誤差相當(dāng)，但是前者比后者的網(wǎng)絡(luò)結(jié)構(gòu)更為緊湊，而對比ES-RBF，GGAP-RBF，F(xiàn)S-RBF，本文提出的ASC-RBF網(wǎng)絡(luò)訓(xùn)練時間更短，同時具有更緊湊的結(jié)構(gòu)和較高的預(yù)測精度，可以較為精準(zhǔn)的預(yù)測出污水處理過程中水質(zhì)參數(shù).

5.4 討論

本文的自組織機(jī)制是基于神經(jīng)元特性設(shè)計的，利用神經(jīng)元激活活性的設(shè)計神經(jīng)元增加機(jī)制，隨著神經(jīng)元的增加在一定范圍內(nèi)，會提高網(wǎng)絡(luò)的預(yù)測精度;通過神經(jīng)元和樣本的顯著性判斷，執(zhí)行神經(jīng)元替換機(jī)制，確保神經(jīng)元的高顯著性特性，在保證規(guī)模不變的情況下提升網(wǎng)絡(luò)性能;通過計算神經(jīng)元之間的相關(guān)性，執(zhí)行合并機(jī)制，在不影響網(wǎng)絡(luò)性能的前提下，精簡網(wǎng)絡(luò)結(jié)構(gòu).由以上實驗結(jié)果可知，本文所提出的網(wǎng)絡(luò)具有最佳的網(wǎng)絡(luò)結(jié)構(gòu)，且具有較好的網(wǎng)絡(luò)性能.

6 結(jié)論

為了提高RBF神經(jīng)網(wǎng)絡(luò)的精確性和經(jīng)濟(jì)性，本文基于神經(jīng)元相關(guān)特性提出了一種新的結(jié)構(gòu)自組織的ASC-RBF神經(jīng)網(wǎng)絡(luò)，實驗仿真結(jié)果表明了該網(wǎng)絡(luò)的有效性，該網(wǎng)絡(luò)的優(yōu)點主要有以下方面:1)ASCRBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)緊湊.首先根據(jù)能否激活神經(jīng)元來判斷是否增加新的神經(jīng)元，這樣確保每個樣本都可以被學(xué)習(xí)，其次不僅僅檢查樣本能否激活神經(jīng)元，而且檢查激活幾個神經(jīng)元，然后判斷顯著性和相關(guān)性進(jìn)行神經(jīng)元的合并和替換，只有顯著性高的神經(jīng)元才會被選為隱含層神經(jīng)元，使得整個網(wǎng)絡(luò)的結(jié)構(gòu)緊湊;2)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的穩(wěn)定性是保證網(wǎng)絡(luò)實際應(yīng)用的關(guān)鍵因素，本文討論了網(wǎng)絡(luò)的自組織增加、替換、合并機(jī)制，并給出了穩(wěn)定性證明;3)根據(jù)兩個基準(zhǔn)仿真實驗和一個實際應(yīng)用預(yù)測實驗的實驗結(jié)果以及與現(xiàn)有的一些自組織網(wǎng)絡(luò)模型的對比結(jié)果可知，本文所提出的ASCRBF神經(jīng)網(wǎng)絡(luò)在保證網(wǎng)絡(luò)緊湊結(jié)構(gòu)的前提下可以獲得較好的泛化性能與較高的收斂速度.

但是所提的算法也有一些不足需要改進(jìn)，比如算法關(guān)鍵參數(shù)的確定，如何可以根據(jù)樣本和期望的誤差自適應(yīng)的確定關(guān)鍵參數(shù)的值，這是以后要考慮的問題.