近鄰傳播聚類算法的RBF隱含層節(jié)點優(yōu)化

摘 要： 傳統(tǒng)的RBF神經(jīng)網(wǎng)絡(luò)預(yù)測精度會由于隨機選取隱含層中心節(jié)點不合適而導(dǎo)致算法效率低下和數(shù)值病態(tài)，為了提高RBF神經(jīng)網(wǎng)絡(luò)的效率，提出了一種用近鄰傳播AP聚類算法改進RBF神經(jīng)網(wǎng)絡(luò)的方法，并介紹了該方法的原理及建模步驟。由于采用的AP聚類算法屬于自適應(yīng)聚類學(xué)習(xí)算法，無需事先給定隱含層中心節(jié)點的個數(shù)，能夠適用于不具有先驗信息的預(yù)測。首先，利用AP算法根據(jù)訓(xùn)練樣本的信息進行聚類迭代，從而確定RBF神經(jīng)網(wǎng)絡(luò)中隱含層的中心節(jié)點和節(jié)點數(shù)值，解決了RBF網(wǎng)絡(luò)的中心取值問題。然后，把所有輸入數(shù)據(jù)代入基于AP聚類算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)中進行預(yù)測。由于AP算法無需預(yù)先指定聚類數(shù)目，所提方案能提高網(wǎng)絡(luò)的學(xué)習(xí)精度和訓(xùn)練速度，利用所提優(yōu)化方案對正弦函數(shù)進行逼近的仿真實驗，結(jié)果表明該方案的逼近誤差僅為0.005 5，在0.3噪聲下能保持較好的預(yù)測精度。

關(guān)鍵詞： 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)； 近鄰傳播聚類算法； 隱含層； 逼近誤差

中圖分類號： TN711?34； TP398.1 文獻標(biāo)識碼： A 文章編號： 1004?373X（2016）19?0016?04

Abstract： The prediction accuracy of the traditional radial basis function （RBF） neural network may result in lower algorithm efficiency and pathological numerical value due to the inappropriate random selection of the hidden layer center node， to improve the efficiency of RBF neural network， a method of using affinity propagation （AP） clustering algorithm to improve RBF neural network is proposed. The principle and modeling steps of the method are introduced. Since the adopted AP clustering algorithm belongs to the self?adapting clustering learning algorithm， it needn′t predefine the numbers of the hidden layer center nodes， and is applied to prediction without transcendental information. The AP algorithm is used for clustering iteration according the information of training sample， so as to determine the center node and node numerical value of hidden layer in RBF neural network， and solve the center dereferencing problem of RBF network. After that， all input data is taken in RBF neural network based on AP clustering algorithm for prediction. Since the use of AP algorithm needn′t predefine the clustering numbers， the proposed scheme can improve the learning accuracy and training speed of the RBF neural network. The approximate simulation experiment was performed for sine function with the proposed optimization scheme. The results show that the approximate error of the proposed scheme is only 0.005 5， and can keep good prediction accuracy under the noise of 0.3.

Keywords： radial basis function neural network； affinity propagation clustering algorithm； hidden layer； approximate error

0 引 言

RBF（Radial Basis Function）網(wǎng)絡(luò)是一種單隱含層前饋神經(jīng)網(wǎng)絡(luò)，其基本思想是在隱含層內(nèi)基函數(shù)的作用下，將輸入信息的不可分矢量變換到高維可分空間[1?3]。RBF網(wǎng)絡(luò)結(jié)構(gòu)簡單而且具備非線性逼近能力，收斂速度快。RBF網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于函數(shù)逼近、模式識別、信號處理和控制等領(lǐng)域[4?5]。由于RBF網(wǎng)絡(luò)的輸出是線性的，隱含層的輸出是非線性的，所以對RBF網(wǎng)絡(luò)的訓(xùn)練主要針對隱含層。目前，提高RBF網(wǎng)絡(luò)性能的主要方法包括調(diào)節(jié)隱含層層數(shù)，調(diào)節(jié)隱含層的中心節(jié)點參數(shù)和寬度參數(shù)。王榮秀等利用局部保持投影的方法[6]，對用于來波到達角估計的神經(jīng)網(wǎng)絡(luò)進行降維，同時獲得了良好的估計精度和效率。郭偉等用K近鄰統(tǒng)計法估計隱含節(jié)點輸出矩陣和輸出節(jié)點輸出矩陣之間的互信息，減少相關(guān)性最小的隱含節(jié)點以優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)[7]。薛福強等通過改進的層次遺傳算法確定RBF神經(jīng)網(wǎng)絡(luò)均衡器結(jié)構(gòu)[8]，使用較少的隱含層單元獲得了信道均衡器的低誤碼率。

近鄰傳播AP算法是Frey等提出的一種新的聚類算法[9]。它因無需指定聚類數(shù)目，具有更高效的處理速度，同時也能夠得到較好的聚類結(jié)果。朱紅等提出了一種改進屬性約簡的細粒度AP算法[10]，實現(xiàn)聚類的并行處理。然而，利用AP聚類算法的優(yōu)秀特性對RBF神經(jīng)網(wǎng)絡(luò)進行優(yōu)化的文獻卻比較少見。本文使用AP算法對輸入數(shù)據(jù)進行聚類，選出聚類中心作為隱含層的中心節(jié)點，以聚類中心數(shù)作為隱含層節(jié)點數(shù)，解決了隱含層中心取值和層數(shù)確定的問題，使RBF網(wǎng)絡(luò)只需要進行一步迭代算法，就能得到輸出結(jié)果。

1 RBF網(wǎng)絡(luò)模型

RBF神經(jīng)網(wǎng)絡(luò)是由輸入層、隱含層和輸出層組成的單隱層前饋網(wǎng)絡(luò)[11?12]。其中，輸入層不會改變輸入信息的相關(guān)性，只起到傳遞作用；而隱含層單元為感受野單元，由一組徑向基函數(shù)構(gòu)成，一般為非線性函數(shù)[13]。

3 AP聚類算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)

目前針對RBF神經(jīng)網(wǎng)絡(luò)隱含層優(yōu)化的方法主要分為兩類：調(diào)節(jié)隱含層層數(shù)，調(diào)節(jié)隱含層的中心節(jié)點參數(shù)和寬度參數(shù)。調(diào)節(jié)隱含層層數(shù)的方法需要根據(jù)訓(xùn)練數(shù)據(jù)的先驗信息設(shè)置具體的隱含層層數(shù)，或者利用預(yù)處理的方法對輸入進行處理以消除部分相關(guān)性。當(dāng)隱含層內(nèi)的神經(jīng)元無法覆蓋所有輸入信息的數(shù)據(jù)集合時，網(wǎng)絡(luò)本身的預(yù)測精度就難以保證。調(diào)節(jié)隱含層節(jié)點參數(shù)和寬度參數(shù)的方法需要根據(jù)具體的應(yīng)用需要開發(fā)新的預(yù)處理方法，實施起來不具有普適性。在本文提出的AP算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)中，由于AP聚類學(xué)習(xí)算法屬于自適應(yīng)聚類學(xué)習(xí)算法，它無需事先給定隱含層中心節(jié)點的個數(shù)，只需要根據(jù)輸入樣本的信息進行聚類迭代，從而確定徑向基函數(shù)的中心點，能夠適用于不具有先驗信息的預(yù)測。

本文提出的基于AP算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)模型由兩部分組成：首先用AP算法對樣本進行初始聚類，以確定RBF神經(jīng)網(wǎng)絡(luò)的中心節(jié)點及其數(shù)目；然后將所有數(shù)據(jù)交給RBF神經(jīng)網(wǎng)絡(luò)進行預(yù)測?；贏P算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)模型如圖2所示。

4 仿真結(jié)果

本文以逼近正弦函數(shù)[y=sin（2πx）]為例，首先取0.01～1之間以0.01為間隔的100個數(shù)作為輸入值，然后使用AP算法選出中心節(jié)點，接著使用RBF網(wǎng)絡(luò)進行訓(xùn)練，最后取0.505～1之間以0.01為間隔的50個數(shù)作為輸入值進行預(yù)測，以輸出誤差值的最大值作為評價標(biāo)準。阻尼因子設(shè)置為[λ=0.5，]中心節(jié)點數(shù)目標(biāo)識為[A。][W1]為無噪聲時的誤差，[W2]為加入占空比為30%的白噪聲后的逼近誤差。表1為無噪聲環(huán)境下[P]取不同值時選擇出的中心節(jié)點和逼近誤差。

由圖4可以看出，取0.505～1區(qū)間內(nèi)以0.01為間隔的50個數(shù)作為輸入數(shù)據(jù)進行預(yù)測后得到的預(yù)測結(jié)果非常好。

圖5和圖6分別是在噪聲占空比為0.15和0.3環(huán)境下的預(yù)測結(jié)果。從這兩幅圖中可以看出在低噪聲情況下，本文提出的方案能夠很好地抑制噪聲，取得較好的預(yù)測結(jié)果。在高噪聲情況下，本文提出的方案仍然能夠獲得有效的預(yù)測結(jié)果。

從上述仿真結(jié)果可以看出，在無噪聲情況下選出的節(jié)點數(shù)越多，逼近誤差值越小，但是中心節(jié)點數(shù)增多，會導(dǎo)致隱含層層數(shù)增多，網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜，大大增加了訓(xùn)練時間，降低了學(xué)習(xí)速率。因此選擇適當(dāng)?shù)闹行墓?jié)點數(shù)和中心節(jié)點對RBF網(wǎng)絡(luò)非常重要。

5 結(jié) 語

RBF神經(jīng)網(wǎng)絡(luò)隱含層中心節(jié)點個數(shù)和選取方案關(guān)乎其預(yù)測精度，而現(xiàn)有中心節(jié)點的選取方案依賴于對訓(xùn)練樣本的相關(guān)性分析，使得RBF神經(jīng)網(wǎng)絡(luò)實施復(fù)雜，不具有普適性。本文利用AP聚類算法無需指定聚類個數(shù)、自適應(yīng)實現(xiàn)全局最優(yōu)聚類和聚類速度快的優(yōu)點，用AP算法確定RBF神經(jīng)網(wǎng)絡(luò)中心節(jié)點個數(shù)和數(shù)值。本文改進的RBF網(wǎng)絡(luò)不僅能夠確定隱含層的層數(shù)還能選出中心節(jié)點，訓(xùn)練速度快，解決了RBF網(wǎng)絡(luò)最重要的問題，而且不依賴于具體訓(xùn)練數(shù)據(jù)的相關(guān)程度，具有普適性。從仿真實驗可以看出，AP算法和RBF網(wǎng)絡(luò)結(jié)合后的預(yù)測結(jié)果準確度高，逼近效果好，表明AP算法能夠有效地解決RBF網(wǎng)絡(luò)隱含層優(yōu)化問題。

參考文獻

[1] 文翰，肖南峰.基于強類別特征近鄰傳播的半監(jiān)督文本聚類[J].模式識別與人工智能，2014，27（7）：646?654.

[2] 回立川，于淼，梁芷睿.應(yīng)用近鄰傳播算法改進RBF的短期負荷預(yù)測[J].電力系統(tǒng)及其自動化學(xué)報，2015，27（1）：69?73.

[3] 趙鳳嬌，賀月姣.基于改進的K?means聚類算法水下圖像邊緣檢測[J].現(xiàn)代電子技術(shù)，2015，38（18）：89?91.

[4] 黃建清，王衛(wèi)星，胡月明，等.近鄰傳播聚類無線傳感器網(wǎng)絡(luò)分簇路由算法[J].計算機工程與設(shè)計，2014，35（2）：406?410.

[5] 常瑞花.基于密集度量元的近鄰傳播聚類算法[J].微電子學(xué)與計算機，2015（5）：1?5.

[6] 王榮秀，田雨波，張貞凱.基于局部保持投影和RBF神經(jīng)網(wǎng)絡(luò)的DOA估計[J].科學(xué)技術(shù)與工程，2013，13（24）：7054?7058.

[7] 郭偉.基于互信息的RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化設(shè)計[J].計算機科學(xué)，2013，40（6）：252?255.

[8] 薛富強，葛臨東，王彬.基于改進層次遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)信道均衡器[J].計算機應(yīng)用與軟件，2010，27（5）：75?77.

[9] FREY B J， DUECK D. Clustering by passing messages between data points [J]. Science， 2007， 315（5814）： 972?976.

[10] 朱紅，丁世飛，許新征.基于改進屬性約簡的細粒度并行AP聚類算法[J].計算機研究與發(fā)展，2012，49（12）：2638?2644.

[11] 李英樂，于洪濤，劉力雄，等.基于RBF神經(jīng)網(wǎng)絡(luò)的微博消息傳播時間預(yù)測方法[J].計算機工程與設(shè)計，2013，34（11）：3815?3819.

[12] 孟軍，尉雙云.基于近鄰傳播聚類的集成特征選擇方法[J].計算機科學(xué)，2015，42（3）：241?244.

[13] 錢雪忠，趙建芳，賈志偉.基于約束投影的近鄰傳播聚類算法[J].計算機工程與科學(xué)，2014，36（3）：524?529.

[14] 邢長征，劉劍.基于近鄰傳播與密度相融合的進化數(shù)據(jù)流聚類算法[J].計算機應(yīng)用，2015，35（7）：1927?1932.

[15] 儲岳中，徐波，高有濤.一種融合人工免疫系統(tǒng)與AP算法的分類器設(shè)計[J].南京航空航天大學(xué)學(xué)報，2013，45（2）：232?238.

[16] 周治平，張道文，王杰鋒，等.基于流形結(jié)構(gòu)鄰域選擇的局部投影近鄰傳播算法[J].南京大學(xué)學(xué)報（自然科學(xué)版），2015，51（4）：741?748.