基于OCA客觀聚類的RBF神經(jīng)網(wǎng)絡(luò)的研究

黃 靜，張 江

（浙江理工大學(xué)信息學(xué)院，杭州310018）

基于OCA客觀聚類的RBF神經(jīng)網(wǎng)絡(luò)的研究

黃 靜，張 江

（浙江理工大學(xué)信息學(xué)院，杭州310018）

影響RBF神經(jīng)網(wǎng)絡(luò)性能的關(guān)鍵因素是基函數(shù)中心的選取，而目前尚沒有可靠的方法選取RBF神經(jīng)網(wǎng)絡(luò)的中心。基于GMDH理論的OCA客觀聚類具有能夠自動確定最優(yōu)聚類個數(shù)的優(yōu)點。將OCA聚類應(yīng)用于RBF神經(jīng)網(wǎng)絡(luò)中，用以自適應(yīng)確定隱節(jié)點數(shù)目和各徑向基函數(shù)中心，克服了傳統(tǒng)RBF網(wǎng)絡(luò)不能客觀確定隱節(jié)點數(shù)目的缺點。實驗仿真結(jié)果表明，基于OCA客觀聚類的RBF神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)性、正確率高和訓(xùn)練速度快的優(yōu)點。

RBF神經(jīng)網(wǎng)絡(luò)；OCA客觀聚類；隱節(jié)點數(shù)目；基函數(shù)中心

0 引 言

RBF神經(jīng)網(wǎng)絡(luò)首先由Broomhead和Lowe提出。由于其具有結(jié)構(gòu)簡單、學(xué)習(xí)速度快、能夠逼近任意非線性函數(shù)的優(yōu)點，因此廣泛應(yīng)用于模式識別、非線性函數(shù)逼近等有實時性要求的領(lǐng)域［1］。已有研究表明，影響RBF網(wǎng)絡(luò)性能的關(guān)鍵因素是基函數(shù)中心的選取，而一般RBF網(wǎng)絡(luò)所利用的非線性激活函數(shù)形式對網(wǎng)絡(luò)性能的影響并非至關(guān)重要。目前，確定RBF網(wǎng)絡(luò)中心的方法主要有：隨機選擇法、自組織學(xué)習(xí)法和正交最小二乘法（OLS）等［1-2］。隨機選擇法選擇中心，可能會出現(xiàn)兩個中心非常接近的情況，解線性方程組時出現(xiàn)奇異矩陣，導(dǎo)致解的結(jié)果不可靠。因此，隨機選擇法只適用于給定樣本數(shù)據(jù)具有代表性的問題。通過自組織學(xué)習(xí)進(jìn)行聚類，選取聚類中心作為RBF中心，常用的方法有K-均值聚類、最近鄰聚類和模糊聚類等，但都必須先給出聚類個數(shù)。正交最小二乘（OLS）方法源于線性回歸模型，是一種應(yīng)用較多的方法，但是不能進(jìn)行迭代訓(xùn)練。

烏克蘭科學(xué)院Ivakhnenko A G提出了基于自組織數(shù)據(jù)挖掘思想GMDH（數(shù)據(jù)分組處理方法）的OCA客觀聚類［3］。OCA客觀聚類能夠自適應(yīng)地確定聚類個數(shù)，RBF通過取各類樣本的平均值作為相應(yīng)隱節(jié)點的數(shù)據(jù)中心。因此，基于GMDH的RBF神經(jīng)網(wǎng)絡(luò)不需要給出聚類個數(shù)，并且能夠進(jìn)行迭代訓(xùn)練。本文通過對膨脹土分類實驗的仿真，驗證了基于OCA客觀聚類的RBF神經(jīng)網(wǎng)絡(luò)性能。

1 RBF神經(jīng)網(wǎng)絡(luò)

RBF神經(jīng)網(wǎng)絡(luò)是一種常用的前饋網(wǎng)絡(luò)，擁有很強的非線性擬合能力，可以映射任意復(fù)雜的非線性關(guān)系，而且學(xué)習(xí)速度快，結(jié)構(gòu)簡單。Poggio和Girosi已經(jīng)證明，RBF網(wǎng)絡(luò)是連續(xù)函數(shù)的最佳逼近。RBF網(wǎng)絡(luò)采用局部激勵函數(shù)，很大程度上克服了BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程很長、容易陷入局部極小值的缺點［4］。RBF神經(jīng)網(wǎng)絡(luò)包括三層：輸入層、隱層和輸出層［5］。輸入層由一些感知單元組成，它們將網(wǎng)絡(luò)與外部環(huán)境連接起來。RBF網(wǎng)絡(luò)僅有一個隱層，它執(zhí)行從輸入空間到隱藏空間之間進(jìn)行非線性變換。輸出層是線性的，為作用于輸入層的激活信號提供響應(yīng)。

如圖1所示，輸入層有N個節(jié)點，輸入層節(jié)點個數(shù)等于樣本維數(shù)。隱層有P個節(jié)點，各隱節(jié)點的基函數(shù)的形式為：

圖1 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

基函數(shù)φ為非線性函數(shù)，訓(xùn)練數(shù)據(jù)點Xp是φ的中心?；瘮?shù)以輸入空間的點X與中心Xp的距離作為函數(shù)的自變量，一般選用Gauss函數(shù)：

Y=（y1，y2，…，yl）T為網(wǎng)絡(luò)輸出，采用線性激活函數(shù)。當(dāng)輸入訓(xùn)練集中地某個樣本Xp時，對應(yīng)的期望dp就是教師信號。將訓(xùn)練集樣本逐一輸入，從而確定網(wǎng)絡(luò)隱層到輸出層之間的P個權(quán)值。

2 OCA客觀聚類

基于GMDH理論的OCA客觀聚類具有能夠自動確定聚類個數(shù)的優(yōu)點。已有研究表明，OCA能對模糊對象給出更精確地近似或隨機過程的預(yù)測給出更好的結(jié)果［6］。OCA算法首先計算樣本兩兩之間的距離，構(gòu)成偶極子。將偶極子分成包含相同樣本數(shù)的兩個子集A和B。同樣的方式在剩余樣本中，得到子集C和D，作為檢測集。然后，對子集A和B進(jìn)行聚類，利用一致性準(zhǔn)則得到最優(yōu)方案。如果最優(yōu)方案多于一個，利用檢測集C和D確定唯一的最優(yōu)方案［7-10］。假設(shè)有n個樣本｛x1，x2，…，xn｝，樣本維數(shù)為m，OCA聚類具體步驟如下：

a）構(gòu)造子集A、B、C和D。

b）對子集A和B進(jìn)行聚類。

首先，按先后順序?qū)ψ蛹疉和B中樣本點進(jìn)行編號，如表1所示，每對偶極子所對應(yīng)的子集A和B中兩個樣本點編號相同，即編號都為（1，2，…，p）。把子集A和B中對應(yīng)的每列稱為一類，此時子集A和B中有k=p類。

表1 子集A和B樣本點編號

然后，把子集A和B聚成k-1類。具體方法如下：計算子集A中任意兩個編號樣本之間的距離，將距離最小的兩個編號歸為一類（這兩列將擁有兩個相同的編號），假設(shè)編號1和編號2距離最小，如表2所示。

表2 編號1，2歸為一類

同樣的方法，將子集B聚成k-1類。將子集A和B中對應(yīng)每列進(jìn)行比較，相同列的數(shù)目記為Δp。使用一致性準(zhǔn)則：ε1=（p-Δp）/p，求出ε1的值。特別指出，若類中不止一個樣本點，其它類中任意一個樣本點只要和該類中其中一個樣本點的距離最小，便認(rèn)為這兩個類距離最小。重復(fù)上述步驟，把子集A和B聚成k-2類，k-3類，……，2類，計算相應(yīng)的εi值。

統(tǒng)計k-1，k-2，…，2類中ε=0的類數(shù)目，記為count，它們成為最優(yōu)聚類方案的候選方案。顯然當(dāng)count=1時，唯一的候選方案即為最優(yōu)聚類方案。當(dāng)count＞1時，就要用到檢測集C和D了。

c）對子檢測集C和D進(jìn)行聚類。

聚類過程同步驟b）一樣?？疾觳襟Eb）的幾種候選方案，看哪種方案的ε在檢測集C和D上最小。這個唯一的聚類方案，便是要找的最優(yōu)聚類方案。

從上述過程可以看出，OCA客觀聚類能夠客觀地確定聚類個數(shù)，得出最優(yōu)方案，而不需要有先驗知識。

3 基于OCA客觀聚類的RBF神經(jīng)網(wǎng)絡(luò)

由于OCA聚類能夠客觀正確地對樣本進(jìn)行聚類，從而獲取最佳基函數(shù)數(shù)據(jù)中心。采用OCA聚類的RBF神經(jīng)網(wǎng)絡(luò)實現(xiàn)步驟如下：

a）確定RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本、測試樣本、輸出層節(jié)點數(shù)目。樣本的維數(shù)作為輸入層節(jié)點數(shù)目；

b）用OCA聚類方法對訓(xùn)練樣本進(jìn)行聚類，得出分類個數(shù)，作為隱節(jié)點數(shù)目；

c）分別計算每類的數(shù)據(jù)中心，即平均值，作為相應(yīng)隱節(jié)點的基函數(shù)數(shù)據(jù)中心；

d）利用訓(xùn)練樣本訓(xùn)練隱層到輸出層的權(quán)值；

e）利用測試樣本對網(wǎng)絡(luò)進(jìn)行測試。

進(jìn)行工程建設(shè)，首先必須正確區(qū)分膨脹土的脹縮等級。膨脹土的脹縮等級分為強、中、弱。影響因素有五項：黏粒含量、粉粒含量、液限、塑限和縮性指數(shù)。BP網(wǎng)絡(luò)可以解決該問題，然而它存在內(nèi)部結(jié)構(gòu)黑箱化、收斂速度慢等缺點。下面使用基于OCA客觀聚類的RBF神經(jīng)網(wǎng)絡(luò)解決該問題。

采集了23個安康脹土樣本［11］，其中訓(xùn)練樣本14個（如表3所示），測試樣本9個（如表4所示）。

表3 訓(xùn)練樣本

表4 測試樣本

第一步：確定樣本輸入層節(jié)點數(shù)目為樣本維數(shù)5。輸出層節(jié)點數(shù)目為1，有3個取值：‘0’‘0.5’‘1’，分別代表弱、中、強。其中0.3以下表示‘弱’，0.3～0.7表示‘中’，0.7以上表示‘強’。

第二步：對所有樣本進(jìn)行歸一化處理。令

其中，Qi表示樣本第i維分量，Qmin和Qmax分別表示樣本第i維分量的最小值和最大值。取a=0.9，b=（1-a）/2=0.05。歸一化后，保留兩位小數(shù)。

第三步：對歸一化后的訓(xùn)練樣本用OCA算法進(jìn)行聚類。構(gòu)造偶極子如表5所示。

表5 初始偶極子

由表5可以看出，序號為6的偶極子兩樣本之間的距離明顯大于其它偶極子之間的距離，將其舍去，使其不參與下一步的聚類。

子集A和B聚類后的準(zhǔn)則值為：

5類時：ε=0.667；

4類時：ε=0；

3類時：ε=1；

2類時：ε=0。

檢測集C和D聚類后準(zhǔn)則值為：

5類時：ε=0.667；

4類時：ε=0.833；

3類時：ε=1；

2類時：ε=1。

在聚成4類和2類時，比較子集C和D上的準(zhǔn)則值，取較小的準(zhǔn)則值所對應(yīng)的類數(shù)。故最優(yōu)方案為：分成4類，聚類結(jié)果，如下：

第一類：1 6 7 13；

第二類：0 5 8 9；

第三類：4 11；

第四類：2 12。

故RBF的隱節(jié)點數(shù)目自動確定為4?？梢钥闯?，最優(yōu)分類方案結(jié)果中沒有錯誤的分類，即每一類都代表一個等級。計算最優(yōu)聚類方案中各類的平均值，將各類的平均值作為RBF基函數(shù)的數(shù)據(jù)中心。然后利用Gauss函數(shù)計算隱層各節(jié)點輸出。

第四步：使用遞推最小二乘訓(xùn)練隱層到輸出層的權(quán)值。誤差限設(shè)為0.2，即當(dāng)誤差小于0.2時，訓(xùn)練結(jié)束。訓(xùn)練20次，平均訓(xùn)練次數(shù)為27，而使用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練次數(shù)要幾百甚至上千次。

使用訓(xùn)練好的網(wǎng)絡(luò)對測試樣本分類的結(jié)果如表6所示。

表6 測試樣本分類結(jié)果

從上述可以看出，預(yù)測結(jié)果完全正確?；贠CA客觀聚類的RBF神經(jīng)網(wǎng)絡(luò)不僅能夠自適應(yīng)客觀地獲取最佳基函數(shù)中心，并且訓(xùn)練速度快，正確率高。

4 結(jié) 論

本文針對影響RBF神經(jīng)網(wǎng)絡(luò)性能的關(guān)鍵因素是基函數(shù)中心的選取的研究，分析了當(dāng)前基函數(shù)中心選取的各種方法的優(yōu)缺點。由于OCA客觀聚類具有自適應(yīng)確定最優(yōu)聚類個數(shù)的優(yōu)點，通過分析RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，將OCA聚類應(yīng)用于RBF神經(jīng)網(wǎng)絡(luò)中，用于自適應(yīng)確定隱節(jié)點數(shù)目和基函數(shù)數(shù)據(jù)中心，克服了傳統(tǒng)RBF神經(jīng)網(wǎng)絡(luò)不能客觀確定隱節(jié)點中心的缺點。最后，本文通過膨脹土分類問題驗證了該算法的性能，仿真結(jié)果表明了基于OCA客觀聚類的RBF神經(jīng)網(wǎng)絡(luò)不僅具有自適應(yīng)性，而且擁有訓(xùn)練速度快和正確高的優(yōu)點。鑒于這些優(yōu)點，基于OCA聚類的RBF神經(jīng)網(wǎng)絡(luò)在模式識別、數(shù)據(jù)挖掘和自動控制等領(lǐng)域必將有廣闊的應(yīng)用前景。

［1］施 彥，韓立群，廉小親.神經(jīng)網(wǎng)絡(luò)設(shè)計方法與實例分析［M］.北京：北京郵電大學(xué)出版社，2009：83-85.

［2］趙清林，郭艷兵，梅 強，等.確定RBF神經(jīng)網(wǎng)絡(luò)中心點的方法綜述［J］.廣東自動化信息工程，2002（2）：13-15，27.

［3］Ivakhnenko A G，Mueller J A.Parametric and nonparametric selection procedures in experimental systems analysis［J］.Systems Analysis Modelling Simulation，1992，9（5）：157-175.

［4］劉 永，張立毅.BP和RBF神經(jīng)網(wǎng)絡(luò)的實現(xiàn)及其性能比較［J］.電子測量技術(shù)，2007，30（4）：77-80.

［5］Haykin.神經(jīng)網(wǎng)絡(luò)原理［M］.葉世偉等，譯.北京：機械工業(yè)出版社，2004：256.

［6］He CZ，Xu X Z.Combination of forecasts using self-organizing algorithms［J］.Journal of Forecasting，2005，24（4）：269-278.

［7］Ivakhnenko A G，Petukhova S A，Yudin V M.Objective selection of optimal clusterization of a data sample during compensation of non-robust random interference［J］.Journal of Automation and Information Sciences，1993，26（3）：45-56.

［8］趙珩君.基于OCA的客戶細(xì)分研究［J］.情報雜志，2009（1）：8-10.

［9］賀昌政.自組織數(shù)據(jù)挖掘與經(jīng)濟預(yù)警［M］.北京：科學(xué)出版社，2005：52-79.

［10］賀昌政，張九龍，林 嬪.基于數(shù)據(jù)分組處理方法的聚類分析模型［J］.系統(tǒng)工程學(xué)報，2008，23（2）：222-237.

［11］呂海波，寧世朝，趙艷林，等.SOFM神經(jīng)網(wǎng)絡(luò)在膨脹土分類中的應(yīng)用［J］.土工基礎(chǔ)，2006，20（4）：90-93.

Research on RBF Neural Network Based on OCA Objective Clustering

HUANG Jing，ZHANGJiang
（The School of Information Science and Technology，Zhejiang Sci-Tech University，Hangzhou 310018，China）

The key factor influencing RBF neural network performance is the selection of basis function center.Currently，there is no reliable method for selecting the center of RBF neural network.OCA objective clustering based on GMDH theory has the advantage of automatically determining the optimal clustering number.This research overcomes the disadvantage of traditional RBF network that it cannot objectively determine the number of hidden nodes by using OCA clustering in RBF neural network to determine the number of hidden nodes and the center of each radial basis function.The result of experimental simulation shows that RBF neural network based on OCA objective clustering has such advantages as adaptivity，high accuracy and fast training speed.

RBF neural network；OCA objective clustering；number of hidden nodes；basis function center

TP183

A

（責(zé)任編輯：陳和榜）

1673-3851（2014）01-0071-04

2013-09-12

浙江省自然科學(xué)基金資助項目（LY12F03012）

黃 靜（1965-），女，杭州人，教授，博士，主要從事圖像處理方面的研究。

張 江，E-mail：462098626@qq.com