權(quán)值與結(jié)構(gòu)雙確定法的RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)器

2014-10-28 19:15張雨濃王茹廖柏林劉錦榮林鍵煜

計(jì)算技術(shù)與自動(dòng)化 2014年3期

張雨濃+王茹+廖柏林+劉錦榮+林鍵煜

收稿日期：2013-07-07

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（61075121和60935001）；教育部高等學(xué)校博士學(xué)科點(diǎn)專(zhuān)項(xiàng)科研基金博導(dǎo)類(lèi)課題（20100171110045）

作者簡(jiǎn)介：張雨濃（1973—），男，河南信陽(yáng)人，教授、博導(dǎo)，研究方向：神經(jīng)網(wǎng)絡(luò)、科學(xué)計(jì)算與優(yōu)化、機(jī)器人。

通訊聯(lián)系人，E-mail：zhynong@mail.sysu.edu.cn

文章編號(hào)：1003-6199（2014）03-0001-07

摘要：為了解決徑向基函數(shù)（RBF）神經(jīng)網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)難以確定的問(wèn)題，基于權(quán)值直接確定法，及隱層神經(jīng)元中心、方差、數(shù)目與神經(jīng)網(wǎng)絡(luò)性能的關(guān)系，提出一種邊增邊刪型的網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)雙確定法。在此方法基礎(chǔ)之上，構(gòu)建一種RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)器并探討其分類(lèi)性能和抗噪能力。計(jì)算機(jī)數(shù)值實(shí)驗(yàn)結(jié)果驗(yàn)證所提出的邊增邊刪型的權(quán)值與結(jié)構(gòu)雙確定法能夠快速、有效地確定網(wǎng)絡(luò)的中心、方差和網(wǎng)絡(luò)最優(yōu)的權(quán)值與結(jié)構(gòu)，所構(gòu)造的模式分類(lèi)器具有優(yōu)越的分類(lèi)性能和抗噪能力。

關(guān)鍵詞：RBF神經(jīng)網(wǎng)絡(luò)；模式分類(lèi)器；邊增邊刪型；權(quán)值與結(jié)構(gòu)雙確定法；抗噪性

中圖分類(lèi)號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A

RBF Neural Network Classifier with Weights and

Structure Determination Method

ZHANG Yu-nong1，WANG Ru1，LIAO Bo-lin1，2，LIU Jin-rong1，LIN Jian-yu1

（1. School of Information Science and Technology， Sun Yat-sen University， Guangzhou，Guangdong 510006， China；

2. School of Information Science and Engineering， Jishou University， Jishou，Hunan 416000， China）

Abstract：In order to solve the difficulties in determining the weights and structure of the radial basis function （RBF） neural network. Based on the weights-direct-determination （WDD） method and the relationship among centers， variances， the number of hidden-layer neurons and the performance of the neural network， a pruning-while-growing-type weights-and-structure-determination （PWGT-WASD） algorithm is proposed. On the basis of the PWGT-WASD algorithm， a kind of RBF neural network classifier is constructed， and its classifying and antinoise ability is further discussed in this paper. Computer numerical experiment results substantiate that the proposed PWGT-WASD algorithm can determine the centers，the variances and the optimal weights and structure of RBF neural network quickly and effectively. The constructed RBF pattern classifier has the superiority in terms of classification and antinoise ability.

Key words：RBF neural network； pattern classifier； pruning-while-growing-type； weights-and-structure-determination algorithm； antinoise ability

1 引言

RBF神經(jīng)網(wǎng)絡(luò)（Radial Basis Function Neural Network）是一種單隱層前向神經(jīng)網(wǎng)絡(luò)模型；因其具有簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)、良好的逼近能力和泛化能力的優(yōu)點(diǎn)[1]，在數(shù)據(jù)逼近[2]、工業(yè)控制[3]、模式識(shí)別[4]等領(lǐng)域有著廣泛的應(yīng)用。

決定RBF神經(jīng)網(wǎng)絡(luò)性能的主要因素有四個(gè)：徑向基函數(shù)（RBF）的中心、方差、隱層到輸出層之間的連接權(quán)值以及隱層神經(jīng)元數(shù)目[5，6]。若隱層神經(jīng)元的中心或方差選取不當(dāng)，會(huì)造成網(wǎng)絡(luò)的學(xué)習(xí)誤差過(guò)大，使得網(wǎng)絡(luò)的性能下降；神經(jīng)網(wǎng)絡(luò)隱層到輸出層之間的連接權(quán)值的計(jì)算也對(duì)網(wǎng)絡(luò)的性能有較大的影響；隱層神經(jīng)元數(shù)目同樣可影響網(wǎng)絡(luò)的性能：數(shù)目太少，會(huì)使網(wǎng)絡(luò)學(xué)習(xí)與逼近能力不足，而數(shù)目太多，則會(huì)使神經(jīng)網(wǎng)絡(luò)反應(yīng)速度降低，甚至產(chǎn)生過(guò)擬合現(xiàn)象[7，8]。因此一般而言，RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練過(guò)程主要圍繞這四個(gè)因素進(jìn)行。關(guān)于這些參數(shù)的確定方法，筆者曾在文獻(xiàn)[9]中提出了正規(guī)化網(wǎng)絡(luò)的方法。此外，其他學(xué)者也提出了與遺傳算法[10]、蟻群算法[11]相關(guān)的確定方法。

針對(duì)RBF神經(jīng)網(wǎng)絡(luò)的隱層神經(jīng)元中心、方差以及網(wǎng)絡(luò)權(quán)值和拓?fù)浣Y(jié)構(gòu)難以確定的問(wèn)題，本文提出了一種邊增邊刪型的權(quán)值與結(jié)構(gòu)雙確定法。與傳統(tǒng)的迭代學(xué)習(xí)方法不同，邊增邊刪型的權(quán)值與結(jié)構(gòu)雙確定法避免了冗長(zhǎng)的迭代學(xué)習(xí)過(guò)程；同時(shí)也進(jìn)一步克服了傳統(tǒng)方法中網(wǎng)絡(luò)最優(yōu)拓?fù)浣Y(jié)構(gòu)難以確定的缺點(diǎn)。與遺傳算法、蟻群算法等方法相比，該方法有著直接、快速的優(yōu)點(diǎn)。計(jì)算機(jī)數(shù)值實(shí)驗(yàn)結(jié)果驗(yàn)證了基于所提出的權(quán)值與結(jié)構(gòu)雙確定法構(gòu)造的RBF模式分類(lèi)器的有效性。

值得指出的是，在圖像處理[12，13]、語(yǔ)音識(shí)別[14]、工業(yè)控制等[15]實(shí)際應(yīng)用過(guò)程中，數(shù)據(jù)在采集、傳輸和轉(zhuǎn)換時(shí)常常由于外部環(huán)境的干擾而產(chǎn)生噪聲，對(duì)信號(hào)處理或控制效果產(chǎn)生很大的影響。顯然，噪聲是不可避免的，消除噪聲影響，減少誤判，在實(shí)際工程中具有十分重要的意義。因此本文進(jìn)一步探討了所構(gòu)建網(wǎng)絡(luò)的抗噪性能并在數(shù)值實(shí)驗(yàn)中進(jìn)行了驗(yàn)證。

2 RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)器

RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)器模型由輸入層、隱層和輸出層組成，其結(jié)構(gòu)如圖1所示。輸入層獲得輸入數(shù)據(jù)并將其傳遞到隱層，隱層神經(jīng)元使用的激勵(lì)函數(shù)為徑向基函數(shù)，輸出層神經(jīng)元的輸出結(jié)果為隱層神經(jīng)元輸出的加權(quán)求和。

假設(shè)輸入層有M個(gè)神經(jīng)元，則輸入向量為x=[x1，x2，…，xm，…，xM]T，其中上標(biāo)T表示矩陣或向量的轉(zhuǎn)置；輸出層神經(jīng)元數(shù)目為K，輸出向量為y=[y1，y2，…，yk，…，yK]T。輸入層和輸出層的激勵(lì)函數(shù)均采用線性恒等函數(shù)，輸入層和輸出層的所有神經(jīng)元的閾值均設(shè)為0。隱層神經(jīng)元數(shù)目設(shè)為N，其徑向基函數(shù)使用最常用的高斯函數(shù)，則第n個(gè)隱層神經(jīng)元的激勵(lì)函數(shù)可表示為[1]：

rn（x）=exp-‖x-μn‖222σ2n，x，μn∈RM，σn>0，（1）

其中‖·‖2表示向量的二范數(shù)；μn（n=1，2，…，N）代表高斯徑向基函數(shù)的中心，與神經(jīng)網(wǎng)絡(luò)輸入x具有相同維數(shù)；σn表示高斯激勵(lì)函數(shù)的方差，它決定了該函數(shù)圍繞中心點(diǎn)的寬度。輸入層與隱層神經(jīng)元之間的連接權(quán)值均設(shè)為1，隱層與輸出層神經(jīng)元的連接權(quán)值為：

W=w11w12…w1K

w21w22…w2K

wN1wN2…wNK（2）

則網(wǎng)絡(luò)輸出層第k個(gè)神經(jīng)元的輸出為

yk=∑Nn=1wnkrn（x）=

∑Nn=1wnkexp-‖x-μn‖22σ2n（3）

為了便于下文的討論，這里先介紹分類(lèi)器的輸入和輸出模式。設(shè)樣本集中第j個(gè)樣本的格式為（xj，oj），其中xj表示該樣本的屬性向量（即，網(wǎng)絡(luò)的輸入向量）；oj=[φ1，φ2，…，φk，…，φK]T表示該樣本的類(lèi)型向量（即，輸入為xj時(shí)網(wǎng)絡(luò)的期望輸出向量），當(dāng)樣本屬于第k′類(lèi)時(shí)，φk滿(mǎn)足如下關(guān)系：

φk=1， k=k′

0， k≠k′，k=1，2，…，K（4）

3 權(quán)值與結(jié)構(gòu)雙確定法

本節(jié)首先以RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)器模型為基礎(chǔ)，展示了獲得網(wǎng)絡(luò)隱層和輸出層間權(quán)值的權(quán)值直接確定法，然后結(jié)合權(quán)值直接確定法，給出邊增邊刪型的網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)雙確定法。

3.1 權(quán)值直接確定法

對(duì)于RBF神經(jīng)網(wǎng)絡(luò)的隱層和輸出層之間的連接權(quán)值，傳統(tǒng)的做法是基于負(fù)梯度思想，通過(guò)迭代學(xué)習(xí)而得到。但是使用迭代的方法來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)存在迭代過(guò)程冗長(zhǎng)費(fèi)時(shí)的問(wèn)題[9]。本文采用基于偽逆（或稱(chēng)為加號(hào)逆）的權(quán)值直接確定法，可直接得到隱層和輸出層神經(jīng)元之間的最優(yōu)連接權(quán)值，權(quán)值直接確定法的計(jì)算公式由定理1給出。

給出定理前，首先設(shè)訓(xùn)練的樣本數(shù)量為S，則訓(xùn)練樣本集的輸入矩陣為XL=[x1，x2，…，xs，…，xS]∈RM×S，訓(xùn)練樣本集的期望輸出矩陣為ΓL=[o1，o2，…，os，…，oS]∈RK×S。

定理1[16-18]如圖1所示的三層前向神經(jīng)網(wǎng)絡(luò)隱層與輸出層間的最優(yōu)連接權(quán)值可直接確定為

W=（QTQ）-1QTΓTL，（5）

其中，（QTQ）-1QT為矩陣Q的偽逆，記為Q+；故（5）式也可表達(dá)為：

W=Q+ΓTL （6）

上述公式中，輸入激勵(lì)矩陣Q表示為：

Q=r11r12…r1N

r21r22…r2N

rS1rS2…rSN∈RS×N，（7）

其中

rsn=exp-‖x-μn‖22σ2n

=exp-12σ2n∑Mm=1（xsn-μsn）2，（8）

表示第n個(gè)隱層神經(jīng)元受第s個(gè)樣本激勵(lì)的響應(yīng)值。

不失一般性，我們定義網(wǎng)絡(luò)的平均輸出誤差為：

E=‖Γ-Y‖2F/（D×K），（9）

其中，Γ表示網(wǎng)絡(luò)期望輸出矩陣，Y表示網(wǎng)絡(luò)實(shí)際輸出矩陣，D表示樣本數(shù)，‖·‖F(xiàn)表示矩陣的F范數(shù)（也即，F(xiàn)robenius范數(shù)）。

3.2 邊增邊刪型的權(quán)值與結(jié)構(gòu)雙確定法

在利用權(quán)值與結(jié)構(gòu)雙確定法確定網(wǎng)絡(luò)的權(quán)值與結(jié)構(gòu)時(shí)，我們把數(shù)據(jù)樣本分為3個(gè)子集：訓(xùn)練數(shù)據(jù)集、校正數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。其中訓(xùn)練數(shù)據(jù)集用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，校正數(shù)據(jù)集用于檢驗(yàn)在權(quán)值確定過(guò)程中神經(jīng)網(wǎng)絡(luò)的輸出與期望輸出的誤差（即，校正誤差），測(cè)試數(shù)據(jù)集用于測(cè)試訓(xùn)練好的網(wǎng)絡(luò)分類(lèi)器的性能。

為了清晰地描述權(quán)值與結(jié)構(gòu)雙確定法，我們給出了算法的基本步驟。首先對(duì)其中涉及的變量作如下說(shuō)明：

Emin：最小的網(wǎng)絡(luò)平均校正誤差；

Ecur：當(dāng)前的網(wǎng)絡(luò)平均校正誤差；

i：當(dāng)前隱層神經(jīng)元數(shù)目；

h：最優(yōu)隱層神經(jīng)元數(shù)；

f：向前搜索的神經(jīng)元數(shù)量；

c：計(jì)數(shù)器，初值為0。

權(quán)值與結(jié)構(gòu)雙確定法包括以下七個(gè)步驟。

step 1初始化各參數(shù)，其中Emin和Ecur均設(shè)為1000，i和h的初始值均設(shè)為2，徑向基函數(shù)中心分別選為第一個(gè)訓(xùn)練樣本輸入x1和最后一個(gè)訓(xùn)練樣本輸入xS，方差σ1=σ2=‖x1-xS‖/2，f設(shè)為大于10%訓(xùn)練樣本數(shù)量的最小整數(shù)。

step 2判斷條件c

step 3根據(jù)訓(xùn)練樣本，利用權(quán)值直接確定法，即公式（6），計(jì)算神經(jīng)網(wǎng)絡(luò)的隱層和輸出層之間的最優(yōu)連接權(quán)值W。

step 4利用校正樣本，計(jì)算網(wǎng)絡(luò)的校正誤差Ecur，判斷Ecur

Emin←Ecur，

h←i，

c←0；

否則執(zhí)行如下操作：

刪除新加入的神經(jīng)元，

i←i-1，

c←c+1。

step 5 若所有的訓(xùn)練樣本輸入都曾被用于作為神經(jīng)元中心，則跳至step 6。否則，增加一個(gè)新的神經(jīng)元，即i←i+1，其中心在訓(xùn)練樣本輸入中均勻選取，方差使用公式σ=σ1=σ2=…=σn=Lmax /2i確定[5]，Lmax 表示各中心之間的最大距離（即各中心向量間的最大范數(shù)距離）；返回step 2。

step 6RBF神經(jīng)網(wǎng)絡(luò)在經(jīng)過(guò)訓(xùn)練后，隱神經(jīng)元中心，方差，網(wǎng)絡(luò)結(jié)構(gòu)以及隱層和輸出層之間的連接權(quán)值W都被確定?？捎?jì)算得到測(cè)試樣本輸入向量xt對(duì)應(yīng)的網(wǎng)絡(luò)輸出yt，然后對(duì)yt進(jìn)行分類(lèi)處理：若ytk=max{yt1，yt2，…，ytK}，則取ytk=1，否則，取ytk=0。

step 7判斷分類(lèi)處理后的向量所屬的類(lèi)別。當(dāng)處理后輸出向量為yt=[1，0，…，0]，則屬于第一類(lèi)；當(dāng)處理后輸出向量為yt=[0，1，…，0]，則屬于第二類(lèi)，以此類(lèi)推。

4 計(jì)算機(jī)數(shù)值實(shí)驗(yàn)

為了驗(yàn)證所構(gòu)建的RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)器的有效性以及抗噪能力，選取了四個(gè)UCI分類(lèi)樣本數(shù)據(jù)集[19]進(jìn)行實(shí)驗(yàn)：1） Iris；2） Wine；3） Ionosphere；4） Cancer。此外，為進(jìn)一步展現(xiàn)本文所提出的邊增邊刪型權(quán)值與結(jié)構(gòu)雙確定算法的優(yōu)越性，實(shí)驗(yàn)中對(duì)比了本文的方法與文獻(xiàn)[9]中算法構(gòu)建的RBF神經(jīng)網(wǎng)絡(luò)的性能。

各實(shí)驗(yàn)數(shù)據(jù)集的參數(shù)如表1所示，這些標(biāo)準(zhǔn)樣本來(lái)均自UCI網(wǎng)站，用于檢驗(yàn)分類(lèi)器的分類(lèi)性能和抗噪能力。數(shù)值實(shí)驗(yàn)的硬件配置為Intel（R） Core （TM）2 CPU T6600 （主頻2.20GHz）和2GB內(nèi)存。

4.1 分類(lèi)器的分類(lèi)性能

本節(jié)通過(guò)數(shù)值實(shí)驗(yàn)驗(yàn)證所提出的RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)器在模式識(shí)別中的分類(lèi)性能。首先，我們將各個(gè)數(shù)據(jù)集按照表1所示分成訓(xùn)練樣本集、校正樣本集和測(cè)試樣本集，其中訓(xùn)練樣本數(shù)目占總樣本數(shù)目的45%～50%，校正樣本數(shù)目占10%～15%，測(cè)試樣本數(shù)目占36%～42%。作為對(duì)比，我們分別使用兩種方法（即，本文探討的邊增邊刪型權(quán)值與結(jié)構(gòu)雙確定法與文獻(xiàn)[9]提出的算法）對(duì)RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到的實(shí)驗(yàn)結(jié)果分別如表2和表3所示，其中，表2的訓(xùn)練誤差以及校正誤差均由式（9）計(jì)算得到。

由表2的實(shí)驗(yàn)結(jié)果可以看出，經(jīng)過(guò)邊增邊刪型的網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)雙確定法訓(xùn)練的網(wǎng)絡(luò)分類(lèi)器的隱層神經(jīng)元數(shù)目較少；四個(gè)樣本集的測(cè)試正確率均在90%以上；且神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間較短。作為對(duì)比，表3的數(shù)據(jù)進(jìn)一步反映出本文算法的優(yōu)越性。具體而言，在測(cè)試正確率方面，對(duì)于Iris和Ionosphere兩個(gè)數(shù)據(jù)集，文獻(xiàn)[9]的算法略?xún)?yōu)于本文算法，而對(duì)于Wine和Cancer兩個(gè)數(shù)據(jù)集，本文算法則優(yōu)于文獻(xiàn)[9]的算法，所以就測(cè)試正確率方面，兩者均能展現(xiàn)出很好的效果。但是，就隱層神經(jīng)元數(shù)目而言，本文算法確定的分類(lèi)器遠(yuǎn)小于文獻(xiàn)[9]的算法確定的分類(lèi)器，后者甚至最大達(dá)到前者的23倍（Cancer數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果）。這種隱層神經(jīng)元數(shù)目的減少帶來(lái)了神經(jīng)網(wǎng)絡(luò)反應(yīng)速度的提升，特別是在對(duì)學(xué)習(xí)樣本數(shù)量較大的Ionosphere和Cancer數(shù)據(jù)集進(jìn)行分類(lèi)時(shí)，本文算法比文獻(xiàn)[9]算法提升了分別約4倍和7倍的測(cè)試速度。另外，隱層神經(jīng)元數(shù)目的減少能夠減輕、甚至避免神經(jīng)網(wǎng)絡(luò)過(guò)擬合的問(wèn)題，提高分類(lèi)器的抗噪能力。這一點(diǎn)可以從下一小節(jié)抗噪性能的實(shí)驗(yàn)對(duì)比中看到。

另外，為了更清晰地展示在結(jié)構(gòu)自確定的邊增邊刪階段神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力的變化，圖2分別展示了4個(gè)數(shù)據(jù)集平均輸出誤差隨隱層神經(jīng)元數(shù)的變化曲線?？梢钥吹剑谶呍鲞厔h階段，學(xué)習(xí)樣本誤差和校正樣本誤差整體呈下降趨勢(shì)。上面的數(shù)據(jù)和分析表明，該方法能夠快速且準(zhǔn)確地確定出最優(yōu)的網(wǎng)絡(luò)權(quán)值和結(jié)構(gòu)（即，最優(yōu)的隱層神經(jīng)元數(shù)），使得該RBF網(wǎng)絡(luò)在模式分類(lèi)上具有較好的分類(lèi)性能。

4.2 分類(lèi)器的抗噪性能

為了檢驗(yàn)所構(gòu)造的神經(jīng)網(wǎng)絡(luò)分類(lèi)器的抗噪性能，在輸入的樣本上疊加隨機(jī)噪聲。噪聲由均值為0、服從均勻分布的隨機(jī)數(shù)來(lái)產(chǎn)生。其幅度區(qū)間為

-Pnoise×（max （X（p，：））-min（X（p，：））），

Pnoise×（max （X（p，：））-min（X（p，：））），

其中Pnoise為噪聲大小百分比，即噪聲最大幅值占輸入的屬性參數(shù)中的最大最小值之差的百分比，X（p，：）表示樣本輸入部分矩陣中的第p行，即所有樣本第p個(gè)屬性輸入組成的向量。

選取前兩個(gè)樣本數(shù)據(jù)集（Iris和Wine）進(jìn)行如下實(shí)驗(yàn)：1）在原始標(biāo)準(zhǔn)樣本數(shù)據(jù)集的訓(xùn)練和校正樣本中，加入噪聲大小百分比為10%、20%、30%、40%和50%的隨機(jī)均勻噪聲，所得數(shù)據(jù)作為擴(kuò)充樣本數(shù)據(jù)集；2）使用標(biāo)準(zhǔn)以及擴(kuò)充樣本數(shù)據(jù)集，通過(guò)邊增邊刪型的網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)雙確定法分別構(gòu)建出兩個(gè)不同的RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)器；3）對(duì)測(cè)試數(shù)據(jù)加入10%、20%、30%、40%和50%的隨機(jī)均勻噪聲后，利用以上所確定的兩個(gè)神經(jīng)網(wǎng)絡(luò)分類(lèi)器進(jìn)行分類(lèi)；4）重復(fù)過(guò)程3，記錄在100次實(shí)驗(yàn)中測(cè)試正確率的最大值、最小值以及平均值，實(shí)驗(yàn)結(jié)果如表4和表5所示。

從表4和表5中可以看出，當(dāng)使用標(biāo)準(zhǔn)樣本集進(jìn)行訓(xùn)練時(shí)，在測(cè)試噪聲大小百分比為20%時(shí)，本文提出的RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)器有接近90%甚至90%以上的平均正確率。當(dāng)使用擴(kuò)充樣本集進(jìn)行訓(xùn)練時(shí)，在測(cè)試噪聲大小百分比為30%時(shí)，本文提出的分類(lèi)器也仍有接近90%甚至90%以上的平均正確率；即使在噪聲大小百分比達(dá)到50%的時(shí)候，本文分類(lèi)器平均分類(lèi)正確率仍可達(dá)75%甚至80%。對(duì)比兩個(gè)表格中的本文分類(lèi)器對(duì)標(biāo)準(zhǔn)樣本集和擴(kuò)充樣本集的平均分類(lèi)正確率，可看出后者要比前者高2%～10%。因此可得出，當(dāng)使用無(wú)噪訓(xùn)練數(shù)據(jù)集時(shí)，本文提出的RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)器已具有較好的抗噪性；當(dāng)使用帶噪訓(xùn)練數(shù)據(jù)集時(shí)，本文提出的分類(lèi)器的抗噪性能更強(qiáng)。

作為對(duì)比，表中還展示了文獻(xiàn)[9]算法構(gòu)建的分類(lèi)器對(duì)帶噪數(shù)據(jù)集的分類(lèi)結(jié)果。可以看出本文算法所構(gòu)造的分類(lèi)器在不同噪聲大小百分比的情況下分類(lèi)正確率均有明顯提高，其抗噪性能更強(qiáng)。具體而言，對(duì)于Iris數(shù)據(jù)集，正確率提高了2%～5%；而對(duì)于Wine數(shù)據(jù)集，正確率的提高更為明顯，達(dá)到了10%左右。這正是由于隱層神經(jīng)元數(shù)目的減少，較好地避免了神經(jīng)網(wǎng)絡(luò)的過(guò)擬合，從而使得分類(lèi)器的抗噪性能得到了明顯的提升。

從以上的分析可以看出，在幅度較大的隨機(jī)噪聲的干擾下，基于本文的邊增邊刪型神經(jīng)網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)雙確定法所構(gòu)建的RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)器具有良好的抗噪性，可在惡劣的條件中使用。同時(shí)，與用標(biāo)準(zhǔn)樣本數(shù)據(jù)集進(jìn)行訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)分類(lèi)器相比，擴(kuò)充樣本數(shù)據(jù)集訓(xùn)練得到的分類(lèi)器的抗噪性有一定提高，而現(xiàn)實(shí)應(yīng)用中，由于使用環(huán)境或條件多變，訓(xùn)練與測(cè)試數(shù)據(jù)都有可能帶噪，因此這表明配備有本文所提出的邊增邊刪型的權(quán)值與結(jié)構(gòu)雙確定法的RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)器可很好地應(yīng)用于實(shí)際中。

5 結(jié) 論

針對(duì)RBF神經(jīng)網(wǎng)絡(luò)權(quán)值和結(jié)構(gòu)難以確定的問(wèn)題，本文設(shè)計(jì)并提出了一種邊增邊刪型的網(wǎng)絡(luò)權(quán)值與結(jié)構(gòu)雙確定法，可用于確定RBF神經(jīng)網(wǎng)絡(luò)的隱層神經(jīng)元的中心、方差、數(shù)目以及隱層與輸出層間的最優(yōu)連接權(quán)值。進(jìn)一步為了驗(yàn)證網(wǎng)絡(luò)的分類(lèi)能力以及抗噪性，本文選取不同的分類(lèi)數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練與測(cè)試。計(jì)算機(jī)數(shù)值實(shí)驗(yàn)結(jié)果表明所提出的方法能快速、有效地確定RBF神經(jīng)網(wǎng)絡(luò)的最優(yōu)權(quán)值與最優(yōu)結(jié)構(gòu)，所得到的RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)器有著較高的分類(lèi)正確率，同時(shí)，抗噪實(shí)驗(yàn)表明其有良好的抗噪性能以及很高的實(shí)際應(yīng)用性。

表4 使用加性隨機(jī)噪聲的Iris數(shù)據(jù)集的100次測(cè)試分類(lèi)正確率

表5 使用加性隨機(jī)噪聲的Wine數(shù)據(jù)集的100次測(cè)試分類(lèi)正確率

參考文獻(xiàn)

[1] Satich Kumar. Neural Networks[M]. Beijing： Tsinghua University Press， 2006.

[2] 智會(huì)強(qiáng)，牛坤，田亮，等. BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)在函數(shù)逼近領(lǐng)域內(nèi)的比較研究[J]. 科技通報(bào). 2005， 21（3）： 193-197.

[3] 宋保強(qiáng)，付瓊，宋彤. 改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)及其應(yīng)用[J]. 計(jì)算技術(shù)與自動(dòng)化， 2001， 20（3）： 66-69.

[4] 張秀玲，李海濱. 基于RBF神經(jīng)網(wǎng)絡(luò)的數(shù)字模式識(shí)別方法[J]. 模式識(shí)別與人工智能， 2002， 15（1）： 93-97.

[5] 姜顯揚(yáng). 基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的混沌控制方法[D]. 鄭州：鄭州大學(xué)， 2004.

[6] 黨開(kāi)放，楊利彪，林廷圻. 一種新型的廣義RBF神經(jīng)網(wǎng)絡(luò)及其訓(xùn)練方法[J]. 計(jì)算技術(shù)與自動(dòng)化， 2007， 26（1）： 9-13.

[7] 張雨濃. 人工神經(jīng)網(wǎng)絡(luò)的面向?qū)ο筌浖?shí)現(xiàn) [D]. 廣州：華南理工大學(xué)， 1999.

[8] 王英健，亓雪蓮，唐賢瑛. 基于改進(jìn)自構(gòu)形學(xué)習(xí)算法的RBF網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化[J]. 計(jì)算技術(shù)與自動(dòng)化， 2002， 21（4）： 16-20.

[9] 張雨濃，李克訥，譚寧. 中心、方差及權(quán)值直接確定的RBF神經(jīng)網(wǎng)絡(luò)分類(lèi)器[J]. 計(jì)算技術(shù)與自動(dòng)化. 2009， 28（3）： 5-9.

[10]董玲嬌，馮冬青. 基于改進(jìn)遺傳算法的模糊RBF神經(jīng)網(wǎng)絡(luò)控制器設(shè)計(jì)[J]. 計(jì)算技術(shù)與自動(dòng)化， 2005， 24（4）： 13-15.

[11]梅紅，王勇，趙榮齊. 基于蟻群優(yōu)化的前向神經(jīng)網(wǎng)絡(luò)[J]. 武漢理工大學(xué)學(xué)報(bào). 2009， 33（3）： 531-533.

[12]鄧超，張濤，姚清華. 應(yīng)用小波神經(jīng)網(wǎng)絡(luò)處理CCD圖像噪聲[J]. 光學(xué)精密工程， 2008， 16（2）： 345-351.

[13]馮樹(shù)理，張志廣，白凈，等. 噪聲淹沒(méi)的X線圖像中癌變病灶信息的人工神經(jīng)網(wǎng)絡(luò)檢測(cè)[J]. 醫(yī)療設(shè)備信息， 2002， 17（1）： 6-9.

[14]董翠英，周長(zhǎng)英. 基于RBF神經(jīng)網(wǎng)絡(luò)的語(yǔ)音信號(hào)的噪聲消除[J]. 制造業(yè)自動(dòng)化， 2010， 32（5）： 228-230.

[15]黃仙，王輝. 神經(jīng)網(wǎng)絡(luò)在鍋爐燃燒特性挖掘中的噪聲適應(yīng)性[J]. 動(dòng)力工程學(xué)報(bào)， 2010， 30（10）： 767-771.

[16]張雨濃，楊逸文，李巍. 神經(jīng)網(wǎng)絡(luò)權(quán)值直接確定法[M]. 廣州：中山大學(xué)出版社， 2010.

[17]張雨濃，曾慶淡，肖秀春，等. 復(fù)指數(shù)Fourier神經(jīng)元網(wǎng)絡(luò)隱神經(jīng)元衍生算法[J]. 計(jì)算機(jī)應(yīng)用， 2008， 28 （10）： 2503-2506.

[18]ZHANG YU-NONG， LI Wei， YI CHEN-FU， et al. A Weights-Directly-Determined Simple Neural Network for Nonlinear System Identification [C]//Proceedings of 2008 IEEE International Conference on Fuzzy Systems， Hong Kong， China， 2008， 455-460.

[19]FRANK A， ASUNCION A. UCI Machine Learning Repository[EB/OL].http：//archive.ics.uci.edu/ml， 2010.