基于神經(jīng)網(wǎng)絡(luò)的模式分類方法的研究

摘要：利用神經(jīng)網(wǎng)絡(luò)進(jìn)行模式分類時(shí)，可采用有導(dǎo)師分類方法，也可進(jìn)行無導(dǎo)師的聚類方法，該文分析比較幾種可用于模式分類神經(jīng)網(wǎng)絡(luò)的特征和各自的優(yōu)缺點(diǎn)，提出在特定的情況下可選用特定的神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，也可根據(jù)實(shí)際情況進(jìn)行綜合。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；模式；分類

中圖分類號(hào)：TP183文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2009)04-0922-02

The Research of the Classification of Model with Neural Network

GUO Xiao-yan

(Gansu Agriculture University， Information Science Technology College， Lanzhou 730070， China)

Abstract: The problems of classification of model with neural network can be solved by the help oftutors information， and also be solved by the help of clustering without the tutors information.This article analyzes andcompares several neural network models being used for classification of model，reach a conclusionthat inparticular situation different models of neural network can bechoiced ， and if nessesary aintegratedway can be used.

Key words: neural network; classification; model

傳統(tǒng)的分類方法對(duì)于同類相聚，異類分離比較有優(yōu)勢，但客觀世界中許多事物在樣本空間中的區(qū)域分割曲面非常復(fù)雜，相近的樣本可能屬于不同的類，而遠(yuǎn)離的樣本可能屬于同一類1。模式是對(duì)某些感興趣的客體的定量描述或結(jié)構(gòu)描述，模式類是具有某些共同特征的模式的集合。模式分類可分為兩種類型，分類和聚類，分類是在類別知識(shí)等導(dǎo)師信息的指導(dǎo)下，將待識(shí)別的輸入模式分配到各自的模式類中去。聚類是無導(dǎo)師的分類方法，它是將相似的模式樣本劃歸為一類，而將不相似的分離開，實(shí)現(xiàn)了模式樣本類內(nèi)相似性和類間分離性。通過聚類，可以發(fā)現(xiàn)原始樣本的分布特性。

神經(jīng)網(wǎng)絡(luò)對(duì)外界的輸入樣本具有很強(qiáng)的識(shí)別能力，可以發(fā)現(xiàn)輸入樣本自身的聯(lián)系和規(guī)律以及輸入樣本和期望輸出之間的非線性規(guī)律，因此在模式分類方面具有傳統(tǒng)分類方法無法比擬的優(yōu)點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)在模式分類方面提出了大量了網(wǎng)絡(luò)模型，發(fā)現(xiàn)了許多學(xué)習(xí)算法。

1 無導(dǎo)師分類機(jī)制

對(duì)于無導(dǎo)師的模式分類只從輸入樣本入手，通過分析與比較，找到輸入樣本的特征和內(nèi)在規(guī)律，從而將具有相似性的樣本聚為一類。

1.1 SOM網(wǎng)

SOM 網(wǎng)屬于自組織映射神經(jīng)網(wǎng)絡(luò)，SOM神經(jīng)網(wǎng)絡(luò)接收外界的輸入模式時(shí)，會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)Σ煌妮斎肽Ｊ綍?huì)有不同的響應(yīng)特征，利用這個(gè)特征可以對(duì)輸入模式進(jìn)行分類。

算法思想：

它的學(xué)習(xí)規(guī)則是“勝者為王”。找出和輸入向量最為相似的競爭層神經(jīng)元（即獲勝神經(jīng)元），在一個(gè)以該神經(jīng)元為中心的鄰域內(nèi)對(duì)本區(qū)域內(nèi)的所有神經(jīng)元的權(quán)值進(jìn)行不同程度的調(diào)整，調(diào)整的原則是由遠(yuǎn)及近，由興奮變?yōu)橐种?，?quán)值調(diào)整的結(jié)果是使競爭層的特定神經(jīng)元變得對(duì)輸入層的某些樣本敏感，從而達(dá)到分類的目的。

算法步驟：

1) 找出獲勝神經(jīng)元

對(duì)于每一個(gè)輸入模式向量 X，競爭層的所有神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量Wj(j=1，2，…，m)均與X進(jìn)行比較，將與X最為相似的神經(jīng)元判為獲勝神經(jīng)元。其權(quán)值記為Wj*。相似性量度為X和W的歐氏距離或夾角余弦。

■

m是競爭層神經(jīng)元個(gè)數(shù)。

d=||X-Wj*||=min||X-Wj*||(j=1，2，…，n)

d為輸入向量X離獲勝神經(jīng)元的距離

2) 找出一個(gè)Wj*的一個(gè)鄰域Sj，對(duì)于Sj內(nèi)的所有權(quán)值進(jìn)行調(diào)整。

3) 權(quán)值調(diào)整

Wj(t+1)=Wj(t)+α[X-Wj(t)]

α為學(xué)習(xí)率，隨著t的增加，α的值在不斷地減小。

權(quán)值的調(diào)整是使得獲勝結(jié)點(diǎn)更加接近輸入樣本，從而使競爭層的每一個(gè)神經(jīng)元變?yōu)橐粋€(gè)聚類中心。當(dāng)向網(wǎng)絡(luò)輸入一個(gè)模式時(shí)，競爭層中哪個(gè)神經(jīng)元獲勝使輸出為1，當(dāng)前輸入就歸為哪類。

通過聚類進(jìn)行模式劃分的方法還有模糊聚類，K-均值聚類，HCM，最近鄰聚類(NN算法)等，這些算法的最主要優(yōu)點(diǎn)就是不需要導(dǎo)師信號(hào)，這對(duì)于一些無法得到導(dǎo)師信號(hào)的模式分類情況來說是有優(yōu)勢的。

2 有導(dǎo)師分類機(jī)制

基于無導(dǎo)師的聚類算法只考慮輸入樣本，而沒有考慮輸入樣本所對(duì)應(yīng)的輸出、這就使得這樣的分類不是最優(yōu)的。

2.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)利用導(dǎo)師信號(hào)和輸入樣本來訓(xùn)練網(wǎng)絡(luò)的權(quán)值，從而找到從輸入樣本到導(dǎo)師信號(hào)（期望輸出）之間的非經(jīng)性變幻規(guī)律來修整權(quán)值，經(jīng)過測試樣本和期望輸出的多次訓(xùn)練來使成熟的網(wǎng)絡(luò)穩(wěn)定，當(dāng)有新的輸入時(shí)，就可根據(jù)此規(guī)律對(duì)它樣本進(jìn)行正確的分類。

BP神經(jīng)網(wǎng)絡(luò)的算法思想是：輸入樣本自輸入層傳入，由各隱層處理后，傳向輸出層，這屬于正向傳播；如果輸出與期望輸出(導(dǎo)師信號(hào))不符，得到誤差值，輸出誤差通過隱層向輸入層逐反向傳播，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，此誤差信號(hào)成為修正各單元權(quán)值的依據(jù)。

2.1.1 BP神經(jīng)網(wǎng)絡(luò)的描述1(圖2)

1） 正向傳播

對(duì)于有單個(gè)隱層單元的BP神經(jīng)網(wǎng)絡(luò)而言

隱層輸出：

■

輸出層：

■

l 為輸出層神經(jīng)元的個(gè)數(shù)m為隱層神經(jīng)元的個(gè)數(shù)n為輸入層神經(jīng)元的個(gè)數(shù)

f(x)可采用單極性的Sigmoid函數(shù)：

■

2）反向修正權(quán)值

輸出誤差E定義如下：

■

其中d為導(dǎo)師信號(hào)（期望輸出），o為實(shí)際輸出

進(jìn)一步展開至輸入層，有：

■

權(quán)值修正：

■

η是學(xué)習(xí)率，可以控制學(xué)習(xí)的時(shí)間和快慢。

在BP神經(jīng)網(wǎng)絡(luò)中，利用導(dǎo)師信號(hào)和神經(jīng)網(wǎng)絡(luò)的輸出得到總誤差E，調(diào)整權(quán)值時(shí)，按誤差梯度下降的原則進(jìn)行。利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行分類時(shí)，可以利用導(dǎo)師信息先規(guī)定類別信息，再利用輸入樣本和類別信息得出E，從而反向調(diào)整ω，ν值，如果網(wǎng)絡(luò)的總誤差小于一個(gè)特定的值，可認(rèn)為網(wǎng)絡(luò)訓(xùn)練結(jié)束，得到最終的ω，ν值。對(duì)于新的樣本，此訓(xùn)練好的網(wǎng)絡(luò)便可進(jìn)行正確分類。

3 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)

利用BP網(wǎng)絡(luò)進(jìn)行分類時(shí)，完全沒有考慮輸入樣本的特征，只利用導(dǎo)師信息進(jìn)行權(quán)值的修正，因此學(xué)習(xí)時(shí)間很長，分類的精度也不是非常高，錯(cuò)分的情況很多。通常，輸入樣本本身具有某種規(guī)律性，利用現(xiàn)有樣本的自身規(guī)律加上導(dǎo)師信號(hào)的限制，可以大大提高分類的精度，同時(shí)可以縮短學(xué)習(xí)的時(shí)間。徑向基函數(shù)網(wǎng)絡(luò)就是基于這種思想。

用徑向基函數(shù)作為隱單元的“基”，構(gòu)成隱含層空間。隱含層對(duì)輸入向量進(jìn)行變換，將低維空間的模式變到高維空間中，使低維空間中的不可分問題在高維空間中變得可分。

算法思想：

1）找到分類中心向量，也稱基向量，(一般用K-均值法，動(dòng)態(tài)聚類法等)，假定分類中心向量個(gè)數(shù)為 個(gè)，這也就決定隱層神經(jīng)元的個(gè)數(shù)。

2）算出輸入樣本到各個(gè)分類中心向量的距離d，利用基函數(shù)f(x)，自變量為d，得到隱層輸出，只有離分類中心最近的向量得到較大的輸出。

■

p是輸入樣本個(gè)數(shù)，j是聚類中心的個(gè)數(shù)，k是樣本和聚類中心向量的維數(shù)。

■

3）最后通過隱層到輸出層的線性變換得到最終的輸出，則：

■

學(xué)習(xí)算法：

1）利用無導(dǎo)師機(jī)制選取分類中心向量；

2）利用有導(dǎo)師信號(hào)修正隱層到輸出層的權(quán)值，權(quán)值的修正仍用類似BP神經(jīng)網(wǎng)絡(luò)的梯度下降算法。

徑向基函數(shù)網(wǎng)絡(luò)對(duì)于輸入層向隱層的變換是非線性的，而隱層到輸出層變換進(jìn)線性的，在確定中心結(jié)點(diǎn)時(shí)，可采用無導(dǎo)師的聚類機(jī)制，當(dāng)修正隱層到輸出層的權(quán)值時(shí)可采用有導(dǎo)師機(jī)制，此兩種方法結(jié)合即可發(fā)現(xiàn)輸入樣本中的內(nèi)在規(guī)律，又可利用導(dǎo)師信號(hào)進(jìn)行約束從而提高分類的精度和縮短學(xué)習(xí)的時(shí)間。

3 結(jié)論

利用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類時(shí)，如果可以得到導(dǎo)師信號(hào)，可采用徑向基神經(jīng)網(wǎng)絡(luò)，或BP神經(jīng)網(wǎng)絡(luò)，徑向基神經(jīng)網(wǎng)絡(luò)收縮速度快，不容易陷入局部極小值，在解決分類時(shí)和般優(yōu)越于BP神經(jīng)網(wǎng)絡(luò)，如果無法得到導(dǎo)師信號(hào)，則可采用自組織神經(jīng)網(wǎng)絡(luò)SOM網(wǎng)絡(luò)，通常SOM也可以用在徑向基神經(jīng)網(wǎng)絡(luò)的選用中心向量問題上。

參考文獻(xiàn)：

[1] 韓力群.人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用[M].2版.北京:化學(xué)工業(yè)出版社，2007.

[2] 侯媛彬，杜京義，汪梅.神經(jīng)網(wǎng)絡(luò)[M].西安:西安電子科技大學(xué)出版社，2007.

[3] 徐強(qiáng)恩，羅四維，李建瑜.徑向基神經(jīng)網(wǎng)絡(luò)的一種在線學(xué)習(xí)算法[J].北方交通大學(xué)學(xué)報(bào)，2003(2):92-94.