改進的遺傳算法在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化中的應(yīng)用

吳永明，吳 晟

（昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650051）

改進的遺傳算法在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化中的應(yīng)用

吳永明，吳 晟

（昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650051）

為了解決人工神經(jīng)網(wǎng)絡(luò)隱層節(jié)點數(shù)目難以確定的問題，針對三層BP神經(jīng)網(wǎng)絡(luò)提出了一種最大上限隱層節(jié)點數(shù)模型，并用改進的遺傳算法對其優(yōu)化。最后，將優(yōu)化的神經(jīng)網(wǎng)絡(luò)對語音特征信號進行分類。仿真結(jié)果表明優(yōu)化后的神經(jīng)網(wǎng)絡(luò)具有很好的泛化能力，驗證了該方法的有效性。

遺傳算法；神經(jīng)網(wǎng)絡(luò)；結(jié)構(gòu)優(yōu)化

人工神經(jīng)網(wǎng)絡(luò)[1]（ANN）和遺傳算法[2]（GA）都是將生物學(xué)原理運用到智能計算研究中。人工神經(jīng)網(wǎng)絡(luò)是對人腦和動物神經(jīng)的若干特點的人工模擬[3]，具有一個隱含層的神經(jīng)網(wǎng)絡(luò)就能逼近任意復(fù)雜的連續(xù)函數(shù)[4]。但在實際運用中，隱含層的節(jié)點數(shù)目、初始的權(quán)值或閾值的確定都依賴于使用者的經(jīng)驗[5-6]，隱含層的節(jié)點數(shù)太少，擬合的精度很難達(dá)到要求，反之，則可能出現(xiàn)過擬合現(xiàn)象，從而增加了訓(xùn)練的時間。遺傳算法是從自然界生物的進化中得到啟示，利用遺傳算子進行全局搜索尋優(yōu)。因此，利用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)具有十分重要的意義。由于神經(jīng)網(wǎng)絡(luò)的初始化具有很大的隨機性，輸入和輸出節(jié)點數(shù)一般根據(jù)具體問題而定，即便有確定的隱層節(jié)點數(shù)目，針對同一問題，得出的結(jié)論也可能不同。這是因為建立網(wǎng)絡(luò)時，初始的權(quán)值或閾值都是系統(tǒng)隨機分配的。近年來，許多研究者對神經(jīng)網(wǎng)絡(luò)的研究都是在隨機性的基礎(chǔ)上，這樣就沒有一個共同的初始權(quán)值和閾值的標(biāo)準(zhǔn)，參考文獻(xiàn)[7]中提出用混合編碼來優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，雖然同一起始權(quán)值或閾值條件得到了保證，但是對于高維輸入的編碼太長，不利于遺傳優(yōu)化計算。例如，輸入、隱層、輸出的節(jié)點數(shù)分別為 24、30、4，不加入閾值只對權(quán)值進行編碼，編碼的長度就達(dá)到了近千位。

為了統(tǒng)一起始權(quán)值和閾值標(biāo)準(zhǔn)，使節(jié)點數(shù)優(yōu)劣的比較都局限在一個框架下，克服編碼長度過長等問題，本文首先確定一個隱層節(jié)點數(shù)的上限，以隱層節(jié)點數(shù)上限建立一個初始網(wǎng)絡(luò)，一旦網(wǎng)絡(luò)初始化，網(wǎng)絡(luò)節(jié)點數(shù)、權(quán)值、閾值被唯一確定在這個模型范圍內(nèi)，利用遺傳算法在同一框架下優(yōu)化后得到最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)。

1 BP神經(jīng)網(wǎng)絡(luò)隱層節(jié)點的估計

在大量的BP應(yīng)用實例中，對于三層的BP神經(jīng)網(wǎng)絡(luò)，輸入和輸出節(jié)點數(shù)目一般按照具體的情況而定，而隱層節(jié)點數(shù)目沒有明確的理論依據(jù)[8]，大多數(shù)BP網(wǎng)絡(luò)中隱層節(jié)點數(shù)的確定仍采用試湊的方式。根據(jù)Kolmogorov定理，最佳的隱層節(jié)點可以參考式（1）：

其中，l為隱層節(jié)點數(shù)，m為輸入層節(jié)點數(shù)，n為輸出層節(jié)點數(shù)，a為0～10之間的常數(shù)。在實際問題中，隱含層節(jié)點數(shù)的選擇首先是參考公式來確定節(jié)點數(shù)的大概范圍。為了使最佳隱層節(jié)點數(shù)落在模型的范圍內(nèi)，本文的思想是將這個范圍適當(dāng)擴大（即隱層節(jié)點數(shù)的上限）。在后面的仿真中，輸入節(jié)點數(shù)為24，輸出節(jié)點數(shù)為4，由式（1）得出l＜6+10=16。為了得出最好的測試效果，l取上限取值為30建立神經(jīng)網(wǎng)絡(luò)，然后用改進的遺傳算法對其優(yōu)化。

2 遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的基本框架

遺傳算法[9]是基于自然選擇和生物進化的全局優(yōu)化方法，通常由選擇、交叉和變異三種基本操作組成。遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的具體步驟如下：

（1）建立一個上限隱層節(jié)點數(shù)的BP神經(jīng)網(wǎng)絡(luò)，將網(wǎng)絡(luò)的隱含層節(jié)點數(shù)用一個二進制字符串進行編碼，用遺傳算法求得最優(yōu)隱層節(jié)點數(shù)目以及相應(yīng)的節(jié)點在網(wǎng)絡(luò)模型中的位置，提取相應(yīng)的權(quán)值和閾值。

（2）將提取得到的最優(yōu)節(jié)點數(shù)對應(yīng)的權(quán)值和閾值建立BP神經(jīng)網(wǎng)絡(luò)，通過訓(xùn)練滿足要求后得到最優(yōu)的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的算法流程如圖1所示。

3 遺傳算法的改進

3.1 編碼與初始種群的產(chǎn)生

（1）編碼。為了在確定的BP模型中找到最優(yōu)的結(jié)構(gòu)，本文采用二進制符號串d1d2…di…dn對神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點編碼，其中n為隱層節(jié)點數(shù)上限，di=1時表示該節(jié)點有效，di=0時表示該節(jié)點無效，如圖2所示。設(shè)隱層上限節(jié)點數(shù)為4的BP網(wǎng)絡(luò)，當(dāng)編碼為1011時，表明在網(wǎng)絡(luò)中選擇了第1、3、4個節(jié)點，即建立了含有隱層節(jié)點數(shù)目為3的BP神經(jīng)網(wǎng)絡(luò)，同時被選中的節(jié)點有關(guān)的權(quán)值或閾值有效。

（2）初始種群的產(chǎn)生。為避免隨機方式產(chǎn)生初始個體在解空間上分布出現(xiàn)不均衡性，使搜索具有更高的全局性，本文采用式（2）產(chǎn)生初始種群：

其中，xi表示產(chǎn)生的第 i個個體中 1的個數(shù)，xL、xU分別表示個體中1的個數(shù)的下界和上界，m表示種群的大小，這樣編碼的好處在于：搜索過程中最優(yōu)個體很容易被搜索到。

3.2 適應(yīng)度函數(shù)

設(shè)種群的規(guī)模為m，即有m個個體，在遺傳算法的每一代中，對每個個體譯碼提取相應(yīng)的初始權(quán)值和閾值建立BP神經(jīng)網(wǎng)絡(luò)，輸入N個樣本對網(wǎng)絡(luò)進行訓(xùn)練，設(shè)第 k個樣本的實際輸出和期望輸出分別為：yk和 vk，k=1，2，3…N，均方誤差 Ei的倒數(shù)作為適應(yīng)度函數(shù)：

故個體函數(shù)的適應(yīng)度fi可以定義為：

3.3 選擇與交叉

進行選擇操作時，按照適應(yīng)度值的大小，采用輪盤賭算法進行選擇，然后用父代中最優(yōu)個體代替選擇后的最差的個體，這樣在每一代中都保留了上一代的最優(yōu)個體，確保經(jīng)過遺傳運算得到的下一代最優(yōu)個體的適用度不低于父代中最優(yōu)個體的適用度，能避免進化過程中的振蕩現(xiàn)象，同時也加快了搜索速度。交叉操作中，本文采用單點交叉方式，自適應(yīng)動態(tài)交叉率，保留最優(yōu)個體不進行交叉，并且回避適應(yīng)度相近個體交叉。假設(shè)當(dāng)代的平均適應(yīng)度為favg，交叉的兩個個體的適應(yīng)度分別為ffirst、fsecond，設(shè)置交叉率的范圍為 0.5～1，動態(tài)自適應(yīng)交叉率采用式（5）：

3.4 變異

在本算法中，為了使最優(yōu)個體得到保護，將最優(yōu)個體復(fù)制直接進入下一代。設(shè)總的遺傳代數(shù)為M，連續(xù)出現(xiàn)N代沒有產(chǎn)生新的最優(yōu)個體，對變異率的改進如式（6）：

其中，a、b是很小的常數(shù)，可以根據(jù)具體情況調(diào)節(jié) a、b的大小，N值越大，變異概率會增加，縮短了找到最優(yōu)個體的時間。變異得到最優(yōu)個體后，通過適應(yīng)度函數(shù)計算出新的適應(yīng)度值，對新的個體進行下一輪的選擇、交叉和變異，直到找到最優(yōu)解或者次優(yōu)解。

4 實驗仿真

本文將改進的遺傳算法運用在語音信號特征分類中，并與沒有經(jīng)過優(yōu)化的網(wǎng)絡(luò)進行比較。本實驗選取了民歌、古箏、搖滾和流行四種不同的音樂，每類音樂都用倒譜系數(shù)法提取500組24維語音特征信號，提取的語音特征信號如圖3所示。

按第1節(jié)中隱層節(jié)點的估計，本實驗隱層節(jié)點數(shù)的上限設(shè)置為 30，輸入、輸出節(jié)點數(shù)分別為 24和 4，遺傳種群規(guī)模設(shè)為20，編碼長度為30，遺傳進化次數(shù)為100。每類語音信號有500組數(shù)據(jù)，樣本總數(shù)為2 000，隨機抽取1 500組數(shù)據(jù)用作網(wǎng)絡(luò)訓(xùn)練，剩下的500組作為測試數(shù)據(jù)，對實驗數(shù)據(jù)歸一化后實驗，遺傳算法優(yōu)化過程中最佳適應(yīng)度以及平均適應(yīng)度值的變化如圖4所示。

用改進的遺傳算法對上限BP神經(jīng)網(wǎng)絡(luò)優(yōu)化后，得到的最佳隱層節(jié)點數(shù)為12，經(jīng)過訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)對語音特征信號測試數(shù)據(jù)進行分類，先分別將民歌、古箏、搖滾、流行音樂編號為 1、2、3、4類，將預(yù)測的輸出結(jié)果與期望分類編號比較（有負(fù)值的情況），得出分類誤差如圖5所示。

為了比較用遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)與沒有優(yōu)化神經(jīng)網(wǎng)絡(luò)的性能，隨機地從模型中選擇隱層節(jié)點數(shù)為10、15、20、25、30 與節(jié)點數(shù)為 12 的 BP 神經(jīng)網(wǎng)絡(luò)的進行比較，初始的權(quán)值和閾值仍然來源于本實驗中建立的上限隱層節(jié)點數(shù)BP神經(jīng)網(wǎng)絡(luò)，分類正確率如表1所示。

表1 不同隱層節(jié)點數(shù)正確識別率的比較

從表1的數(shù)據(jù)可以看出，在同一個上限隱層節(jié)點數(shù)的BP神經(jīng)網(wǎng)絡(luò)模型中，古箏的識別正確率都達(dá)到了100%，但優(yōu)化后得出的隱層節(jié)點數(shù)目為12的BP神經(jīng)網(wǎng)絡(luò)的平均正確識別率高達(dá)93.3%，明顯好于沒有經(jīng)過優(yōu)化的網(wǎng)絡(luò)，并且每一類的正確率比較均衡。

針對BP神經(jīng)網(wǎng)絡(luò)隱層節(jié)點數(shù)很難確定的問題，本文根據(jù)實際的問題建立了上限隱層節(jié)點數(shù)的BP神經(jīng)網(wǎng)絡(luò)，克服了每次建立BP神經(jīng)網(wǎng)絡(luò)分配權(quán)值和閾值的隨機性，使評判的標(biāo)準(zhǔn)都統(tǒng)一在建立好的上限隱層節(jié)點數(shù)的BP網(wǎng)絡(luò)模型范圍內(nèi)，并利用改進的遺傳算法優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，最終找到網(wǎng)絡(luò)結(jié)構(gòu)的最優(yōu)解或者次優(yōu)解。該算法為選擇隱層節(jié)點數(shù)提供了一種具有指導(dǎo)意義的方法，獲得了更加合理的網(wǎng)絡(luò)結(jié)構(gòu)，運用到實際分類過程中也取得了較好的效果。

[1]TAKAHAMA S S.Structural learning of neural networks[J].IEEE International Conference on Systems. Man and Cybernetics.2004，12（1）：3507-3512.

[2]ZHOU Ming.Genetic algorithms：theory and application[M].Beijing：National Defence Industry Press，2001.

[3]ROVITHAKIS G A，CHALKIADAKIS I，ZERVAJIS M E.High-order neural network structure selection using genetic algorithms[J]. IEEE Transactions on Systems，Man and Cybernetics，2004，34（1）：150-158.

[4]HOMIK K M，STINCHCOMBE M. Multilayer feedforward networks are universal approximators[J].Neural Networks，1989，2（2）：359-366.

[5]KURKOVA V，KAINEN P C，KREINOVICH V.Estimates of the number of hidden units and variation with respect to halfspace[J].Neural Networks，1997，10（6）：1068-1078.

[6]MAIOROV V，MEIR R S.Approximation bounds for smooth functions in C（Rd）by neural and mixture networks[J].IEEE Transactions on Neural Networks，1998，9（5）：969-978.

[7]張偉棟，葉貞成，錢鋒.基于混合編碼的遺傳算法在神經(jīng)網(wǎng)絡(luò)優(yōu)化中的應(yīng)用[J].華東理工大學(xué)學(xué)報，2008，34（1）：108-111.

[8]王建軍，徐宗本.多元多項式函數(shù)的三層前向神經(jīng)網(wǎng)絡(luò)逼近方法[J].計算機學(xué)報，2009，32（12）：248-2488.

[9]范睿，李國斌，景韶光.基于實數(shù)編碼遺傳算法的混合神經(jīng)網(wǎng)絡(luò)算法[J].計算機仿真，2006，23（1）：161-164.

Application of structural optimization of artificial neural network based on improved genetic algorithm

Wu Yongming，Wu Sheng

（School of Information Engineering and Automation，Kunming University of Science and Technology，Kunming 650051，China）

It is difficult to determine the number of hidden layer of BP artificial neural network.In order to solve the problem，a maximum number of hidden nodes model is proposed in this paper for three layers BP neural network，and optimized by using improved genetic algorithm.Finally，The voice signature is classified by using optimized BP neural network.The results show the effectiveness of the algorithm.

genetic algorithm；neural network；structural optimization

TP305

A

1674-7720（2011）03-0079-03

2010-09-08）

吳永明，男，1982年生，碩士，主要研究方向：網(wǎng)絡(luò)擁塞控制，人工智能。

吳晟，男，1960年生，教授，主要研究方向：人工智能，計算機網(wǎng)絡(luò)，數(shù)據(jù)挖掘等。