典型前饋神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀與分析

嚴(yán)濤 李同彬 陳德禮 聞?shì)x

摘 要：本文以典型前饋神經(jīng)網(wǎng)絡(luò)中的BP神經(jīng)網(wǎng)絡(luò)、RBF網(wǎng)絡(luò)與ELM網(wǎng)絡(luò)為代表，介紹了幾種網(wǎng)絡(luò)的特點(diǎn)及研究現(xiàn)狀，分析了幾種網(wǎng)絡(luò)今后的研究方向。

關(guān)鍵詞：反向傳播網(wǎng)絡(luò);徑向基函數(shù)網(wǎng)絡(luò);極限學(xué)習(xí)機(jī)網(wǎng)絡(luò);前饋神經(jīng)網(wǎng)絡(luò)

當(dāng)前，用于分類的神經(jīng)網(wǎng)絡(luò)算法及模型已經(jīng)廣泛應(yīng)用于科學(xué)、工業(yè)和醫(yī)學(xué)等不同領(lǐng)域中。按照根據(jù)神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)劃分，可以分為前饋型神經(jīng)網(wǎng)絡(luò)和反饋型神經(jīng)網(wǎng)絡(luò)。其中前饋型神經(jīng)網(wǎng)絡(luò)因其結(jié)構(gòu)簡單，方便實(shí)現(xiàn)，且計(jì)算量相對(duì)較少等優(yōu)點(diǎn)，成為目前研究最為廣泛的神經(jīng)網(wǎng)絡(luò)。本文主要以典型淺層神經(jīng)網(wǎng)絡(luò)中的反向傳播（BP）網(wǎng)絡(luò)、徑向基函數(shù)（RBF）網(wǎng)絡(luò)與極限學(xué)習(xí)機(jī)（ELM）網(wǎng)絡(luò)來展開，以介紹幾種網(wǎng)絡(luò)模型的特性及研究現(xiàn)狀。

1 典型淺層前饋神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀

從理論上而言，含有單隱層的前饋神經(jīng)網(wǎng)絡(luò)能以任意精度逼近給定的連續(xù)函數(shù)。但是在實(shí)際中，由于不同的非線性問題的復(fù)雜性以及所使用的網(wǎng)絡(luò)模型自身的特點(diǎn)，很多情況下往往很難達(dá)到所期望的逼近精度。以BP神經(jīng)網(wǎng)絡(luò)為例，BP網(wǎng)絡(luò)隱節(jié)點(diǎn)使用的核函數(shù)為sigmoid核，采用統(tǒng)一的核參數(shù)，優(yōu)點(diǎn)是泛化性能較好，但是核映射的穩(wěn)定性較差。典型的BP算法采用基于誤差反向傳播的梯度下降方法來迭代更新網(wǎng)絡(luò)權(quán)值，由此使得網(wǎng)絡(luò)的輸出誤差平方和達(dá)到最小。整個(gè)學(xué)習(xí)過程的構(gòu)成是通過給定的訓(xùn)練樣本多次呈現(xiàn)給網(wǎng)絡(luò)，以進(jìn)行各層權(quán)值不斷更新學(xué)習(xí)。BP神經(jīng)網(wǎng)絡(luò)的主要缺點(diǎn)在于收斂速度慢，且經(jīng)常陷入局部最小的風(fēng)險(xiǎn)，并隨著網(wǎng)絡(luò)隱藏層層數(shù)的增加使得這一情況更加嚴(yán)重。盡管很多研究人員研究了對(duì)基于梯度下降BP算法的各種改進(jìn)，但是從嚴(yán)格意義上講，BP網(wǎng)絡(luò)隱含層的層數(shù)及隱節(jié)點(diǎn)的個(gè)數(shù)選取缺乏理論依據(jù)。對(duì)于較為復(fù)雜的非線性問題，BP網(wǎng)絡(luò)改進(jìn)方法的效果往往有限。

RBF網(wǎng)絡(luò)隱節(jié)點(diǎn)使用的核一般是徑向基核函數(shù)。這種核具有良好的局部響應(yīng)特性。其核參數(shù)的優(yōu)化主要包括中心位置、核寬以及隱節(jié)點(diǎn)個(gè)數(shù)的確定。在中心位置的參數(shù)選取上，文獻(xiàn)[1]使用K均值聚類得到的聚類中心作為RBF網(wǎng)絡(luò)的隱節(jié)點(diǎn)中心。文獻(xiàn)[2]提出將K均值聚類方法與網(wǎng)絡(luò)輪廓系數(shù)優(yōu)化方法相結(jié)合。文獻(xiàn)[3]將輸入樣本和輸出偏差相結(jié)合作為RBF網(wǎng)絡(luò)隱節(jié)點(diǎn)中心選取的依據(jù)。此外，正交前向選擇算法通過正交變換來選取RBF網(wǎng)絡(luò)的隱節(jié)點(diǎn)中心，但不能保證全局最優(yōu)。

在RBF網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)個(gè)數(shù)的多少直接決定了整個(gè)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及規(guī)模。一些動(dòng)態(tài)構(gòu)建RBF網(wǎng)絡(luò)隱節(jié)點(diǎn)的方法被相繼提出。文獻(xiàn)[4]提出最小資源分配網(wǎng)絡(luò)（MRAN）可以有效刪除部分冗余節(jié)點(diǎn)。文獻(xiàn)[5]通過度量隱節(jié)點(diǎn)的輸出信息和隱節(jié)點(diǎn)之間的交互信息來確定隱節(jié)點(diǎn)的個(gè)數(shù)。

2004年，黃廣斌[6]等人提出一種極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)模型（ELM）。該網(wǎng)絡(luò)具有極快的學(xué)習(xí)速度和較好的泛化性能。在ELM網(wǎng)絡(luò)中，隱節(jié)點(diǎn)的個(gè)數(shù)是固定的，為了達(dá)到較好的網(wǎng)絡(luò)性能，一般需要設(shè)置較多的隱節(jié)點(diǎn)個(gè)數(shù)，因此存在一些非優(yōu)化的隱節(jié)點(diǎn)，這就會(huì)造成網(wǎng)絡(luò)結(jié)構(gòu)的冗余。一些基于ELM網(wǎng)絡(luò)的增加和裁剪技術(shù)被相繼提出，用來自動(dòng)估計(jì)ELM網(wǎng)絡(luò)中隱節(jié)點(diǎn)的個(gè)數(shù)，并進(jìn)一步優(yōu)化ELM網(wǎng)絡(luò)的輸入輸出權(quán)值參數(shù)。其他的改進(jìn)算法嘗試對(duì)基本的ELM算法進(jìn)行擴(kuò)展，使之能更有效地適合特定的問題。

2 總結(jié)與展望

本文介紹了BP網(wǎng)絡(luò)、RBF網(wǎng)絡(luò)以及ELM網(wǎng)絡(luò)的特點(diǎn)及研究現(xiàn)狀。相對(duì)而言，當(dāng)前BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)研究的比較成熟，其應(yīng)用也最廣泛。相比與BP網(wǎng)絡(luò)，ELM具有更好的泛化性能，它能有效克服局部最小，收斂速度過慢以及過擬合的缺點(diǎn)。作為淺層神經(jīng)網(wǎng)絡(luò)中的杰出代表，ELM網(wǎng)絡(luò)正獲得越來越多研究人員的關(guān)注。也有的學(xué)者研究ELM與深度神經(jīng)網(wǎng)絡(luò)的融合，這也是一個(gè)新的研究方向。

參考文獻(xiàn)：

[1]Moody J， Darken CJ. Fast learning in networks of locally-tuned processing[J].Neural Computation， 1989， 1（2）： 281-294.

[2]郝曉麗，張靖.基于改進(jìn)自適應(yīng)聚類算法的RBF神經(jīng)網(wǎng)絡(luò)分類器設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)科學(xué)，2014， 41（6）： 260-263.

[3]Wang D， Zeng XJ， Keane JA. A clustering algorithm for radial basis function neural network initialization [J]. Neurocomputing， 2012， 77（1）： 144-155.

[4]Yingwei L， Sundararajan N， Saratchandran P. A sequential learning scheme for function approximation using minimal radial basis function [J]. Neural Computation， 1997， 9（2）： 461-478.

[5]韓紅桂，喬俊飛，薄迎春.基于信息強(qiáng)度的RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)研究[J].自動(dòng)化學(xué)報(bào)， 2012， 38（7）： 1083-1090.

[6]Huang GB， Zhu QY， Siew CK. Extreme learning machine： theory and applications [C]. IEEE International Joint Conference on Neural Networks， 2004， Budapest， HUNGARY， 1-4： 985-990.