一種基于GA-BP 學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)推理機(jī)制的研究

雷 宇，李孝安

（西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安 710129）

專家系統(tǒng)[1]主要由“知識庫”和“推理機(jī)”組成。知識庫是特定領(lǐng)域?qū)＜业慕?jīng)驗(yàn)知識在計(jì)算機(jī)中的表示，推理機(jī)是專家系統(tǒng)依據(jù)計(jì)算機(jī)中存放的知識（包括實(shí)例和規(guī)則）得到結(jié)果的模型和方法?；镜耐评頇C(jī)制主要有3 種：基于規(guī)則的推理機(jī)制（RBR），基于實(shí)例的推理機(jī)制（CBR），基于模型的推理機(jī)制（MBR）。經(jīng)典的RBR 存在知識獲取瓶頸、知識系統(tǒng)維護(hù)復(fù)雜、不具備自學(xué)習(xí)能力等局限。人工神經(jīng)網(wǎng)絡(luò)（ANN）[2]通過模擬生物體中神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與功能來解決目前計(jì)算機(jī)系統(tǒng)不能解決好的問題，具有自組織、自適應(yīng)、自學(xué)習(xí)、容錯(cuò)性好等特點(diǎn)。因而把神經(jīng)網(wǎng)絡(luò)用于專家系統(tǒng)，能很好的彌補(bǔ)傳統(tǒng)專家系統(tǒng)的不足。

有關(guān)神經(jīng)網(wǎng)絡(luò)研究多注重應(yīng)用模型解決問題能力的研究，對神經(jīng)網(wǎng)絡(luò)推理能力的研究較少。本文通過將遺傳算法（Genetic Algorithm，GA）與BP 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法相結(jié)合獲取神經(jīng)網(wǎng)絡(luò)模型[3]，對神經(jīng)網(wǎng)絡(luò)推理機(jī)制進(jìn)行研究，得到了有意義的研究結(jié)論。

1 基于BP 網(wǎng)絡(luò)模型推理機(jī)制

1.1 神經(jīng)網(wǎng)絡(luò)推理機(jī)制

基于神經(jīng)網(wǎng)絡(luò)模型的專家系統(tǒng)與傳統(tǒng)專家系統(tǒng)區(qū)別很大[4]：首先，知識由顯式轉(zhuǎn)變?yōu)殡[式；其次，知識不是由“專家”給出，而是通過學(xué)習(xí)訓(xùn)練取得；最后，推理機(jī)不是傳統(tǒng)的邏輯推理，而是逐層并行的神經(jīng)計(jì)算。建立知識庫就是確定神經(jīng)網(wǎng)絡(luò)的連接結(jié)構(gòu)，神經(jīng)元閾值和神經(jīng)元相互之間連接權(quán)值。因而，知識庫的建立過程實(shí)際上就是神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與組織過程，包括知識的獲取及知識存儲兩個(gè)過程。

基于神經(jīng)網(wǎng)絡(luò)推理[5]的具體過程如圖1 所示。首先，是神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)獲得的過程。依據(jù)所給樣本，對樣本進(jìn)行前期處理，包括數(shù)值化、歸一化等；依據(jù)處理后的樣本，構(gòu)建網(wǎng)絡(luò)，包括各層節(jié)點(diǎn)數(shù)和連接方式等；根據(jù)事先確定的精度要求，學(xué)習(xí)算法，訓(xùn)練次數(shù)，采用合適的激勵(lì)信號，進(jìn)行訓(xùn)練，直到網(wǎng)絡(luò)達(dá)到要求。之后，把通過訓(xùn)練與泛化所得到的學(xué)習(xí)好的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)作為知識存進(jìn)知識庫。在此基礎(chǔ)上，根據(jù)用戶提供待解決問題完成神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)的推理。即：用戶輸入待解決問題，由系統(tǒng)進(jìn)行前期的處理，然后載入已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)（知識），進(jìn)行推理（神經(jīng)計(jì)算），得到推理機(jī)輸出結(jié)果，最后把神經(jīng)網(wǎng)絡(luò)推理輸出的結(jié)果數(shù)據(jù)做進(jìn)一步解釋，得到用戶能夠理解的解答。

1.2 基于BP 的神經(jīng)網(wǎng)絡(luò)推理模型

BP 網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)研究中最為成熟的多層前向網(wǎng)絡(luò)模型，其結(jié)構(gòu)、處理過程及學(xué)習(xí)機(jī)理如圖2 所示。采用BP學(xué)習(xí)算法可以實(shí)現(xiàn)網(wǎng)絡(luò)連接權(quán)的學(xué)習(xí)；經(jīng)過訓(xùn)練而學(xué)習(xí)好的神經(jīng)網(wǎng)絡(luò)就可以具有所需要的推理能力。

圖1 基于神經(jīng)網(wǎng)絡(luò)推理的流程Fig.1 Reasoning process based on neural network

圖2 BP 網(wǎng)絡(luò)Fig.2 Back propagation network

BP 算法是基于梯度下降的方法，存在容易陷入局部極小、收斂速度慢等一些缺點(diǎn)。因此，實(shí)際研究中，BP 學(xué)習(xí)算法的實(shí)現(xiàn)有多種改進(jìn)版，如附加勢態(tài)項(xiàng)方法，自適應(yīng)學(xué)習(xí)法，彈性BP 算法等，這里不再詳述。

2 基于GA-BP 的神經(jīng)網(wǎng)絡(luò)推理

遺傳算法（GA）本身具有強(qiáng)大的宏觀搜索能力，能以高概率找到全局最優(yōu)解，但在精確尋優(yōu)速度方面又有其缺陷。因此，將GA 與BP 相結(jié)合是解決二者各自學(xué)習(xí)性能缺陷的重要思路[3]。

用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，有兩種優(yōu)化方案。1）直接用遺傳算法取代傳統(tǒng)的學(xué)習(xí)算法，進(jìn)行訓(xùn)練，得到最優(yōu)解，作為神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。2）基于GA 的BP網(wǎng)絡(luò)模型，即：用遺傳算法進(jìn)行優(yōu)化得到一組較好的權(quán)值和閾值，作為中間值，BP 網(wǎng)絡(luò)以此中間值為基礎(chǔ)，再用傳統(tǒng)BP算法進(jìn)行訓(xùn)練，得到學(xué)習(xí)好的目標(biāo)網(wǎng)絡(luò)。這里，重點(diǎn)對后者進(jìn)行研究。

2.1 基于GA 的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

對于BP 網(wǎng)絡(luò)學(xué)習(xí)，基于GA 實(shí)現(xiàn)BP 網(wǎng)絡(luò)學(xué)習(xí)包括如下過程：首先，選擇確定個(gè)體的編碼——將BP 網(wǎng)絡(luò)連接權(quán)編碼為個(gè)體表示，確定個(gè)體的適應(yīng)度函數(shù)——可以由BP 算法中定義的網(wǎng)絡(luò)誤差函數(shù)轉(zhuǎn)換獲得；然后，就可以運(yùn)用GA 算法進(jìn)行BP 網(wǎng)絡(luò)的訓(xùn)練；最后，將學(xué)得的種群中具有最好適應(yīng)值的個(gè)體對應(yīng)的網(wǎng)絡(luò)作為學(xué)習(xí)好的BP 網(wǎng)絡(luò)。這里，GA 算法過程略。

2.2 基于GA-BP 的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

由于遺傳算法的局部搜索能力較差，僅僅用遺傳算法訓(xùn)練網(wǎng)絡(luò)比較費(fèi)時(shí)，并且在進(jìn)化到一定代數(shù)后，搜索效率會變得很低，此后適應(yīng)度值基本沒什么變化。因此，在這種情況下及早結(jié)束基于GA 的神將網(wǎng)絡(luò)的進(jìn)一步學(xué)習(xí)，以此時(shí)得到的最好學(xué)習(xí)結(jié)果為基礎(chǔ)，再進(jìn)入BP 學(xué)習(xí)過程，即可實(shí)現(xiàn)GA 和BP 學(xué)習(xí)算法的有機(jī)結(jié)合，得到GA-BP 方法來進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。

GA-BP 算法過程包括兩個(gè)階段：第一階段是基于GA 的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，按照上述2.1 部分所述步驟訓(xùn)練網(wǎng)絡(luò)的權(quán)值和閾值，但其中訓(xùn)練代數(shù)和適應(yīng)度函數(shù)相應(yīng)的取較小值；第二階段是在第一階段得到的學(xué)習(xí)網(wǎng)絡(luò)的基礎(chǔ)上，再用BP 算法進(jìn)行網(wǎng)絡(luò)的進(jìn)一步學(xué)習(xí)訓(xùn)練，直到滿足精度要求或者達(dá)到最大訓(xùn)練次數(shù)[6]。

3 實(shí) 驗(yàn)

為了對比基于神經(jīng)網(wǎng)絡(luò)模型的MBR 推理和基于RBR、CBR 的推理，文中用UCI 標(biāo)準(zhǔn)數(shù)據(jù)集在weka 環(huán)境下進(jìn)行多次仿真實(shí)驗(yàn)，在MATLAB 環(huán)境下對BP、GA 和GA-BP 3 種網(wǎng)絡(luò)模型的學(xué)習(xí)進(jìn)行對比實(shí)驗(yàn)。

3.1 數(shù)據(jù)準(zhǔn)備

文中引用UCI 機(jī)器學(xué)習(xí)數(shù)據(jù)庫[1]，選取鳶尾花（Iris）數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)。Iris 數(shù)據(jù)集中共150 組數(shù)據(jù)，把數(shù)據(jù)進(jìn)行歸一化，結(jié)果如表1 所示。4個(gè)屬性的歸一化采用常用算式：，其中為歸一化后的值，為歸一化前的值，max 是屬性向量空間中最大值，min為屬性向量空間中的最小值。對于3個(gè)類別則分別用100、010、001 表示。總體數(shù)據(jù)共150 組，三類Iris 各有50 組，按原始順序編號（1～150），把其中結(jié)尾為0 和5 的抽取出來作為抽出集，三類Iris 各抽取10 組。剩余的120 組數(shù)據(jù)作為樣本集，每類Iris 各有40 組。從表1 中可以看出樣本集對總數(shù)據(jù)集有較好的覆蓋。

3.2 BP，GA 和GA-BP 的對比實(shí)驗(yàn)

利用MATLAB（2008A）工具箱提供的自適應(yīng)BP 算法進(jìn)行神經(jīng)網(wǎng)絡(luò)仿真實(shí)驗(yàn)。實(shí)驗(yàn)過程：Iris 有4個(gè)屬性，3 種類別，依據(jù)經(jīng)驗(yàn)和多次實(shí)驗(yàn)得到[4，8，3]結(jié)構(gòu)的三層BP 網(wǎng)絡(luò)。BP 算法中的學(xué)習(xí)因子初始值為0.1；采用遺傳算法訓(xùn)練BP 網(wǎng)絡(luò)，種群規(guī)模30，代數(shù)800；采用GA-BP 算法訓(xùn)練網(wǎng)絡(luò)，種群30，代數(shù)100，學(xué)習(xí)因子0.1。從實(shí)驗(yàn)所得學(xué)習(xí)誤差曲線，我們發(fā)現(xiàn)：GA-BP 比GA 的代數(shù)要小很多，GA-BP 比自適應(yīng)BP 的步數(shù)要少很多，GA-BP 的時(shí)間只有自適應(yīng)BP 的69.46%，是GA 的78.30%。

為了進(jìn)一步對比，文中對數(shù)據(jù)集進(jìn)行多次劃分實(shí)驗(yàn)，分別選取編號末位為（1，6）、（2，7）、（3，8）、（4，9）作為測試集，類比表1 得到相應(yīng)的樣本集。加上表1 中編號末位是（0，5）的數(shù)據(jù)，共五組數(shù)據(jù)，對網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到五組實(shí)驗(yàn)結(jié)果如表2 所示。從表2 中明顯看出，在相同精度要求下，采用GA-BP 方法訓(xùn)練網(wǎng)絡(luò)比自適應(yīng)BP 算法訓(xùn)練網(wǎng)絡(luò)訓(xùn)練時(shí)間更少，訓(xùn)練步數(shù)更少。

3.3 基于GA-BP 網(wǎng)絡(luò)模型的推理和基于CBR，RBR 推理對比

在weka（weka-3-6-8）工具進(jìn)行對比試驗(yàn)。使用CBR 中常見算法，最近鄰法（IBK）和決策樹法（J48）；使用RBR 中可以用來規(guī)則提取的JRIP 算法和能產(chǎn)生決策規(guī)則的PART 算法。把J48 、IBK、JRip、PART 和GA-BP 網(wǎng)絡(luò)5 種方法進(jìn)行對比實(shí)驗(yàn)[8]。實(shí)驗(yàn)過程中參數(shù)都取weka 默認(rèn)參數(shù)。

表1 Iris數(shù)據(jù)集Tab.1 Iris data set

表2 自適應(yīng)BP 和GA-BP 學(xué)習(xí)對比Fig.2 BP and GA-BP learning contrast

1）利用上文3.2 中的5 組樣本，作為訓(xùn)練集。使用這5 組訓(xùn)練集，對每一訓(xùn)練集都進(jìn)行針對J48、IBK，JRip、PART，GABP 5 種方法的建模和推理測試。為了對比推理時(shí)間，進(jìn)行15 000 次測試，相當(dāng)于在基于這5 種方法學(xué)習(xí)到知識后，專家系統(tǒng)進(jìn)行15 000 次問題求解，也即推理機(jī)進(jìn)行了15 000次推理。5 組實(shí)驗(yàn)采用同一組測試集，對推理時(shí)間、報(bào)錯(cuò)次數(shù)、正確率4個(gè)要素5 組進(jìn)行分析。對5 種方法，5 組實(shí)驗(yàn)得到結(jié)果取均值，如表3 所示。

表3 5種推理方法比較Tab.3 Comparison of the five reasoning algorithm

2）為了進(jìn)一步證明基于GA-BP 網(wǎng)絡(luò)模型推理在將解決分類問題時(shí)的優(yōu)勢，選取UCI 下wine 和car evaluation 兩組數(shù)據(jù)集進(jìn)行仿真。分別進(jìn)行10 組實(shí)驗(yàn)，每組實(shí)驗(yàn)中Wine 進(jìn)行17 800 次推理，car evaluation 進(jìn)行17 280 次推理，對得到結(jié)果取均值，如表4 和表5 所示。

從表3、表4 和表5 可以看出，基于GA-BP 的神經(jīng)網(wǎng)絡(luò)模型推理和基于IBK 的推理正確率最高，但是基于IBK 的推理時(shí)間遠(yuǎn)多于基于GA-BP 的神經(jīng)網(wǎng)絡(luò)模型推理；基于神經(jīng)網(wǎng)絡(luò)推理的時(shí)間比其他3 種推理稍多，但正確率比它們都高出不少。

表4 Wine 實(shí)驗(yàn)結(jié)果Tab.4 Wine experimental results

表5 Car evaluation 實(shí)驗(yàn)結(jié)果Tab.5 Car evaluation experimental results

4 結(jié)論

文中給出了一種基于GA-BP 學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)推理模型及實(shí)現(xiàn)算法。針對分類問題研究的標(biāo)準(zhǔn)數(shù)據(jù)集，通過與基于RBR 和CBR 的4 種方法進(jìn)行對比實(shí)驗(yàn)研究，結(jié)果表明：使用基于GA-BP 神經(jīng)網(wǎng)絡(luò)推理模型，在準(zhǔn)確性要求較高的情況下，推理實(shí)時(shí)性最好；在實(shí)時(shí)性相當(dāng)?shù)那闆r下，推理精確性最高。綜合考慮實(shí)時(shí)性和準(zhǔn)確性，基于GA-BP 網(wǎng)絡(luò)模型的推理具有較好性能。

[1]Liao S H.Expert system methodologies and applications—A decade review from 1995 to 2004 [J].Expert Systems with Applications，2005，28（1）：93-103.

[2]高雋.人工神經(jīng)網(wǎng)絡(luò)原理[M].北京：機(jī)械工業(yè)出版社，2005：1-6.

[3]李孝安.進(jìn)化神經(jīng)網(wǎng)絡(luò)理論與方法研究[D].西安：西北工業(yè)大學(xué)，2000.

[4]張煜東，吳樂南，韋耿.神經(jīng)網(wǎng)絡(luò)泛化增強(qiáng)技術(shù)研究[J].科學(xué)技術(shù)與工程，2009，9（17）：4997-5002.ZHANG Yu-dong，WU Le-nan，WEI Geng.Investigationon improving generalization of neural network[J].Science Techno logy and Engineering，2009，9（17）：4997-5002.

[5]陶鵬，孫曉明，張超.基于神經(jīng)網(wǎng)絡(luò)推理策略的電梯故障診斷法[J].武漢理工大學(xué)學(xué)報(bào)·信息與管理工程版，2009，31（6）：950-953.TAO Peng，SUN Xiao-ming，ZHANG Chao.Research of elevator fault diagnosis based on neural network reasoning strategy [J].Journal of WUT ：Information &Managfment Engineering，2009，31（6）：950-953.

[6]黃建國，羅航，王厚軍，等.運(yùn)用GA-BP神經(jīng)網(wǎng)絡(luò)研究時(shí)間序列的預(yù)測[J].電子科技大學(xué)學(xué)報(bào)，2009，38（5）：687-692.HUANG Jian-guo，LUO Hang，WANG Hou-jun，et al.Prediction of time sequence based on GA-BP neural Net[J].Journal of University of Electronic Science and Technology of China，2009，38（5）：687-692.

[7]UCI 機(jī)器學(xué)習(xí)數(shù)據(jù)庫[EB/OL].http：//archive.ics.uci.edu/ml/dntasets/.

[8]何達(dá)，吳明.Ada-BP神經(jīng)網(wǎng)絡(luò)改進(jìn)算法在電力負(fù)荷預(yù)測中的應(yīng)用研究[J].陜西電力，2012（12）：21-24.HE Da，WU Ming.Probe into application of Ada-BP neural network improved algorithm in electric power load forecasting[J].Shaanxi Electric Power，2012（12）：21-24.