BP神經(jīng)網(wǎng)絡(luò)的研究及應(yīng)用

中圖分類號：TP183 文獻(xiàn)標(biāo)識碼：A

摘要：人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域非常廣泛，其中大部分的人工神經(jīng)網(wǎng)絡(luò)模型采用BP網(wǎng)絡(luò)，它也是前饋網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。通過對BP算法的研究，提出了利用它來實(shí)現(xiàn)對我國的三大產(chǎn)業(yè)數(shù)據(jù)的預(yù)測方案。并在MATLAB仿真中取得了很好的效果。

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；MATLAB仿真

一、BP神經(jīng)網(wǎng)絡(luò)概述

BP（Back Propagation）網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP一般為多層神經(jīng)網(wǎng)絡(luò)，其模型拓?fù)浣Y(jié)構(gòu)一般包括輸入層（input）、隱層（hide layer）和輸出層（output layer）。如圖1所示：

二、BP網(wǎng)絡(luò)的學(xué)習(xí)算法

（一）最速下降BP算法（steepest descent backpropagation，SDBP）

如圖2所示的BP神經(jīng)網(wǎng)絡(luò)，設(shè)k為迭代次數(shù)，則每一次權(quán)值和閾值的修正案下式進(jìn)行：

根據(jù)（2.2）式，可以求出第k次迭代的總誤差曲面的梯度x（k）= ，分別代入式（2.1）中，就可以逐次修正其權(quán)值和閾值，并使總的誤差向減小的方向變化，最終求出所要求的誤差性能。

（二）沖量BP算法（momentum backpropagation，MOBP）

因?yàn)榉聪騻鞑ニ惴ǖ膽?yīng)用廣泛，所以已經(jīng)開發(fā)出了很多反向傳播算法的變體。其中最常見得事在梯度下降算法的基礎(chǔ)上修改公式（2.1）的權(quán)值更新法則，即引入沖量因子η，并且0≤η<1的常數(shù)。更新后的公式為：

標(biāo)準(zhǔn)BP算法實(shí)質(zhì)上是一種簡單的最速下降靜態(tài)尋優(yōu)方法，在修正W（K）時(shí)，只按照第K步的負(fù)梯度方向進(jìn)行修正，而沒有考慮到以前積累的經(jīng)驗(yàn)，即以前時(shí)刻的梯度方向，從而常常使學(xué)習(xí)過程發(fā)生振蕩，收斂緩慢。動(dòng)量法權(quán)值調(diào)整算法的具體做法是：將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計(jì)算所得的權(quán)值調(diào)整量上，作為本次的實(shí)際權(quán)值調(diào)整量，即公式（2.3）所示：η是沖量系數(shù)，通常0≤η<1；α為學(xué)習(xí)率，范圍在0.001～1之間。這種方法所加的沖量因子實(shí)際上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過程中的振蕩趨勢，來改善收斂性。沖量法降低了網(wǎng)絡(luò)對誤差曲面局部細(xì)節(jié)的敏感性，有效的抑制了網(wǎng)絡(luò)陷入局部極小值。

（三）學(xué)習(xí)率可變的BP算法（variable learnling rate backpropagation，VLBP）

標(biāo)準(zhǔn)BP算法收斂速度緩慢的一個(gè)重要原因是學(xué)習(xí)率選擇不當(dāng)，學(xué)習(xí)率選得太小，收斂慢；反之，則有可能修正的過頭，導(dǎo)致振蕩甚至發(fā)散。因此可以采用圖3所示的自適應(yīng)方法調(diào)整學(xué)習(xí)率。

自適應(yīng)調(diào)整學(xué)習(xí)率的梯度下降算法，在訓(xùn)練的過程中，力求使算法穩(wěn)定，而同時(shí)又使學(xué)習(xí)的不長盡量地大，學(xué)習(xí)率則是根據(jù)局部誤差曲面作出相應(yīng)的調(diào)整。學(xué)習(xí)率則是通過乘上一個(gè)相應(yīng)的增量因子來調(diào)整學(xué)習(xí)率的大小。即公式（2.5）所示：

其中：Kinc為使步長增加的增量因子，Kdec為使步長減小的增量因子；α為學(xué)習(xí)率。

三、建立BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型

BP預(yù)測模型的設(shè)計(jì)主要有輸入層、隱含層、輸出層及各層的個(gè)數(shù)和層與層之間的傳輸函數(shù)。

（一）網(wǎng)絡(luò)層數(shù)

BP有一個(gè)輸入層和一個(gè)輸出層，但可以包含多個(gè)隱含層。但理論的上已證明，在不限制隱含層節(jié)點(diǎn)的情況下，只有一個(gè)隱含層的BP就可以實(shí)現(xiàn)任意非線性映射。

（二）輸入層和輸出層的節(jié)點(diǎn)數(shù)

輸入層是BP的第一層，它的節(jié)點(diǎn)數(shù)由輸入的信號的維數(shù)決定，這里輸入層的個(gè)數(shù)為3；輸出層的節(jié)點(diǎn)數(shù)取決于BP的具體應(yīng)用有關(guān)，這里輸出節(jié)點(diǎn)為1。

（三）隱含層的節(jié)點(diǎn)數(shù)

隱含層節(jié)點(diǎn)數(shù)的選擇往往是根據(jù)前人設(shè)計(jì)所得的經(jīng)驗(yàn)和自己的進(jìn)行的實(shí)驗(yàn)來確定的。根據(jù)前人經(jīng)驗(yàn)，可以參考以下公式設(shè)計(jì)：

其中：n為隱含層節(jié)點(diǎn)數(shù)；m為輸入節(jié)點(diǎn)數(shù)；t為輸出節(jié)點(diǎn)數(shù)；a為1～10之間的常數(shù)。根據(jù)本文要預(yù)測的數(shù)據(jù)及輸入和輸出節(jié)點(diǎn)的個(gè)數(shù)，則取隱含層個(gè)數(shù)為10。

（四）傳輸函數(shù)

BP神經(jīng)網(wǎng)絡(luò)中的傳輸函數(shù)通常采用S（sigmoid）型函數(shù)：

如果BP神經(jīng)網(wǎng)絡(luò)的最后一層是Sigmoid函數(shù)，那么整個(gè)網(wǎng)絡(luò)的輸出就會(huì)限制在0～1之間的連續(xù)；而如果選的是Pureline函數(shù)，那么整個(gè)網(wǎng)絡(luò)輸出可以取任意值。因此函數(shù)選取分別為sigmoid和pureline函數(shù)。

四、BP神經(jīng)網(wǎng)絡(luò)預(yù)測的MATLAB仿真實(shí)驗(yàn)

（一）樣本數(shù)據(jù)的預(yù)處理

本文的樣本數(shù)據(jù)來源于中國歷年國內(nèi)生產(chǎn)總值統(tǒng)計(jì)表，為了讓樣本數(shù)據(jù)在同一數(shù)量級上，首先對BP輸入和輸出數(shù)據(jù)進(jìn)行預(yù)處理：將原樣本數(shù)據(jù)乘上0.0001，同時(shí)將樣本數(shù)據(jù)分為訓(xùn)練樣本集和測試樣本集，1991～1999年我國的三大產(chǎn)業(yè)的各總值的處理結(jié)果作為訓(xùn)練樣本集，即1991～1998年訓(xùn)練樣本作為訓(xùn)練輸入；1999年訓(xùn)練樣本數(shù)據(jù)作為輸出訓(xùn)練輸出；1992～2000年我國的三大產(chǎn)業(yè)的各總值的處理結(jié)果作為測試樣本集，即1992～1999年的測試樣本作為測試輸入，2000年測試樣本數(shù)據(jù)作為測試輸出。

（二）確定傳輸函數(shù)

根據(jù)本文的數(shù)據(jù)，如第3節(jié)所述，本文選取S函數(shù)（tansig）和線性函數(shù)（purelin）。

（三）設(shè)定BP的最大學(xué)習(xí)迭代次數(shù)為5000次。

（四）設(shè)定BP的學(xué)習(xí)精度為0.001；BP的學(xué)習(xí)率為0.1。

（五）創(chuàng)建BP結(jié)構(gòu)如圖4所示；訓(xùn)練BP的結(jié)果圖5所示：

正如圖5所示的數(shù)據(jù)與本文所示設(shè)計(jì)的網(wǎng)絡(luò)模型相符，且如圖5所示當(dāng)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)迭代到99次時(shí)，就達(dá)到了學(xué)習(xí)精度0.000997788，其學(xué)習(xí)速度比較快。

（六）測試BP神經(jīng)網(wǎng)絡(luò)

通過MATLAB對測試樣本數(shù)據(jù)進(jìn)行仿真，與實(shí)際的2000年我國三大產(chǎn)業(yè)的各生產(chǎn)總值比較（見表1），說明BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型是可行的。

五、總結(jié)

總之，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，BP神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于函數(shù)逼近、模式識別/分類、數(shù)據(jù)壓縮等。通過本文可以體現(xiàn)出MATLAB語言在編程的高效、簡潔和靈活。雖然BP在預(yù)測方面有很多的優(yōu)點(diǎn)，但其還有一定的局限性，還需要進(jìn)一步的改進(jìn)。

參考文獻(xiàn)：

[1] 周開利，康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其MATLAB仿真程序設(shè)計(jì)[M].北京：清華大學(xué)出版社，2005.7

[2] 張德豐等.MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)[M].北京：機(jī)械工業(yè)出版社，2009.1

[3] （美）米歇爾（Mitchell，T.M.）著；曾華軍等譯.北京：機(jī)械工業(yè)出版社，2003.1

[4] 豈興明等編著.MATLAB7.0程序設(shè)計(jì)快速入門[M].北京：人民郵電出版社，2009.7

[5] 李正學(xué).神經(jīng)網(wǎng)絡(luò)理論及其在股市短期預(yù)測中的應(yīng)用[D].長春：吉林大學(xué)，2004

作者簡介：

1.程聰（1981——）河南省開封市人 畢業(yè)于河南財(cái)經(jīng)政法大學(xué) 計(jì)算機(jī)應(yīng)用技術(shù)專業(yè) 數(shù)字圖像處理方向

2.阮瑩 河南師范大學(xué)新聯(lián)學(xué)院 畢業(yè)于河南科技大學(xué) 計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)

3.李舸 開封市兒童醫(yī)院 畢業(yè)于河南大學(xué)護(hù)理學(xué)院 兒童護(hù)理智能技術(shù)專業(yè)