BP神經(jīng)網(wǎng)絡(luò)算法的技術(shù)分析

張 東

（鄭州升達(dá)經(jīng)貿(mào)管理學(xué)院，河南 鄭州 451191）

BP神經(jīng)網(wǎng)絡(luò)算法的技術(shù)分析

張 東

（鄭州升達(dá)經(jīng)貿(mào)管理學(xué)院，河南 鄭州 451191）

本研究通過對BP神經(jīng)網(wǎng)絡(luò)的特點及其原理進(jìn)行簡單介紹，提出當(dāng)前的一些算法改進(jìn)，分析各種算法的優(yōu)缺點，最后對BP神經(jīng)的應(yīng)用現(xiàn)狀進(jìn)行了探討。

人工神經(jīng)網(wǎng)絡(luò)；BP算法；優(yōu)化算法；最佳預(yù)測

本文著錄格式：張東.BP神經(jīng)網(wǎng)絡(luò)算法的技術(shù)分析[J].軟件，2016，37（12）：227-229

0 前言

BP神經(jīng)網(wǎng)絡(luò)又稱人工神經(jīng)網(wǎng)絡(luò)，它是一種模擬動物神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學(xué)研究人腦組織成果的基礎(chǔ)上提出的，用來模擬人類大腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。神經(jīng)網(wǎng)絡(luò)反映了人腦功能的基本特征，如并行信息的處理、學(xué)習(xí)、想象、記憶等。BP神經(jīng)網(wǎng)絡(luò)是由人工神經(jīng)元互連組成的網(wǎng)絡(luò)，以人工神經(jīng)元為節(jié)點，用有向加權(quán)弧連接起來的有向圖，其中人工神經(jīng)元模擬人腦神經(jīng)元，有向弧模擬軸突—突觸—樹突對，有向弧的權(quán)值表示相互連接的兩個人工神經(jīng)元相互作用的強弱。

1 BP神經(jīng)網(wǎng)絡(luò)的基本原理

早在1986年首先由Romelhart和Mc2clelland提出誤差反向傳播算法（Error Back Propagation Algorit hm，簡稱BP算法），由于在應(yīng)用中誤差反向傳播算法常用于多層前反饋網(wǎng)絡(luò)的訓(xùn)練，也常把多層反饋網(wǎng)絡(luò)成為BP網(wǎng)絡(luò)[1]。

BP網(wǎng)絡(luò)模型包括其輸入輸出模型、作用函數(shù)模型、誤差計算模型和自學(xué)習(xí)模型。

1.1 節(jié)點輸出模型

f-非線形作用函數(shù)，q-神經(jīng)單元閾值。

圖一 BP神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)

1.2 作用函數(shù)模型

作用函數(shù)是反映下層輸入對上層節(jié)點刺激脈沖強度的函數(shù)又稱刺激函數(shù)，一般取為(0,1)內(nèi)連續(xù)取值Sigmoid函數(shù)f(x)=1/(1+e-x)

1.3 誤差計算模型

誤差計算模型是反映神經(jīng)網(wǎng)絡(luò)期望輸出與計算輸出之間誤差大小的函數(shù)：

Ep=1/2×∑(tpi-Opi)2 tpi-i節(jié)點的期望輸出值；Opi-i節(jié)點計算輸出值。

1.4 自學(xué)習(xí)模型

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，即連接下層節(jié)點和上層節(jié)點之間的權(quán)重拒陣Wij的設(shè)定和誤差修正過程。BP網(wǎng)絡(luò)有師學(xué)習(xí)方式-需要設(shè)定期望值和無師學(xué)習(xí)方式-只需輸入模式之分。自學(xué)習(xí)模型為△Wij(n+1)= h ×Фi ×Oj+a×△Wij(n) h-學(xué)習(xí)因子；Фi-輸出節(jié)點i的計算誤差；Oj-輸出節(jié)點j的計算輸出；a-動量因子。

2 目前BP神經(jīng)網(wǎng)絡(luò)算法存在的問題及改進(jìn)措施

2.1 BP神經(jīng)網(wǎng)絡(luò)算法存在的問題

①容易陷入局部極小，使得全局達(dá)不到最優(yōu)；

②訓(xùn)練次數(shù)過多，誤差下降緩慢，影響收斂速度，使得學(xué)習(xí)效率低下；

③選取隱節(jié)點是缺乏理論指導(dǎo)。當(dāng)隱節(jié)點過多時，使得網(wǎng)絡(luò)學(xué)習(xí)的時間變長，甚至?xí)l(fā)生不能收斂的情況；當(dāng)隱節(jié)點過少時，網(wǎng)絡(luò)的容錯力較差；

④訓(xùn)練時會發(fā)生學(xué)習(xí)新樣本忘記舊樣本的情況。

2.2 BP神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)措施

針對BP網(wǎng)絡(luò)算法易出現(xiàn)的問題，國內(nèi)外的學(xué)者教授對此進(jìn)行了深入細(xì)致的研究，并提出了一些改進(jìn)措施：

2.2.1 新增動量項。這種方法也可以稱為慣性校正法，可以用下面的權(quán)值調(diào)整公式表示：

μδi(t)yj表示BP神經(jīng)網(wǎng)絡(luò)算法的修正量，其中δi(t)為廣義誤差，yj為神經(jīng)元在第j層的輸出；Δ wij(t-1)為動量項，α是動量系數(shù)。在使用加入動量項這一方法后，可以加快收斂的速度并抑制振蕩。在何玉彬，李新忠所著《神經(jīng)網(wǎng)絡(luò)技術(shù)及其應(yīng)用》中對這一方法做了更加深入的研究和推廣[2]，在該研究中涉及的增廣LPIDBP學(xué)習(xí)算法，就是通過對微分、積分、誤差梯度的比例進(jìn)行組合，從而形成調(diào)節(jié)量。

2.2.2 改變學(xué)習(xí)率。在BP神經(jīng)網(wǎng)絡(luò)中，學(xué)習(xí)率又可稱為步長，BP算法中學(xué)習(xí)率設(shè)定成常數(shù)，但在實際應(yīng)用時，無法確定最佳的學(xué)習(xí)率。通過觀察誤差曲面，在平坦區(qū)域內(nèi)，學(xué)習(xí)率過小會使得訓(xùn)練次數(shù)增加，此時提高學(xué)習(xí)率的作用就十分重要；在誤差變化劇烈的區(qū)域，學(xué)習(xí)率過大會導(dǎo)致調(diào)整量過大，跨過較窄的坑凹處，整個訓(xùn)練會由于出現(xiàn)震蕩使得迭代次數(shù)的增加[3]。在不同的區(qū)域內(nèi)過大過小的學(xué)習(xí)率都會對收斂過程產(chǎn)生不利影響，而進(jìn)行學(xué)習(xí)率的自使用改變，讓學(xué)習(xí)率在改增大的時候增大，在該減小時較小，可以很容易的避免收斂過程過慢的情況。

2.2.3 采用其他梯度優(yōu)化算法。最速下降梯度法自身的特點決定了BP算法收斂速度慢的缺點，最速下降可以使得初期的迭代速度很快接近于極值點[4]，但最終收斂仍需較長時間。因此可以采用擬牛頓法共軛梯度法、Levenberg-Marquardt法克服這一缺點。這些算法的共同特點是二階學(xué)習(xí)算法，當(dāng)誤差曲面接近于極值點附近時，具有很快的收斂速度。

2.2.3.1 擬牛頓法。擬牛頓法在搜索方向下比傳統(tǒng)方法有所改進(jìn)，它可以利用準(zhǔn)則函數(shù)在搜索上的梯度，并且使用了二次倒數(shù)，更好的利用了搜索點提供的信息，使得搜索方向更加精準(zhǔn)的指向最優(yōu)點。它的迭代方程可以表示為：Δw（k+1）=w（k）-D-1▽f（w（k））

擬牛頓法的收斂速度快于一階梯度，但缺點是計算過程較為復(fù)雜，典型的算法有一步正切擬牛頓法、BFGS擬牛頓法[5]。在進(jìn)行應(yīng)用時MATLAB中的工具函數(shù)trainbfg（）、trainoss（）即對應(yīng)擬牛頓法中的BFGS擬牛頓法和一步正切擬牛頓法

2.2.3.2 共軛梯度法。傳統(tǒng)算法收斂速度慢，擬牛頓法計算較為復(fù)雜，但共軛梯度法可以很好的規(guī)避以上兩種缺點。共軛梯度法是一種通過改進(jìn)搜索方向的方法，把計算中前一步驟的梯度乘上適當(dāng)?shù)南禂?shù)，加上該點的梯度，可以得到新的搜索方向。它的迭代方程可以表示為：Δw（k+1）=w（k）+ρ（k）S（k） ρ（k）為最佳步長

共軛梯度法比大多常規(guī)的梯度下降法收斂速度更快，且只需要增加有限的存儲量和計算量[6]。當(dāng)進(jìn)行權(quán)值較多的神經(jīng)網(wǎng)絡(luò)計算時，尤其適用共軛梯度法。在實際應(yīng)用時MATLABz中的traincgb（）、traincgf（）、traincgp（）工具函數(shù)即為共軛梯度法。

2.2.3.3 Levenberg-Marquardt法。Levenberg-Marquardt法其實是傳統(tǒng)算法和牛頓法的結(jié)合體，它具有在權(quán)值數(shù)較少是比傳統(tǒng)算法和其他改進(jìn)算法的迭代次數(shù)少，收斂速度快，精確度高等優(yōu)點。但由于該算法較為復(fù)雜，運用時會占用大量的內(nèi)存空間，花費更多的計算時間。在應(yīng)用時MATLAB中的teainlm（）工具函數(shù)即為Levenberg-Marquardt法的改進(jìn)算法。

2.2.4 結(jié)合遺傳算法和退火算法。立足于目前網(wǎng)絡(luò)算法的利用情況，遺傳算法和模擬退火算法作為典型研究對象，相關(guān)學(xué)者對其研究程度也最為深入，偏向于采用數(shù)值優(yōu)化的方法，泛化性能較為完善且局部極小值相對穩(wěn)定[7]?；诖?，限于篇幅內(nèi)容，本研究僅對遺傳算法和模擬退火法進(jìn)行探討。

①遺傳算法（GA）?；贐P神經(jīng)網(wǎng)絡(luò)算法改進(jìn)，遺傳算法具備模擬自然進(jìn)化機制的特點，與進(jìn)化策略、進(jìn)化規(guī)劃等方面具有一定聯(lián)系[8]。其中，應(yīng)用最廣的遺傳算法有兩個明顯的特點，即群體搜索策略和群體與個體信息交換。以參數(shù)編碼、設(shè)定初始群體、設(shè)計適應(yīng)度函數(shù)、設(shè)計遺傳操作（選擇、交叉、變異）、設(shè)計控制參數(shù)為遺傳算法的核心五要素，確定BP網(wǎng)絡(luò)的結(jié)構(gòu)權(quán)值、閥值選定程序。并且，遺傳操作中的交叉和變異是算法優(yōu)化的關(guān)鍵步驟，交叉保證子代對父代優(yōu)良特點的繼承，變異則為群體的多樣性提供了可能，較易跳出局部極值（滿足評價個體適應(yīng)度）。

文獻(xiàn)6是利用遺傳算法對神經(jīng)網(wǎng)絡(luò)優(yōu)化的步驟做了詳細(xì)闡述。文獻(xiàn)7對遺傳算法進(jìn)行了權(quán)值優(yōu)化的仿真實驗，以證明其精度、效率、簡易型均優(yōu)于傳統(tǒng)算法。此外文獻(xiàn)8遺傳算法在優(yōu)化權(quán)值和優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)上做了有益的探索[9]，該算法中五要素的仍有較大的設(shè)計隨意性，導(dǎo)致算法的成功與否還得依靠算法設(shè)計人員的經(jīng)驗和反復(fù)耐心的操作。

②模擬退火算法（SA）。由于該種算法有金屬的物理退火具有一定的相似性，因而得此名稱。模擬退火法是通過利用Metropolis抽樣中的概率突跳特點進(jìn)行隨機搜索，隨著溫度的下降，抽樣不斷重復(fù)，直到最終得到最優(yōu)解。通過馬氏鏈可以得出：初始溫度足夠高，溫度下降足夠慢的情況下，SA是收斂的。模擬退火算法可有效避免局部極小值，達(dá)到全局優(yōu)化功效，正由于這一特點使得該算法過程時間較長。文獻(xiàn)9對比了遺傳算法和模擬退火法，得出了模擬退火法比傳統(tǒng)算法更好，但由于模擬退火法是點對點搜索的優(yōu)化，許多算法參數(shù)選擇困難，其總體性能不如遺傳算法。

3 BP神經(jīng)網(wǎng)絡(luò)算法的應(yīng)用

結(jié)合BP神經(jīng)網(wǎng)絡(luò)算法的實際問題，重點論述最優(yōu)預(yù)測的應(yīng)用案例，聯(lián)系實踐生產(chǎn)活動以達(dá)到BP神經(jīng)網(wǎng)絡(luò)預(yù)測方法的優(yōu)化目標(biāo)。在日常實踐活動中，通過BP神經(jīng)網(wǎng)絡(luò)建立模擬人腦活動的模型，使其具有大規(guī)模處理信息的能力、自訓(xùn)練學(xué)習(xí)能力等，可以用于輿情預(yù)測、銷售預(yù)測、股市預(yù)測等。并且，在BP神經(jīng)網(wǎng)絡(luò)應(yīng)用實際生活生產(chǎn)前，由網(wǎng)絡(luò)輿情危機構(gòu)成的預(yù)警研究也已構(gòu)成雛形，結(jié)合BP神經(jīng)網(wǎng)路算法應(yīng)用機制，構(gòu)建科學(xué)、系統(tǒng)、可行的預(yù)警指標(biāo)體系對其具備防范功效，轉(zhuǎn)入非線性關(guān)系演算程序，打破局部最小值誤區(qū)（選擇全局搜索、優(yōu)化算法），從而具有樣本記憶和聯(lián)想的能力。以2015年中期河南省文化類網(wǎng)絡(luò)輿情相關(guān)事件為例，整合媒體分析內(nèi)容，以教育、文脈、媒體三個關(guān)鍵詞作為此次突發(fā)事件的典型代表，利用BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行具體分析[10]。在此期間，經(jīng)由網(wǎng)絡(luò)預(yù)測的實際訓(xùn)練，依據(jù)網(wǎng)絡(luò)輿情危機等級與網(wǎng)絡(luò)輿情傳播階段結(jié)合趨勢，明確優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值及閥值，結(jié)合MATLAB工具箱、預(yù)警模型所占據(jù)的數(shù)據(jù)比例，轉(zhuǎn)用BP神經(jīng)網(wǎng)絡(luò)預(yù)測方法的精度效應(yīng)，便于縮減預(yù)測結(jié)果的真實數(shù)值偏離程度，具備較強的適用性[11]。

4 結(jié)語

BP神經(jīng)網(wǎng)絡(luò)算法可對社會生產(chǎn)生活進(jìn)行預(yù)測監(jiān)控和圖像壓縮編碼過程等，但BP神經(jīng)網(wǎng)絡(luò)固有的最速下降梯度機制[12]，導(dǎo)致其收斂速度慢，存在局部極小等問題。在實際生活中，明確BP神經(jīng)網(wǎng)絡(luò)的基本原理，依據(jù)原有的實際問題，從新增動量項、改變學(xué)習(xí)率、采用其他梯度優(yōu)化算法、結(jié)合遺傳算法和退火算法等方面入手探究改進(jìn)優(yōu)化舉措[13]，使改進(jìn)后的算法更加適用于生產(chǎn)生活中。此外，BP神經(jīng)網(wǎng)絡(luò)算法已在實際生活中有所應(yīng)用，尤以網(wǎng)絡(luò)輿情危機演示為典型特征，希望本研究對BP神經(jīng)網(wǎng)絡(luò)算法的研究發(fā)展有所裨益。

[1] 劉載文,等.過程神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí)算法及軟測量方法的研究[J].系統(tǒng)仿真學(xué)報,2007,19(70):1456-1459.

[2] 王益群,等.神經(jīng)網(wǎng)絡(luò)軟測量模型中全共軛梯度算法研究[J].機械工程學(xué)報,2005,41(6):97-101.

[3] 鐘珞,饒文碧,鄒承明.人工神經(jīng)網(wǎng)絡(luò)及其融合應(yīng)用技術(shù)[M].北京:科學(xué)出版社,2007.

[4] 郭敬,董彥良,趙克定.基于混合優(yōu)化策略的自回歸—滑動平均模型建模[J].機械工程學(xué)報,2007,43(4):229-233.

[5] 候祥林,等.多層人工神經(jīng)網(wǎng)絡(luò)合理結(jié)構(gòu)的確定方法[J].東北大學(xué)學(xué)報(自然科學(xué)版),2003,24(1):35-38.

[6] 王益群,等.基于基于神經(jīng)網(wǎng)絡(luò)的熱軋帶鋼卷取溫度預(yù)報[J].中國機械工程,2005,16(11):990-992.

[7] Randall S.Sexton,Robert E.Dosey,John D.Johnson.To-ward global optimization of network:A comparison of the ge-netic algorithm and back propagation.Decision Support Sys-tems,1998.22:171～185

[8] Randall S.Sexton,JatinderN.D.Gupta.Comparative eval-uation of genetic algorithm and back propagation for trainingneural networks.Information Sciences,2000.129:45～59

[9] Randall S.Sexton,Robert E.Dorsey,John D.Johnson.Optimization of neural networks:A comparative analysis ofthe genetic algorithm and simulated annealing. European Journal of Operational Research,1999.114:589～601

[10] Wang S, Liu Z, Sun Q, Zou H, Yang F. Towards an accurate evaluation of quality of cloud service in service-oriented cloud computing. Journal of Intelligent Manufacturing,2014,25(2):283-291.

[11] 張 雁，王 棵，劉玉連，等. 基于微信平臺的計算機專業(yè)學(xué)習(xí)通[J]. 軟件，2016，37（4）：115-118

[12] 胡 健，王理江. 數(shù)據(jù)挖掘在選課推薦中的研究[J]. 軟件，2016，37（4）：119-121

[13] 鄒積凱. 公安系統(tǒng)應(yīng)急平臺建設(shè)及資源應(yīng)用研究[J]. 軟件，2016，37（4）：122-125

Technical Analysis of BP Neural Network Algorithm

Zhang Dong

（Zhengzhou Shengda Economics and Trade Management College, Zhengzhou,Henan 451191）

This study through the BP neural network and the characteristics of the principle of a simple introduction,some of the current algorithm to improve the analysis of the advantages and disadvantages of various algorithms, and finally the application of the BP nerve was discussed.

artificial neural network; BP algorithm; optimization algorithm; the best prediction

TP183

A

10.3969/j.issn.1003-6970.2016.12.049

張東（1988—），男，河南鄭州人，助教、網(wǎng)絡(luò)工程師，鄭州升達(dá)經(jīng)貿(mào)管理學(xué)院教師，研究方向：計算機網(wǎng)絡(luò)安全及算法分析。