摘 要:目前在電子、信息與通信、計算機(jī)等學(xué)科都可以找到人工神經(jīng)網(wǎng)絡(luò)的影子,人工神經(jīng)網(wǎng)絡(luò)可用于動態(tài)系統(tǒng)建模、模式識別、智能控制和故障監(jiān)測等實(shí)際工程問題。神經(jīng)網(wǎng)絡(luò)是一門綜合性很強(qiáng)的交叉學(xué)科,神經(jīng)網(wǎng)絡(luò)具有分布式存儲、并行處理、高容錯能力以及良好的自學(xué)習(xí)、自適應(yīng)、聯(lián)想等特點(diǎn)。目前已經(jīng)提出了多種神經(jīng)網(wǎng)絡(luò)模型,其中應(yīng)用最廣泛的是前饋型神經(jīng)網(wǎng)絡(luò)。而對于前饋型神經(jīng)網(wǎng)絡(luò),對其訓(xùn)練使用最多的方法是BP算法。
關(guān)鍵詞:神經(jīng)網(wǎng)絡(luò);BP算法;網(wǎng)絡(luò)模型
中圖分類號:TP183
1 BP網(wǎng)絡(luò)的定義
誤差反向傳播算法(Error Back Propagation,EBP,簡稱BP)在于利用輸出層的誤差來估計輸出層的直接前導(dǎo)層的誤差,再用這個誤差估計更前一層的誤差。如此下去,就獲得了所有其他各層的誤差估計。這樣就形成了將輸出表現(xiàn)出的誤差沿著與輸入信號傳送相反的方向逐級向網(wǎng)絡(luò)的輸入端傳遞的過程。因此,人們就又將此算法稱為向后傳播算法,簡稱BP算法。使用BP算法進(jìn)行學(xué)習(xí)的多層前向網(wǎng)絡(luò)稱為BP網(wǎng)絡(luò)。雖然這種誤差估計本身的精度會隨著誤差本身的“向后傳播”而不斷降低,但它還是給多層網(wǎng)絡(luò)的訓(xùn)練提供了十分有效的辦法。所以,多年來該算法受到了廣泛的關(guān)注。BP網(wǎng)絡(luò)應(yīng)用廣泛,學(xué)習(xí)采用最小均方差,由輸入層、若干隱層和輸出層構(gòu)成,它是一種典型的前饋網(wǎng)絡(luò)。
圖1 三層神經(jīng)網(wǎng)絡(luò)模型
常用的BP網(wǎng)絡(luò)是三層前向網(wǎng)絡(luò)(如圖1所示),即:輸入層、中間層和輸出層。它的學(xué)習(xí)分為以下幾個過程:由每個神經(jīng)元網(wǎng)絡(luò)的輸入節(jié)點(diǎn)經(jīng)中間層向輸出層的一個正向傳播,若網(wǎng)絡(luò)的實(shí)際輸出與期望輸出有誤差,將這個誤差經(jīng)輸出層到中間層再傳給輸入層調(diào)整權(quán)值再學(xué)習(xí)的一個逆?zhèn)鞑?。通過不斷的學(xué)習(xí),最后的輸出要在誤差范圍之內(nèi)。
2 BP算法的基本思想
BP算法的基本思想歸結(jié)如下:BP網(wǎng)絡(luò)對于輸入信號,通過輸入層傳播到隱含層,經(jīng)過激勵函數(shù)的作用,再將隱含層的輸出作為輸出層的輸入傳播到輸出層,最后輸出結(jié)果。對于每一個輸入樣本,神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出與目標(biāo)輸出不可能完全一樣,兩者之間必然會有一定的誤差,定義均方差為:
3 BP算法的學(xué)習(xí)過程及兩種改進(jìn)算法的思想
學(xué)習(xí)是人工神經(jīng)網(wǎng)絡(luò)最重要的一個特點(diǎn),學(xué)習(xí)的目的在于能對任何一個樣本的輸入通過調(diào)整相關(guān)參數(shù)輸出期望的結(jié)果。學(xué)習(xí)的方法可以從以下幾步闡述:第一步,向神經(jīng)網(wǎng)絡(luò)模型輸入一系列樣本,每一個樣本都有包含輸入和期待的輸出兩部分,把采集到的樣本向神經(jīng)網(wǎng)絡(luò)輸入后,先由第一個隱層進(jìn)行相關(guān)計算然后逐層向下一層傳遞,直到傳至輸出層。第二步,將輸出的結(jié)果與期望輸出的結(jié)果做比較,如果誤差不能滿足要求,就按原來的路徑逐層返回,神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力這時候就要發(fā)揮作用了,它要根據(jù)誤差的結(jié)果對權(quán)值、閥值做適當(dāng)修改,再從第一個隱層開始重復(fù)的計算傳遞,直到輸出的結(jié)果滿足要求。
本文論述的算法都是以三層網(wǎng)絡(luò)結(jié)構(gòu)出發(fā)進(jìn)行討論的。
BP算法的改進(jìn)主要集中在兩個方面:其一是避免陷入局部極小值,一旦陷入要想辦法逃出;其二是改進(jìn)迭代算法,加快收斂速度,較常用的方法是共軛梯度法、Levenberg-Marquardt法等。
BP網(wǎng)絡(luò)學(xué)習(xí)過程收斂速度慢的因素有兩方面:(1)學(xué)習(xí)率s和勢態(tài)因子α在訓(xùn)練中值不變。BP網(wǎng)絡(luò)實(shí)際就是優(yōu)化計算中的梯度下降法,利用輸出的誤差作為對權(quán)值、閥值調(diào)整的參考,目的是確保最終的輸出誤差最小??紤]到算法的收斂性,學(xué)習(xí)率s必須小于某一固定上界。BP網(wǎng)絡(luò)中的學(xué)習(xí)率s和慣性因子α在訓(xùn)練過程中為一固定值。這一限制決定了BP網(wǎng)絡(luò)的收斂速度不可能很快。(2)學(xué)習(xí)過程中出現(xiàn)“假飽和”。實(shí)際輸出和期望輸出的誤差產(chǎn)生以后,通過調(diào)整網(wǎng)絡(luò)訓(xùn)練的權(quán)值,不斷學(xué)習(xí)后這種誤差應(yīng)該越來越小,如果多次學(xué)習(xí)后誤差沒有減小,經(jīng)過一段時間后,誤差才下降,稱這種現(xiàn)象為學(xué)習(xí)過程中的“假飽和”。在BP網(wǎng)絡(luò)中,初始權(quán)值、閾值一般是在一個范圍內(nèi)人為確定的。若作為網(wǎng)絡(luò)輸入的神經(jīng)元的個數(shù)與閾值差別較大,考慮到神經(jīng)元具有飽和非線性特征,那么神經(jīng)元的實(shí)際輸出只有兩種結(jié)果:極大值或極小值。當(dāng)輸出層接收到的神經(jīng)元的總輸入進(jìn)入到飽和區(qū),且實(shí)際輸出與目標(biāo)輸出相互矛盾,就是“假飽和”。這時對權(quán)值作大的修改才行,而實(shí)際上,由于此時導(dǎo)數(shù)值趨近于零,導(dǎo)數(shù)權(quán)值修改量很小。導(dǎo)致學(xué)習(xí)速度下降。對中間層的神經(jīng)元也是一樣。學(xué)習(xí)一旦進(jìn)入“假飽和”狀態(tài),很難退出這種“假飽和”狀態(tài),可能需要一定的時間,有時可能會陷入僵局,要重新開始網(wǎng)絡(luò)訓(xùn)練。
傳統(tǒng)的BP算法主要的優(yōu)點(diǎn)是簡單、易于實(shí)現(xiàn)。但是BP算法有兩個不可克服的缺陷:(1)BP算法很可能陷入局部極小值;(2)收斂速度慢。
像熱導(dǎo)氣體分析儀這類的儀器經(jīng)常會用于一些惡劣而又危險的環(huán)境中,且要求其測量周期短暫,所以系統(tǒng)需要較強(qiáng)的抗震蕩學(xué)習(xí)網(wǎng)絡(luò)?;跓釋?dǎo)傳感器測量的主要因素,提出一種新的BP網(wǎng)絡(luò)學(xué)習(xí)算法,對學(xué)習(xí)因子進(jìn)行模糊自適應(yīng)調(diào)節(jié),這樣系統(tǒng)能夠快速、準(zhǔn)確地將干擾因素與熱導(dǎo)傳感器的原始測量值進(jìn)行擬合,有效減小測量誤差。這種模糊自適應(yīng)算法思想一樣可用于發(fā)電機(jī)匝間短路故障的在線檢測。
4 結(jié)束語
通過以上對BP算法的學(xué)習(xí)與分析總結(jié)如下:(1)傳統(tǒng)的BP算法采用最小均方差的學(xué)習(xí)方式,是使用最廣泛的網(wǎng)絡(luò),可用于語言綜合、語言識別、自適應(yīng)控制等,它是一種典型的前饋網(wǎng)絡(luò),優(yōu)點(diǎn)是簡單、易于實(shí)現(xiàn),缺點(diǎn)是可能陷入局部極小值、收斂速度慢。(2)BP算法的改進(jìn)主要集中在兩個方面:其一是避免陷入局部極小值,一旦陷入要想辦法逃出;其二是改進(jìn)迭代算法,加快收斂速度。(3)多層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中,對學(xué)習(xí)因子進(jìn)行模糊自適應(yīng)調(diào)節(jié),自動調(diào)節(jié)步長、勢態(tài)因子、可以明顯地提高收斂速度和誤差精度。在一些特殊領(lǐng)域的應(yīng)用取得較好的效果。從目前已有的研究成果來看,設(shè)計的模糊自適應(yīng)算法有良好的研究方向。
參考文獻(xiàn):
[1]黃麗.BP神經(jīng)網(wǎng)絡(luò)算法改進(jìn)及應(yīng)用研究[D].重慶師范大學(xué)圖書館,2007.
[2]劉彩紅.BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究[D].重慶師范大學(xué)圖書館,2006.
[3]王建梅,覃文忠.基于L-M算法的BP神經(jīng)網(wǎng)絡(luò)分類器[J].武漢大學(xué)學(xué)報,2005(10):928-931.
作者簡介:王俊平,女,河南駐馬店人,本科,工程碩士,高校講師,研究方向:計算機(jī)應(yīng)用。
作者單位:河南職業(yè)技術(shù)學(xué)院,鄭州 450046