BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用

張 敬 玲

(無錫商業(yè)職業(yè)技術(shù)學(xué)院 現(xiàn)代教育中心，江蘇 無錫 214153)

?

BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用

張 敬 玲

(無錫商業(yè)職業(yè)技術(shù)學(xué)院 現(xiàn)代教育中心，江蘇 無錫 214153)

回顧了人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史，分析了BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，對(duì)BP神經(jīng)網(wǎng)絡(luò)在函數(shù)逼近、模式識(shí)別、分類應(yīng)用、數(shù)據(jù)壓縮等方面的應(yīng)用進(jìn)行了綜述.

BP神經(jīng)網(wǎng)絡(luò)；應(yīng)用；結(jié)構(gòu)；綜述

人工神經(jīng)網(wǎng)絡(luò)技術(shù)的誕生為處理眾多不確定、不完整的數(shù)據(jù)提供了一個(gè)嶄新的途徑，尤其是BP神經(jīng)網(wǎng)絡(luò)，它在函數(shù)逼近、模式識(shí)別、分類應(yīng)用、數(shù)據(jù)壓縮等方面得到了廣泛的應(yīng)用.本文主要介紹BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用情況.

1 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史

人工神經(jīng)網(wǎng)絡(luò)是根據(jù)人類神經(jīng)的活動(dòng)而建立的模仿人類大腦神經(jīng)活動(dòng)的數(shù)學(xué)模型.神經(jīng)網(wǎng)絡(luò)的研究經(jīng)歷了30多年，回看它的發(fā)展歷史，可以劃分為三個(gè)階段.第一階段：?jiǎn)⒚呻A段.1890年美國心理學(xué)家W·James著的《心理學(xué)原理》，首次提出了人腦結(jié)構(gòu)與功能的聯(lián)系.數(shù)學(xué)家Pitts和生理學(xué)家Mcculloch給出了首個(gè)神經(jīng)元的數(shù)學(xué)模型，即M-P模型，并深入研究了基于神經(jīng)元模型的若干個(gè)基本元件互相連接的潛在功能.Hebb于1949年在《行為構(gòu)成》中首次提出了改變神經(jīng)元連接強(qiáng)度的Hebb規(guī)則.1958年感知器(Perceptron)的概念首先由計(jì)算機(jī)學(xué)家Rosenblant引入，并構(gòu)造出了人類第一個(gè)人工神經(jīng)網(wǎng)絡(luò).第二階段：低潮階段.Minsky在《Preceptron》一書中指出，線性感知器的功能是有限的，它無法解決線性不可分的兩類樣本的分類問題.這就給眾多的學(xué)者潑了一盆冷水，并導(dǎo)致美國及前蘇聯(lián)的一些科研機(jī)構(gòu)紛紛停止對(duì)此類項(xiàng)目的資助,以至于這個(gè)領(lǐng)域的眾多學(xué)者被迫轉(zhuǎn)向其他課題的研究.這一階段長達(dá)10年.第三階段：發(fā)展階段.1982年Hopfield在美國國家科學(xué)院的刊物上提出了著名的Hopfield模型，引入了“能量函數(shù)”的概念，論述了在一定條件下網(wǎng)絡(luò)可以達(dá)到穩(wěn)定的狀態(tài).這引起了工程界的莫大興趣.1986年美國David E.Rumelhart和James L.Mccelland發(fā)表了《并行分布式處理》一文，文中對(duì)認(rèn)知的微觀研究進(jìn)行了論證，對(duì)具有非線性的、連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)的誤差反向傳播算法(即BP算法)進(jìn)行了詳細(xì)的分析,解決了長期以來無權(quán)值調(diào)整有效算法的難題.BP算法至今一直在廣泛運(yùn)用.[1-4]

2 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

組成人工神經(jīng)網(wǎng)絡(luò)的基本單元是神經(jīng)元，它本身十分簡(jiǎn)單.按照計(jì)算或者表示，它不具有強(qiáng)大的功能，但龐大的神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元組成的，有高超的信息處理能力，神經(jīng)網(wǎng)絡(luò)的超強(qiáng)功能與其大規(guī)模并行連接、非線性處理及互連結(jié)構(gòu)的可塑性密切相關(guān)，因此，要遵循一定的規(guī)則才能將神經(jīng)元互連成網(wǎng)絡(luò).連接方式的不同決定了神經(jīng)網(wǎng)絡(luò)可分為兩大類，即相互連接型網(wǎng)絡(luò)和無反饋的前向網(wǎng)絡(luò).BP網(wǎng)絡(luò)是一種典型單向傳播的多層前向網(wǎng)絡(luò).BP算法又稱誤差反向傳播算法，在神經(jīng)網(wǎng)絡(luò)的研究中具有悠久的歷史，其核心是梯度下降法，即由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過程組成.正向傳播時(shí)，樣本數(shù)據(jù)從輸入層輸入，經(jīng)隱層處理后，傳向輸出層.若輸出層的實(shí)際輸出值與期望值有出入，則轉(zhuǎn)向誤差的反向傳播階段.誤差反傳是將輸出誤差通過隱層向輸入層方向逐層反傳，并將誤差分派給各層中的每個(gè)單元，所有單元獲得誤差信號(hào)后，會(huì)將此誤差信號(hào)作為修正各單元權(quán)值的依據(jù).其構(gòu)造包括輸入層、隱層及輸出層，隱層可以為一層到多層.每層上的神經(jīng)元稱作節(jié)點(diǎn)或單元.同層節(jié)點(diǎn)無任何耦合.每一層節(jié)點(diǎn)的輸出只影響下一層節(jié)點(diǎn)的輸入[1].BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用

3.1 函數(shù)逼近的應(yīng)用

非線性是BP的特點(diǎn)之一.這源于BP神經(jīng)網(wǎng)絡(luò)在理論上可以以任意精度逼近任何非線性映射.如文獻(xiàn)[5]設(shè)計(jì)了一個(gè)三層BP網(wǎng)絡(luò)以完成非線性函數(shù)逼近的任務(wù)，網(wǎng)絡(luò)結(jié)構(gòu)為：輸入和輸出層各一個(gè)，隱層七個(gè).訓(xùn)練次數(shù)為1000，學(xué)習(xí)速率為0.01，訓(xùn)練誤差為0.0001，試驗(yàn)結(jié)果表明，BP神經(jīng)網(wǎng)絡(luò)能對(duì)非線性函數(shù)進(jìn)行很好的逼近.文獻(xiàn)[6]利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了曲線擬合，由于設(shè)置了20個(gè)節(jié)點(diǎn)，選取了合適的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)經(jīng)過100步的訓(xùn)練得到了各節(jié)點(diǎn)之間的權(quán)值和閾值，得出了滿足不同精度要求的用戶的擬合曲線.文獻(xiàn)[7]利用串聯(lián)BP神經(jīng)網(wǎng)絡(luò)多函數(shù)擬合，在研究神經(jīng)網(wǎng)絡(luò)對(duì)非線性函數(shù)擬合的過程中發(fā)現(xiàn)，一個(gè)網(wǎng)絡(luò)同時(shí)只能對(duì)一個(gè)函數(shù)進(jìn)行擬合，為了實(shí)現(xiàn)多個(gè)非線性函數(shù)的擬合，將多個(gè)BP神經(jīng)網(wǎng)絡(luò)串聯(lián)組成一個(gè)BP神經(jīng)網(wǎng)絡(luò)，并在訓(xùn)練樣本中加入噪聲信號(hào)，經(jīng)過342次訓(xùn)練后擬合，誤差為0.000 978.串聯(lián)BP神經(jīng)網(wǎng)絡(luò)能很好地對(duì)兩個(gè)待擬合函數(shù)進(jìn)行擬合.BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)可以直接影響網(wǎng)絡(luò)對(duì)函數(shù)的逼近能力和效果，利用神經(jīng)網(wǎng)絡(luò)進(jìn)行非線性擬合具有擬合速度快、精度高的特點(diǎn).

3.2 模式識(shí)別的應(yīng)用

BP神經(jīng)網(wǎng)絡(luò)的信息處理原理建立在模式聯(lián)想的基礎(chǔ)上，通過自組織或?qū)W習(xí)訓(xùn)練的網(wǎng)絡(luò)具有強(qiáng)有力的模式識(shí)別能力，與傳統(tǒng)的模式識(shí)別系統(tǒng)相比，它表現(xiàn)出明顯的優(yōu)越性.文獻(xiàn)[8]利用BP神經(jīng)網(wǎng)絡(luò)基于熵類誤差準(zhǔn)則函數(shù)進(jìn)行模式識(shí)別時(shí)，提出要避免“過學(xué)習(xí)”現(xiàn)象，在模式識(shí)別訓(xùn)練中，從關(guān)注總體誤差效應(yīng)改為重視個(gè)體誤差效應(yīng)，因此，提出誤差逼近度ER的取值為0.1，它在眾多的模式識(shí)別應(yīng)用中，能夠快速鑒別出相應(yīng)的模式.文獻(xiàn)[9]采用動(dòng)態(tài)、系統(tǒng)地調(diào)整學(xué)習(xí)率η、動(dòng)量因子α、斜率λ等參數(shù)的方法對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了研究，改進(jìn)了BP網(wǎng)絡(luò)的收斂速度，降低了異常值誤差帶來的影響，同時(shí)令網(wǎng)絡(luò)陷入局部極小的可能性大大降低，從而提高了BP網(wǎng)絡(luò)模式的識(shí)別能力.將這一成果應(yīng)用在汽車工業(yè)生產(chǎn)線上的零件識(shí)別中，取得了非常滿意的結(jié)果.BP神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中容易受到噪聲的影響，因此，在應(yīng)用中還有待于進(jìn)一步改進(jìn).

3.3 分類應(yīng)用

BP神經(jīng)網(wǎng)絡(luò)作為非線性的數(shù)學(xué)模型，經(jīng)過一定的訓(xùn)練之后，能夠辨識(shí)隱藏在數(shù)據(jù)背后的一些復(fù)雜規(guī)律.文獻(xiàn)[10]利用神經(jīng)網(wǎng)絡(luò)分別以典型金礦、銅礦做礦床規(guī)模和類型分類，結(jié)果表明，BP 神經(jīng)網(wǎng)絡(luò)收斂速度快，具有較高的學(xué)習(xí)效率，能夠很好地對(duì)數(shù)據(jù)進(jìn)行分類.文獻(xiàn)[11]利用BP神經(jīng)網(wǎng)絡(luò)基于LM算法的特點(diǎn)在遙感影像的分類中進(jìn)行了應(yīng)用，僅用79次訓(xùn)練就達(dá)到了設(shè)定的收斂精度，分類過程僅持續(xù)了32 s，分類精度明顯提高，這進(jìn)一步驗(yàn)證了BP是一個(gè)很好的分類器.用BP神經(jīng)網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)進(jìn)行分類仍存在許多亟待解決的問題，如神經(jīng)網(wǎng)絡(luò)最佳結(jié)構(gòu)的確定、參數(shù)選擇等.

3.4 數(shù)據(jù)壓縮應(yīng)用

近年來，數(shù)據(jù)壓縮方法獲得了很大的發(fā)展，已出現(xiàn)了多種壓縮方法，這在傳輸過程中可以提高傳輸效率.文獻(xiàn)[12]利用人工神經(jīng)網(wǎng)絡(luò)對(duì)圖像數(shù)據(jù)進(jìn)行了壓縮研究，網(wǎng)絡(luò)訓(xùn)練時(shí)間明顯下降；將BP神經(jīng)網(wǎng)絡(luò)用于空間流體實(shí)驗(yàn)圖像壓縮中，取得了較高的壓縮比及較好的重建圖像質(zhì)量，而且訓(xùn)練好的網(wǎng)絡(luò)魯棒性也較高.文獻(xiàn)[13]利用BP神經(jīng)網(wǎng)絡(luò)，采用改進(jìn)的最速梯度下降法設(shè)計(jì)網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)輸入層神經(jīng)元為64個(gè)，隱含層神經(jīng)元數(shù)目可變，輸出層神經(jīng)元為64個(gè)，網(wǎng)絡(luò)訓(xùn)練次數(shù)為200次，目標(biāo)誤差為0.1，動(dòng)量因子α為0.4，學(xué)習(xí)速率η為0.02，仿真結(jié)果表明，其所設(shè)計(jì)的網(wǎng)絡(luò)圖像壓縮效果良好，并具有較好的泛化能力，與傳統(tǒng)的圖像壓縮技術(shù)對(duì)圖像進(jìn)行無損或有損的編碼壓縮技術(shù)相比，BP神經(jīng)網(wǎng)絡(luò)技術(shù)的非線性、容錯(cuò)性、自組織性和自適應(yīng)性在數(shù)據(jù)壓縮技術(shù)中得到廣泛應(yīng)用，并大大簡(jiǎn)化了數(shù)據(jù)壓縮的復(fù)雜性.

4 結(jié)語

BP神經(jīng)網(wǎng)絡(luò)以其獨(dú)特的性質(zhì)為函數(shù)逼近、模式識(shí)別、分類應(yīng)用、數(shù)據(jù)壓縮研究提供了全新的途徑，目前，BP神經(jīng)網(wǎng)絡(luò)已被運(yùn)用到許多方面，如模式識(shí)別、預(yù)測(cè)、自動(dòng)控制等，相信在以后的研究和發(fā)展中，BP 神經(jīng)網(wǎng)絡(luò)的應(yīng)用會(huì)更加廣泛，研究者也會(huì)取得更多的成就.

[1] 韓力群.人工神經(jīng)網(wǎng)絡(luò)教程 [M].北京：北京郵電大學(xué)出版社,2006：59-79.

[2] 程冰.模糊神經(jīng)網(wǎng)絡(luò)研究 [D].廣州：廣東工業(yè)大學(xué)，2005.

[3] 王立新.模糊系統(tǒng)與模糊控制教程 [M].北京：清華大學(xué)出版社，2003：231-236.

[4] 張永忠.一種新的模糊系統(tǒng)建模方法研究與應(yīng)用 [J].冶金自動(dòng)化，2004，28(21)：9-12.

[5] 吳正茂，羅健.利用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)函數(shù)逼近 [J].長江工程職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2005(6)：50-52.

[6] 盛仲飆，同曉榮.BP神經(jīng)網(wǎng)絡(luò)在曲線擬合中的應(yīng)用 [J].科學(xué)技術(shù)與工程，2001(10):6998-7000

[7] 陳旭偉，傅剛，陳環(huán).基于串聯(lián)BP神經(jīng)網(wǎng)絡(luò)多函數(shù)擬合的研究設(shè)計(jì) [J].現(xiàn)代電子技術(shù)，2013(11)：14-16.

[8] 王宗炎，洪振華.BP網(wǎng)學(xué)習(xí)算法的改進(jìn)及其在模式識(shí)別中的應(yīng)用 [J].南京航空航天大學(xué)學(xué)報(bào)，1994(11)：216-223.

[9] 姜立芳，劉泊，施蓮輝.一種改進(jìn)的BP算法及其在模式識(shí)別中的應(yīng)用 [J].哈爾濱理工大學(xué)學(xué)報(bào)，2003(8)：91-92.

[10] 陰江寧，肖克炎，李楠，等.BP神經(jīng)網(wǎng)絡(luò)在化探數(shù)據(jù)分類中的應(yīng)用 [J].地質(zhì)通報(bào)，2010(10)：1564-1571.

[11] 都業(yè)軍，周肅，斯琴其其格，等.人工神經(jīng)網(wǎng)絡(luò)在遙感影像分類中的應(yīng)用與對(duì)比研究 [J].測(cè)繪科學(xué)，2010(4)：120-121.

[12] 鄭建華.BP神經(jīng)網(wǎng)絡(luò)在空間流體實(shí)驗(yàn)數(shù)據(jù)壓縮中的應(yīng)用 [J].中國圖像圖形學(xué)報(bào),2001(6)：219-222.

[13] 張習(xí)民,卓東風(fēng).BP神經(jīng)網(wǎng)絡(luò)在圖像壓縮中的應(yīng)用研究 [J].河南教育學(xué)院學(xué)報(bào):自然科學(xué)版,2010(6)：28-32.

責(zé)任編輯：金 欣

Application of BP neural network

ZHANG Jing-ling

(Department of Computer Engineering,Wuxi Institute of Commerce, Wuxi, Jiangsu 214153, China)

This paper reviews the development of artificial neural networks, and analyzes the structure of BP neural network, BP neural network function approximation, pattern recognition, application of classification, and data compression.

BP neural networks; application; structure; review

2014-11-04

張敬玲(1968-)，女，河北石家莊人，無錫商業(yè)職業(yè)技術(shù)學(xué)院副教授,碩士，研究方向：計(jì)算機(jī)應(yīng)用及人工智能技術(shù).

1009-4873(2015)04-0034-03

TP183

A