BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法淺談

摘 要：隨著人工智能及機(jī)器學(xué)習(xí)的飛速發(fā)展，數(shù)據(jù)在網(wǎng)絡(luò)傳播中的應(yīng)用日益增多，BP神經(jīng)網(wǎng)絡(luò)及數(shù)據(jù)分類也成為大家研究的一個熱點領(lǐng)域。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)采用了梯度下降法（也稱之為最速下降法），作為比較古老的方法之一，這種方法在求解無約束優(yōu)化問題上沿用了很長一段時間，盡管現(xiàn)在使用的較少，大它的很多算法都為后來的很多優(yōu)秀算法提供了基礎(chǔ)。L-M方法（Levenberg—Marquardt）LM方法是通過在Hessian矩陣上加一個正定矩陣來進(jìn)行分析評估的方法，是最優(yōu)化算法中的一種。

關(guān)鍵詞：人工智能；BP神經(jīng)網(wǎng)絡(luò)；梯度下降

中圖分類號：TP183

“人腦究竟是怎么工作的？”“我們能夠模擬人腦的人工神經(jīng)元？”這些年，人們不斷的努力嘗試去解答這個問題，并通過各種技術(shù)方法來試圖破解這個難題，在探索的過程中，BP神經(jīng)網(wǎng)絡(luò)出現(xiàn)了，作為一個多領(lǐng)域?qū)W科交叉的匯聚點，它收到極大的關(guān)注和青睞，每個學(xué)科的專家都從自己學(xué)科出發(fā)進(jìn)行了深入的研究和探索，并且取得了很好的效果，BP神經(jīng)網(wǎng)路在各個領(lǐng)域都得到了推廣和實際應(yīng)用。模式識別一個非常直觀并且存在與我們身邊的每個細(xì)節(jié)中的一個活動不管是我們出行選擇路線還是對天氣質(zhì)量的感知抑或?qū)κ澄镂队X所作出的判斷都可以成為模式識別的一個過程，不管是人還是動物，對于模式識別來說并不是難事，但是想讓機(jī)器能夠和人或者動物一樣來進(jìn)行學(xué)習(xí)、分類、感知則是一件很困難的過程，如何讓機(jī)器能識別、分類，這就是我們要深入研究的一個問題，在模式識別中作為一個重點BP神經(jīng)網(wǎng)絡(luò)這門學(xué)科這些年取得了深入的研究和廣泛的突破。

BP網(wǎng)絡(luò)在模擬人腦，達(dá)到自主學(xué)習(xí)功效的過程中被不斷的完善和優(yōu)化，并且滲透到各個領(lǐng)域。BP神經(jīng)網(wǎng)絡(luò)與其他網(wǎng)絡(luò)不同，它不用解釋和描述在數(shù)學(xué)方程中出現(xiàn)的映射關(guān)系，就能夠自主的取學(xué)習(xí)和保存大規(guī)模的IN-OUT模式的映射關(guān)系。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)采用了梯度下降法（也稱之為最速下降法），在，作為比較古老的方法之一，這種方法在求解無約束優(yōu)化問題上沿用了很長一段時間，盡管現(xiàn)在使用的較少，大它的很多算法都為后來的很多優(yōu)秀算法提供了基礎(chǔ)。

梯度下降法的搜索方向是負(fù)的梯度方向，其步長越小，并且越能夠接近目標(biāo)，則前進(jìn)的速度就會越慢。為使網(wǎng)絡(luò)中的誤差平方和達(dá)到最小，需要不斷調(diào)整網(wǎng)絡(luò)權(quán)值和閾值。BP神經(jīng)網(wǎng)絡(luò)的模型包含了幾部分：輸入層（input）、隱層（hide layer）和輸出層（output layer）。在分布式的存儲數(shù)據(jù)的過程中，我們使用BP網(wǎng)絡(luò)中的權(quán)值來代表一定的信息，當(dāng)某部分收到影響時，網(wǎng)絡(luò)仍然能夠恢復(fù)到原來的信息數(shù)據(jù)；在對數(shù)據(jù)信息進(jìn)行處理的過程中，具有一定的并行性；在BP神經(jīng)網(wǎng)絡(luò)中，每一個獨立的神經(jīng)元都能夠依據(jù)它多得到的數(shù)據(jù)信息做獨立的分析、處理，處理以后的結(jié)果向外傳遞，這個過程中，數(shù)據(jù)和信息的處理都反映了自我組織和自我學(xué)習(xí)的特點，而神經(jīng)元學(xué)習(xí)的過程也體現(xiàn)在其通過改變連接權(quán)值和閾值來主動的適應(yīng)周圍新的變化。

L-M方法（Levenberg—Marquardt）LM方法是一種通過把所選擇的正定矩陣添加到Hessian矩陣的方法，主要用來做評估工作，LM方法的工作過程實際上時去發(fā)現(xiàn)一個最小函數(shù)的參數(shù)向量。Levenberg—Marquardt作為最優(yōu)化算法之一，被用在我們生活中的很多方面，并且得到了很快速的發(fā)展和優(yōu)化。Levenberg—Marquardt依據(jù)倒數(shù)的方法通常被分為2個部分。在第一部分中，當(dāng)F為解析函數(shù)，那么當(dāng)我嗎知道X后，在尋找導(dǎo)數(shù)的過程中，速度會得到明顯的提升。在第二部分中，我們通過數(shù)值差分來計算我們需要的導(dǎo)數(shù)。L-M方法（Levenberg—Marquardt）依據(jù)模型，又分為主要的三種，分別是最小二乘的最優(yōu)化、約束的最優(yōu)化以及非約束的最優(yōu)化。

BP神經(jīng)網(wǎng)絡(luò)的原理：通常BP神經(jīng)網(wǎng)絡(luò)兩層前饋神經(jīng)網(wǎng)絡(luò)，Sigmoid是其激勵函數(shù)。BP神經(jīng)網(wǎng)絡(luò)的基本思想：通過梯度下降法，根據(jù)我們之前所期望的實際的輸出與輸出之間的平方誤差值最小，我們從輸出層開始，一層一層額來修正權(quán)系數(shù)。在修正的過程中，整個周期分為兩個階段：第一個階段為前向傳播階段，第二個階段為反向傳播階段。

BP所采用S的函數(shù)，在輸出的過程中一般不宜設(shè)為1或者0，我們可以將其可設(shè)置為0.9或者0.1。權(quán)系數(shù)的初始化過程為：不應(yīng)該將初始值的設(shè)置的一樣，否則容易在學(xué)習(xí)的過程中一直保持不變，我們可以將其設(shè)置為隨機(jī)值。在步長的選擇過程中：我們可以將其設(shè)置為可變的步長，用來防止震蕩。在局部最小的問題中：BP神經(jīng)網(wǎng)絡(luò)的算法是屬于非線性優(yōu)化的算法，如果我們初始值設(shè)置的不合適的話，容易造成陷入局部極小的情況。前饋網(wǎng)絡(luò)結(jié)構(gòu)：輸入節(jié)點數(shù)是模式的維數(shù)，輸出節(jié)點數(shù)一般是類別的量，隱層節(jié)點的數(shù)量目前還沒有明確的方法用來確定。

通過實驗我們利用BP神經(jīng)網(wǎng)絡(luò)對線性不可分的樣本集進(jìn)行了分類，通過分析分類實驗后的實驗結(jié)果我們可以看出：我們使用線性的不可分的數(shù)據(jù)樣本集來對分類器進(jìn)行訓(xùn)練：通過實驗我么可以看出BP神經(jīng)網(wǎng)絡(luò)能夠很好的適用這些數(shù)據(jù)樣本集合，并且通過使用L-M優(yōu)化算法，我們大大縮短了實驗訓(xùn)練的時間，同時也很好的降低了迭代次數(shù)，相比較traingdm算法而言，我們使用BP神經(jīng)網(wǎng)絡(luò)所做的工作使得算法效率得到了很好的提高。整個BP神經(jīng)網(wǎng)絡(luò)實驗如下：在BP神經(jīng)網(wǎng)絡(luò)中對之前的線性不可分?jǐn)?shù)據(jù)樣本集進(jìn)行分類，我們得到了運(yùn)行時間：Elapsed time is 1.417897 seconds。

A=Columns 1 through 9

1.0415 0.9667 0.9916 0.990 0.0319 0.650 0.048 -0.043 0.0519 1.0794 1.0450 1.0804 1.0389 1.0097 1.0512 1.0314 1.0329 1.0310

A=Columns 10 through 12

-0.0019 0.9765 0.2385

0.9651 1.0132 1.0195

MSE =0.0089實驗截圖如下：

圖1

圖2

通過上述實驗，我們能夠看出，當(dāng)我們所給的輸入的樣本矢量是屬于線性不可分的的時候，所以我們利用train函數(shù)來針對輸入矢量P建立的相應(yīng)的BP訓(xùn)練網(wǎng)絡(luò)。通過實驗結(jié)果我們可以看出BP神經(jīng)網(wǎng)絡(luò)經(jīng)過多次的實驗，但是在每次的訓(xùn)練中都得到的了不同的實驗結(jié)果，然而感知器與BP神經(jīng)網(wǎng)絡(luò)不同，感知器在訓(xùn)練的過程及結(jié)果中所訓(xùn)練的結(jié)果基本都能保持一定的穩(wěn)定性。本文中實驗訓(xùn)練的程序一共包含了三個輸入層，隱層的節(jié)點數(shù)為9，我們將訓(xùn)練誤差定義為0.01，將迭代次數(shù)的最高取值設(shè)置為100，我們所給出的目標(biāo)誤差和實際訓(xùn)練的到的結(jié)果收斂于左后程序中定義所給的誤差，所以通過上述實驗我們可以得到BP網(wǎng)絡(luò)在經(jīng)過訓(xùn)練之后，可以對線性不可分的網(wǎng)絡(luò)進(jìn)行分類。

參考文獻(xiàn)：

[1]郭志強(qiáng)，蔡嵩.彩色遙感圖像分類算法及M atlab實現(xiàn)[J].武漢理工大學(xué)學(xué)報，2006（01）：108-112.

[2]修麗娜，劉湘南.人工神經(jīng)網(wǎng)絡(luò)遙感分類方法研究現(xiàn)狀及發(fā)展趨勢探析[J].遙感技術(shù)與應(yīng)用，2003（18）.

[3]戴永偉，雷志勇.BP網(wǎng)絡(luò)學(xué)習(xí)算法研究及其圖像模式識別應(yīng)用[J].計算機(jī)與現(xiàn)代化，2006（11）：6770.

[4]廖克，成夕芳，吳健生.高分辨率衛(wèi)星要干影像在土地利用變化動態(tài)監(jiān)測中的應(yīng)用[J].測繪科學(xué)，2006（06）：1115.

作者簡介：羅丹（1980.10-），女，回族，新疆烏魯木齊人，教師，講師，碩士（在讀博士），研究方向：模式識別、圖像處理。

作者單位：新疆農(nóng)業(yè)職業(yè)技術(shù)學(xué)院，新疆昌吉 831100