基于BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)選取研究

崔麗杰

摘 要：首先介紹BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，論述其在巖土工程中的實(shí)用性，以Matlab神經(jīng)網(wǎng)絡(luò)的作為工具，基于觸探模型作為研究對(duì)象，對(duì)不同的訓(xùn)練函數(shù)進(jìn)行了仿真比較，建立黃土旋轉(zhuǎn)觸探模型，以所采集的實(shí)驗(yàn)參數(shù)，進(jìn)行BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)研究。結(jié)果表明采用不同的訓(xùn)練函數(shù)其存在明顯的差異。綜合考慮干密度誤差，含水量誤差，干密度誤差（樣本順序），含水量誤差（樣本順序）以及迭代次數(shù)和性能誤差等因素，選用trainlm作為訓(xùn)練函數(shù)，trainlm函數(shù)由于其訓(xùn)練速度較快且計(jì)算精度較高而顯現(xiàn)出一定的優(yōu)勢(shì)。最后采用不同的訓(xùn)練函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，進(jìn)行總結(jié)其優(yōu)缺點(diǎn)。

關(guān)鍵詞：BP網(wǎng)絡(luò) 旋轉(zhuǎn)觸探儀 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè) 訓(xùn)練函數(shù)

中圖分類號(hào)：TP751 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2014）12（c）-0004-02

隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，人工神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)﹑物理﹑工程﹑巖土等行業(yè)得到廣泛應(yīng)用。Matlab軟件提供了神經(jīng)網(wǎng)絡(luò)的工具箱，提供了多種神經(jīng)網(wǎng)絡(luò)庫函數(shù)，為數(shù)值計(jì)算提供了計(jì)算平臺(tái)。巖土工程問題的復(fù)雜多變性，在運(yùn)用神經(jīng)網(wǎng)絡(luò)分析和預(yù)測(cè)時(shí)，其結(jié)果往往受各種因素的影響，關(guān)鍵還是網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建和訓(xùn)練函數(shù)的選取。因此，應(yīng)該對(duì)網(wǎng)絡(luò)的訓(xùn)練函數(shù)的選取進(jìn)行深入研究。

該文在大量的旋轉(zhuǎn)觸探試驗(yàn)的基礎(chǔ)上，結(jié)合土的物理性質(zhì)指標(biāo)含水量、干密度，土的強(qiáng)度參數(shù)粘聚力和內(nèi)摩擦角，以及埋深情況，建立土的旋轉(zhuǎn)觸探模型，建立BP神經(jīng)網(wǎng)絡(luò)，采用不同的訓(xùn)練函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

1 BP神經(jīng)網(wǎng)絡(luò)

BP網(wǎng)絡(luò)是一種單向傳播的多層前向網(wǎng)絡(luò)，具有三層或三層以上的神經(jīng)網(wǎng)絡(luò)，包括輸入層、中間層（隱層）和輸出層。在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，BP網(wǎng)絡(luò)廣泛應(yīng)用于函數(shù)逼近、模式識(shí)別/分類、數(shù)據(jù)壓縮等，人工神經(jīng)網(wǎng)絡(luò)模型采用BP網(wǎng)絡(luò)或它的變化形式，它是前饋網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。BP算法的基本思想[1]是，學(xué)習(xí)過程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出不符，則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，此誤差信號(hào)即作為修正各單元權(quán)值的依據(jù)。這種信號(hào)正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程，是周而復(fù)始地進(jìn)行的。權(quán)值不斷調(diào)整的過程，也是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。

2 BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)

BP神經(jīng)網(wǎng)絡(luò)中的訓(xùn)練算法函數(shù)是根據(jù)BP網(wǎng)絡(luò)格式的輸入、期望輸出，由函數(shù)newff 建立網(wǎng)絡(luò)對(duì)象，對(duì)生成的BP 網(wǎng)絡(luò)進(jìn)行計(jì)算，修正權(quán)值和閾值，最終達(dá)到BP網(wǎng)絡(luò)的設(shè)計(jì)性能，從而完成網(wǎng)絡(luò)的訓(xùn)練和預(yù)測(cè)。BP 神經(jīng)網(wǎng)絡(luò)幾種主要的訓(xùn)練函數(shù)及其特點(diǎn)分述如下[2]。

（1）traingda、trainrp函數(shù)和trainlm函數(shù)。

traingda函數(shù)是最基本的自適應(yīng)學(xué)習(xí)步長(zhǎng)函數(shù)，其最大優(yōu)點(diǎn)可以根據(jù)誤差容限的性能要求調(diào)節(jié)函數(shù)，彌補(bǔ)標(biāo)準(zhǔn)BP算法中的步長(zhǎng)選擇不當(dāng)問題。trainrp函數(shù)可以消除偏導(dǎo)數(shù)的大小權(quán)值帶來的影響，只考慮導(dǎo)數(shù)符號(hào)引來的權(quán)更新方向，忽略導(dǎo)數(shù)大小帶來的影響。trainlm函數(shù)。該函數(shù)學(xué)習(xí)速度較快，但占用內(nèi)存很大，從理論上來說適用于中等規(guī)模的網(wǎng)絡(luò)。

（2）共軛梯度算法：traincgf函數(shù)、traincgp函數(shù)、traincgb 函數(shù)、trainscg函數(shù)。

共軛梯度算法是介于最速下降法與牛頓法之間的一個(gè)方法，其利用一階導(dǎo)數(shù)信息，但克服了最速下降法收斂慢的缺點(diǎn)，又避免了牛頓法需要存儲(chǔ)和計(jì)算Hesse矩陣并求逆的缺點(diǎn)。上述四種共軛梯度算法前三種收斂速度比梯度下降快很多，其需要線性搜索，對(duì)于不同的問題會(huì)產(chǎn)生不同的收斂速度。而第四種不需要線性搜索，其需要較多的迭代次數(shù)，但是每次迭代所需計(jì)算量很小。

（3）Newton算法：trainbfg函數(shù)、trainoss函數(shù)。

trainbfg 算法的迭代次數(shù)較少，由于每步迭代都要Hessian矩陣，其每次迭代計(jì)算量和存儲(chǔ)量都很大，適合小型網(wǎng)絡(luò)。Trainoss為一步割線算法。它是介于共軛梯度法和擬牛頓算法的方法，其需要的存儲(chǔ)和計(jì)算量都比trainbfg要小，比共軛梯度法略大。

上述各算法由于采用的訓(xùn)練函數(shù)不同，其計(jì)算速度、收斂速度及其迭代次數(shù)不盡相同，并且對(duì)內(nèi)存要求依研究對(duì)象的復(fù)雜程度、訓(xùn)練集大小、網(wǎng)絡(luò)的大小及誤差容限的要求等存在差異。在運(yùn)用BP網(wǎng)絡(luò)解決相關(guān)工程性問題時(shí)，需要選擇合理的訓(xùn)練函數(shù)。

3 網(wǎng)絡(luò)訓(xùn)練函數(shù)的選取

該文著重研究BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)的選擇，所用數(shù)據(jù)樣本均來自于實(shí)踐中用新型微機(jī)控制旋轉(zhuǎn)觸探儀采集到的數(shù)據(jù)，經(jīng)過歸一化處理建立了網(wǎng)絡(luò)的樣本數(shù)據(jù)庫，根據(jù)訓(xùn)練函數(shù)的特點(diǎn)選擇其隱含層數(shù)為2。文選擇非線性函數(shù)為Sigmoid，輸出層的傳遞函數(shù)為Purelin，可以用來模擬任何的函數(shù)（必須連續(xù)有界）。

采用不同的訓(xùn)練函數(shù)對(duì)網(wǎng)絡(luò)的性能也有影響，比如收斂速度等等，下面采用不同的訓(xùn)練函數(shù)（trainbr、traingd、traingdm、traingdx、traincgf、trainlm、trainb）對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并觀察其結(jié)果，如表1所示。

對(duì)比可知，trainlm訓(xùn)練函數(shù)的收斂效果較好，trainbr、trainlm訓(xùn)練函數(shù)得到的絕對(duì)誤差相對(duì)較小，其它訓(xùn)練函數(shù)的收斂性能較差。trainbr訓(xùn)練樣本的絕對(duì)誤差比trainlm訓(xùn)練函數(shù)的絕對(duì)誤差小，且分布比較均勻，但是trainbr訓(xùn)練函數(shù)的收斂精度卻相對(duì)較差，這可能是出現(xiàn)局部最優(yōu)化的問題，通過測(cè)試樣本的進(jìn)一步分析如表2所示，trainbr訓(xùn)練以后的網(wǎng)絡(luò)對(duì)于預(yù)測(cè)樣本的預(yù)測(cè)精度較低，偏差較大，進(jìn)一步驗(yàn)證了該訓(xùn)練函數(shù)在訓(xùn)練過程中訓(xùn)練收斂精度相對(duì)較差，并出現(xiàn)局部最優(yōu)化[3]。

綜合考慮，可以看到trainlm訓(xùn)練函數(shù)具有訓(xùn)練速度快且預(yù)測(cè)精度高的特點(diǎn)，所以本文中選用trainlm作為訓(xùn)練函數(shù)。

4 結(jié)論

該文以Matlab神經(jīng)網(wǎng)絡(luò)的作為工具，基于觸探模型作為研究對(duì)象，對(duì)不同的訓(xùn)練函數(shù)進(jìn)行了仿真比較，結(jié)果表明采用不同的訓(xùn)練函數(shù)其存在明顯的差異。綜合考慮干密度誤差，含水量誤差，干密度誤差（樣本順序），含水量誤差（樣本順序）以及迭代次數(shù)和性能誤差等因素，選用trainlm作為訓(xùn)練函數(shù)，trainlm函數(shù)由于其訓(xùn)練速度較快且計(jì)算精度較高而顯現(xiàn)出一定的優(yōu)勢(shì)。

參考文獻(xiàn)

[1] 葛哲學(xué)，孫志強(qiáng).神經(jīng)網(wǎng)絡(luò)理論與MATLAB R2007實(shí)現(xiàn)[M].電子工業(yè)出版社，2007.

[2] 施彥，韓立群，廉小親.神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方法與實(shí)例分析[M].北京郵電大學(xué)出版社，2009.

[3] 陳維家，汪火旺.靜力觸探中土層界面效應(yīng)試驗(yàn)研究[J].水文地質(zhì)工程地質(zhì)， 2003（2）：25-27.endprint