基于遺傳優(yōu)化LMBP算法的變形分析與預(yù)報

曾凡祥，胡家賦，易 鋒

(廣州海洋地質(zhì)調(diào)查局，廣州 510760)

隨著變形監(jiān)測數(shù)據(jù)分析方法的發(fā)展，BP神經(jīng)網(wǎng)絡(luò)已用于大壩變形預(yù)報，其精度優(yōu)于傳統(tǒng)方法［1-5］。但標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)模型有很多缺點(diǎn)，主要是:?易收斂于局部極小點(diǎn)，這是個致命的缺點(diǎn);?學(xué)習(xí)收斂速度太慢;?網(wǎng)絡(luò)中間層的層數(shù)以及它的單元數(shù)選取無理論上的指導(dǎo)等。本文擬通過引入遺傳算法與LM算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò) (簡稱為GA-LMBP算法)，并對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行試算，以對標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)模型進(jìn)行改進(jìn)。

a.采用遺傳算法對網(wǎng)絡(luò)初始權(quán)值進(jìn)行優(yōu)化。遺傳算法具有全局搜索性能［6］，可以很好地解決網(wǎng)絡(luò)收斂于局部最小點(diǎn)這一問題。

b.采用LM算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò) (簡稱LMBP算法)。就訓(xùn)練次數(shù)和準(zhǔn)確度而言，LMBP算法明顯優(yōu)于標(biāo)準(zhǔn)的BP算法［7］，能有效改進(jìn)標(biāo)準(zhǔn)BP網(wǎng)絡(luò)模型學(xué)習(xí)收斂速度慢的缺點(diǎn)。

c.采用試算方法確定隱含層層數(shù)及節(jié)點(diǎn)數(shù)。

1 網(wǎng)絡(luò)建立的步驟

網(wǎng)絡(luò)建立的步驟如下:

a.網(wǎng)絡(luò)結(jié)構(gòu)的確定。對數(shù)據(jù)進(jìn)行預(yù)處理;確定輸入輸出層節(jié)點(diǎn)數(shù)和隱含層節(jié)點(diǎn)數(shù) (采用試算的方法)，即確定好網(wǎng)絡(luò)模型的結(jié)構(gòu)。

b.根據(jù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)，確定遺傳算法的參數(shù)個數(shù)，隨機(jī)產(chǎn)生一組種群，用遺傳算法進(jìn)行優(yōu)化，得出一個較好的個體 (即網(wǎng)絡(luò)的權(quán)值與閾值)，將這一個體進(jìn)行解碼，得出遺傳優(yōu)化后的網(wǎng)絡(luò)權(quán)值、閾值。

c.建立LMBP算法對經(jīng)遺傳優(yōu)化后的權(quán)重再次進(jìn)行修正，得到修正后的網(wǎng)絡(luò)模型。

d.利用訓(xùn)練好的模型，輸入相應(yīng)觀測值，對變形位移進(jìn)行預(yù)測。

2 網(wǎng)絡(luò)結(jié)構(gòu)的確定

2.1 輸入輸出節(jié)點(diǎn)的確定

大壩位移的計算方法為

式中 f(H)——水壓分量;

f(T)——溫度分量;

f(θ)——混凝土的漸變和基巖流變引起的時效分量。

從式 (1)提取出以下10個輸入節(jié)點(diǎn)因子:

水壓分量:H、H2、H3;

溫度分量:T1、T2、T3、T4、T5、T6;

網(wǎng)絡(luò)模型的輸出節(jié)點(diǎn)則為大壩的變形量。

2.2 隱含層數(shù)及隱含層節(jié)點(diǎn)數(shù)的確定

對于神經(jīng)元網(wǎng)絡(luò)來講，首先應(yīng)該確定選用隱含層的層數(shù)。而具有一個隱含層的BP神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)任意的n維到m維的映射。從網(wǎng)絡(luò)結(jié)構(gòu)的編程實現(xiàn)上考慮，要比增加更多的隱含層簡單得多，其訓(xùn)練效果也比增加層數(shù)更容易觀察和調(diào)整［1］。因此本文采用一個隱含層。

隱含層節(jié)點(diǎn)數(shù)的選擇對網(wǎng)絡(luò)的性能影響很大。對隱含層節(jié)點(diǎn)數(shù)的確定許多學(xué)者提出了許多不同的方法，但目前并沒有一種科學(xué)的、普遍的理論與方法。本文將通過對不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練，對比計算結(jié)果得出最優(yōu)節(jié)點(diǎn)數(shù)。即通過試算法確定隱含層節(jié)點(diǎn)數(shù)，這種方法更具有可靠性及可操作性。

本文選擇不同的隱含層節(jié)點(diǎn)進(jìn)行訓(xùn)練。訓(xùn)練結(jié)果表明:當(dāng)隱含層節(jié)點(diǎn)數(shù)為18時，網(wǎng)絡(luò)收斂最快，具有較高的預(yù)測精度。因此，學(xué)習(xí)樣本采用11-18-1的網(wǎng)絡(luò)結(jié)構(gòu)形式。

這里的激活函數(shù)采用S型激活函數(shù):

為提高訓(xùn)練速度和靈敏性、有效避開Sigmoid函數(shù)的飽和區(qū)，要求數(shù)據(jù)輸入值在0～1之間。因此，需對輸入數(shù)據(jù)進(jìn)行歸一化處理。由于輸出層節(jié)點(diǎn)也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也必須進(jìn)行相應(yīng)的預(yù)處理。

樣本數(shù)據(jù)的歸一化處理公式為

樣本的還原處理為

上二式中 X'——?dú)w一化后的數(shù)據(jù);

Xmin——每一個樣本模式下輸入值或目標(biāo)值的最小值;

Xmax——每一個樣本模式下輸入值或目標(biāo)值的最大值。

3 遺傳優(yōu)化網(wǎng)絡(luò)初始權(quán)重

對于隨機(jī)產(chǎn)生的網(wǎng)絡(luò)初始權(quán)重，如果不使用遺傳算法，則由神經(jīng)網(wǎng)絡(luò)模型直接進(jìn)行權(quán)重的修正，而這樣網(wǎng)絡(luò)易收斂于局部最小點(diǎn)。本文將采用遺傳算法對網(wǎng)絡(luò)初始權(quán)重進(jìn)行修正。

3.1 染色體的表達(dá)與初始種群的生成

按神經(jīng)網(wǎng)絡(luò)生成初始權(quán)重的常規(guī)方法來生成網(wǎng)絡(luò)的權(quán)重，由于完整的網(wǎng)絡(luò)權(quán)重Q為

對于本文所使用的11-18-1網(wǎng)絡(luò)，設(shè)定輸入層節(jié)點(diǎn)數(shù)R=11，隱含層節(jié)點(diǎn)數(shù)S1=18，輸出層節(jié)點(diǎn)數(shù)S2=1。則網(wǎng)絡(luò)的權(quán)值數(shù)目為

由于本文使用的是浮點(diǎn)數(shù)編碼，因此一個染色體為1×235的實數(shù)矩陣。設(shè)定種群長度為100，即需在初始化時產(chǎn)生含100個染色體的初始種群。且染色體的表達(dá)和網(wǎng)絡(luò)權(quán)重一一對應(yīng)，染色體可以轉(zhuǎn)換成權(quán)重。

3.2 目標(biāo)函數(shù)與適應(yīng)度函數(shù)

用遺傳算法優(yōu)化網(wǎng)絡(luò)權(quán)重的目的是得到一組較好的權(quán)重，使得網(wǎng)絡(luò)誤差平方和最小，因此定義目標(biāo)函數(shù)為:這里的M是一個較大的系數(shù)，是為了保證適應(yīng)度函數(shù)的函數(shù)值不至于太小，取M=100。

由于遺傳算法只能朝著適應(yīng)函數(shù)值增大的方向進(jìn)化，因此，適應(yīng)度函數(shù)可以構(gòu)成目標(biāo)函數(shù)倒數(shù)的形式:

3.3 進(jìn)化運(yùn)算

選擇運(yùn)算是逐代更新的過程，它的特性決定了種群的進(jìn)化趨勢。而選擇概率是描述進(jìn)化運(yùn)算性能的一個很重要的因素。本文采用排序法確定染色體的選擇概率。

排序法的運(yùn)算規(guī)則為:忽略實際染色體的適應(yīng)值，用染色體的順序計算出相應(yīng)選擇概率，計算原則為小適應(yīng)值對應(yīng)低選擇概率、大適應(yīng)值對應(yīng)高選擇概率。這種方法能保證大適應(yīng)值染色體獲得高的選擇概率，防止某些超級染色體過快地把持遺傳過程。本文設(shè)定選擇算子的初始選擇概率為0.07，并在程序運(yùn)行中不斷調(diào)整。

3.4 遺傳運(yùn)算

種群中序號為1的染色體是上一代中適應(yīng)值最大的染色體，為了防止最佳染色體的退化，設(shè)定該染色體不參與交叉和變異的遺傳操作。因此，父代染色體從序號為2～N的種群范圍內(nèi)產(chǎn)生。文中交叉算子采用算術(shù)交叉的形式，初始的交叉概率設(shè)為0.9、變異概率設(shè)為0.1，在遺傳運(yùn)算過程中，對交叉概率與變異概率進(jìn)行適當(dāng)?shù)恼{(diào)整。

4 LMBP算法訓(xùn)練網(wǎng)絡(luò)

經(jīng)過遺傳運(yùn)算后，已得到一個較好的權(quán)重。以這個權(quán)重作為初始權(quán)重，使用LMBP算法進(jìn)行修正。

4.1 網(wǎng)絡(luò)的順傳播

首先根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)與初始權(quán)重矩陣，逐個輸入變量觀測數(shù)據(jù)，計算每個樣本的輸出誤差，采用的符號定義如下:

輸入向量:X= ［α1、α2、…、αR］T;

期望輸出向量:y;

中間層各單元輸入激活值向量:NET=［net1、net2、…、netS1］T;

中間層各單元輸出變量:O= ［o1、o2、…、oS2］T;

輸出層至隱含層的連接權(quán) W1ij(i=1，2，…，S1;j=1，2，…，R);

隱含層至輸出層的連接權(quán) W1ij(i=1，2，…，S1;j=1，2，…，S1);

為方便編程計算，將中間層閾值的轉(zhuǎn)置加到W1權(quán)重矩陣的最后一行上，則W1變?yōu)榱薙1×R矩陣;將輸出層各單元閾值進(jìn)行轉(zhuǎn)置，然后加至W2權(quán)重矩陣的最后一行上，則W2變?yōu)榱薙2×S1矩陣;X添加一個為－1的行向量，加到最后一行;O的最后一行添加一個－1的元素。

激活函數(shù)為

a.用矩陣X、連接權(quán)重矩陣W1計算隱含層各神經(jīng)元的輸入值(激活值NET)與隱含層各單元的輸出向量Ok:

b.用中間層的輸出O、連接權(quán)重矩陣W2計算輸出層單元的輸入向量L、實際輸出

c.計算各輸入樣本的誤差Eq及誤差信號項、誤差對權(quán)的偏導(dǎo)數(shù):

然后計算出各權(quán)值元素的偏導(dǎo)數(shù)，并將所有的值填入Jacobian矩陣中。不斷地計算式 (1)～式(3)，直到所有的樣本數(shù)據(jù)輸入完畢。

4.2 輸出誤差的逆?zhèn)鞑?/h3>

根據(jù)式 (15)即可求出權(quán)重矩陣的校正量，不斷地迭代，直到迭代次數(shù)超限或者誤差平方滿足要求。

5 大壩變形分析與預(yù)報

選取某大壩歷史觀測資料進(jìn)行分析與預(yù)報，采用1999～2001年150期次的徑向位移、水位、氣溫和時效的實測資料作為初始訓(xùn)練樣本建立神經(jīng)網(wǎng)絡(luò)模型，采用遺傳算法訓(xùn)練各層的連接權(quán)值和閾值，并采用LMBP算法進(jìn)行修正并保存。然后利用訓(xùn)練好的網(wǎng)絡(luò)預(yù)報2001～2003年80個期次的變形位移值。為了驗證GA-LMBP模型的適用性，本文建立了GA-LMBP模型、LMBP模型和標(biāo)準(zhǔn)BP算法模型 (簡稱:SBP模型)，對這三個模型的擬合、預(yù)報結(jié)果進(jìn)行比較分析。

5.1 預(yù)測精度分析

為比較遺傳優(yōu)化后的LMBP神經(jīng)網(wǎng)絡(luò)模型 (簡稱GA-LMBP)的優(yōu)劣，分別對GA-LMBP模型、LMBP模型、標(biāo)準(zhǔn)BP模型進(jìn)行比較分析，比較預(yù)測精度及其運(yùn)算性能。為便于比較，三種模型的目標(biāo)誤差值均設(shè)為0.001。對各模型進(jìn)行多次運(yùn)算，GA-LMBP模型預(yù)測誤差見圖1，各模型多期預(yù)測值所計算的均方誤差見表1、圖2。

圖1 GA-LMBP模型L7H291測點(diǎn)實測值與預(yù)報值對比

表1 各模型預(yù)測值均方誤差比較

圖2 各模型預(yù)測值均方誤差比較

為更清楚地比較GA-LMBP模型與其他模型的預(yù)測精度，用各模型分別運(yùn)算5次，求出平均相對誤差和絕對誤差，結(jié)果見表2。

表2 L7H291測點(diǎn)平均相對誤差與平均絕對誤差

從GA-LMBP模型的實測值與預(yù)測值的預(yù)測誤差可以看出，預(yù)測值與實測值接近，具有較高的精度與較強(qiáng)的穩(wěn)定性。

由表1、表2可以看出，三種模型中，GA-LMBP模型、LMBP模型、SBP模型的大壩變形預(yù)測精度均較高?？梢钥闯觯谙嗤`差指標(biāo)下，無論從平均相對誤差、平均絕對誤差還是均方誤差的平均值考慮，GA-LMBP模型均優(yōu)于LMBP模型與標(biāo)準(zhǔn)的BP模型。這說明了BP模型采用LM算法后精度有所提高，而采用遺傳神經(jīng)網(wǎng)絡(luò)進(jìn)行BP神經(jīng)網(wǎng)絡(luò)的權(quán)重優(yōu)化后，預(yù)測值具有更高的精度。

5.2 模型性能比較分析

因遺傳神經(jīng)網(wǎng)絡(luò)僅用于初始權(quán)重的選擇與優(yōu)化，運(yùn)算量小，所耗費(fèi)的資源小。本文僅比較LMBP模型與標(biāo)準(zhǔn)BP模型的運(yùn)算時間及其訓(xùn)練所需的步數(shù)。表3中的數(shù)據(jù)均是模型分別運(yùn)行5次后所得的平均值。

表3 L7H291測點(diǎn)的各模型訓(xùn)練時間與訓(xùn)練步數(shù)的比較

由表2可以看出，在相同誤差指標(biāo)下，LMBP模型比標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)具有更快的收斂速度，僅需少量的訓(xùn)練步數(shù)即可收斂。而遺傳優(yōu)化的LMBP神經(jīng)網(wǎng)絡(luò)運(yùn)算時間與LMBP相當(dāng)，且優(yōu)化后的網(wǎng)絡(luò)權(quán)重可更快得收斂，訓(xùn)練步數(shù)亦可減少，即遺傳優(yōu)化的LMBP神經(jīng)網(wǎng)絡(luò)也擁有較快的運(yùn)算速度。

5.3 訓(xùn)練樣本數(shù)量對精度的影響

為考察擬合數(shù)據(jù)序列的長短 (或訓(xùn)練樣本的數(shù)量)對預(yù)報精度的影響，分別選取不同時段觀測數(shù)據(jù)，建立 GA-LMBP模型。然后，利用對2001年9月～2003年5月間的環(huán)境量數(shù)據(jù)對水平位移觀測值進(jìn)行預(yù)報。預(yù)報結(jié)果見表4。

表4 L7H291測點(diǎn)不同擬合時段下的預(yù)測精度對比

由表2可以看出，擬合數(shù)據(jù)序列越長，GA-LMBP模型的預(yù)報精度越高。說明隨著訓(xùn)練樣本的增加，網(wǎng)絡(luò)的“學(xué)習(xí)”能力在不斷增強(qiáng)。

6 結(jié)語

為解決BP算法收斂速度慢、計算量大的問題，本文引入LMBP算法代替標(biāo)準(zhǔn)的BP神經(jīng)網(wǎng)絡(luò)，為進(jìn)一步提高神經(jīng)網(wǎng)絡(luò)預(yù)測的精度及利用遺傳算法的全局搜索能力，引入遺傳算法進(jìn)行神經(jīng)網(wǎng)絡(luò)初始權(quán)重的選取，并通過編程建立了GA-LMBP大壩變形位移預(yù)測模型并進(jìn)行預(yù)測。

實驗結(jié)果表明:aGA-LMBP模型具有很高的預(yù)測精度，預(yù)測精度高于LMBP模型，比傳統(tǒng)的BP模型高得多;b如樣本足夠多，GA-LMBP模型可獲得更高的預(yù)測精度;cGA-LMBP模型具有較快的收斂速度，能大大減小網(wǎng)絡(luò)的計算量，極大地提高網(wǎng)絡(luò)的學(xué)習(xí)效率，適用于大壩監(jiān)測的實時預(yù)報。

［1］吳秀娟．人工神經(jīng)網(wǎng)絡(luò)在大壩監(jiān)測數(shù)據(jù)分析中的應(yīng)用研究［D］．武漢:武漢大學(xué)，2003．

［2］楊杰，吳中如，顧沖時．大壩變形監(jiān)測的BP網(wǎng)絡(luò)模型與預(yù)報研究［J］．西安理工大學(xué)學(xué)報，2001，17(1):25-29．

［3］黎昵，岳建平，段鵬．改進(jìn)模糊神經(jīng)網(wǎng)絡(luò)模型及其在大壩監(jiān)測中的應(yīng)用［J］．水電自動化與大壩監(jiān)測，2007，31(1):74-76．

［4］吳云方，李珍照．改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)模型在大壩安全監(jiān)測預(yù)報中的應(yīng)用［J］．水電站設(shè)計，2002，18(2):21-24．

［5］田斌，徐衛(wèi)超，何新基．前饋神經(jīng)網(wǎng)絡(luò)法在大壩安全監(jiān)控中的應(yīng)用［J］．水利發(fā)電，2003，29(7):60-63．

［6］張棟，蔡開元．基于遺傳神經(jīng)網(wǎng)絡(luò)兩階段學(xué)習(xí)方案［J］．系統(tǒng)仿真學(xué)報，2003，15(8):1088-1090．

［7］李炯城，黃漢雄．神經(jīng)網(wǎng)絡(luò)中LMBP算法收斂速度改進(jìn)的研究［J］．計算機(jī)工程與應(yīng)用，2006，42(16):46-49．