基于在線神經(jīng)網(wǎng)絡(luò)算法的結(jié)構(gòu)恢復(fù)力預(yù)測方法

王　濤，翟緒恒，孟麗巖，左敬巖

（黑龍江科技大學(xué) 建筑工程學(xué)院，哈爾濱 150022）

基于在線神經(jīng)網(wǎng)絡(luò)算法的結(jié)構(gòu)恢復(fù)力預(yù)測方法

王濤，翟緒恒，孟麗巖，左敬巖

（黑龍江科技大學(xué) 建筑工程學(xué)院，哈爾濱 150022）

為實現(xiàn)在線預(yù)測非線性結(jié)構(gòu)恢復(fù)力，提出一種在線BP神經(jīng)網(wǎng)絡(luò)算法。針對兩個自由度非線性結(jié)構(gòu)，進行了Bouc-Wen模型的恢復(fù)力預(yù)測，驗證了在線神經(jīng)網(wǎng)絡(luò)算法的有效性。分析了樣本數(shù)量以及目標誤差對預(yù)測精度和計算耗時的影響。結(jié)果表明：與傳統(tǒng)離線學(xué)習(xí)方式算法相比，在線學(xué)習(xí)算法提高了算法計算效率和預(yù)測精度；隨著樣本數(shù)量的減少，算法計算效率增快；隨著目標誤差減小，算法預(yù)測精度增大。

神經(jīng)網(wǎng)絡(luò)；恢復(fù)力；預(yù)測；在線

0　引言

結(jié)構(gòu)混合實驗是將實驗加載與數(shù)值模擬相結(jié)合，評價土木結(jié)構(gòu)地震反應(yīng)和抗震性能的有效實驗技術(shù)。結(jié)構(gòu)整體進入非線性時，為了能夠準確模擬數(shù)值子結(jié)構(gòu)模型，研究者們提出了模型更新混合實驗。模型更新可采用基于模型或非基于模型的預(yù)測算法。神經(jīng)網(wǎng)絡(luò)（Neural Network，NN）算法不用基于系統(tǒng)具體的非線性數(shù)學(xué)模型，因此，可以減少數(shù)值模型誤差所帶來的不利影響，具有更好的一般性。

Yang等［1］采用變神經(jīng)元BP神經(jīng)網(wǎng)絡(luò)模擬非線性結(jié)構(gòu)的恢復(fù)力模型，進而來預(yù)測結(jié)構(gòu)的恢復(fù)力。Yun等［2］提出五變量的神經(jīng)網(wǎng)絡(luò)輸入，并根據(jù)輸入變量在滯回曲線不同位置的正負號初步應(yīng)用在恢復(fù)力識別中。張?。?］在此研究成果上，增加了三個輸入變量，并應(yīng)用在混合實驗中數(shù)值子結(jié)構(gòu)恢復(fù)力預(yù)測。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法采用的離線學(xué)習(xí)方式，計算效率較低，且精度不高。為了解決這些問題，筆者提出一種在線學(xué)習(xí)方式的神經(jīng)網(wǎng)絡(luò)算法。以一個兩個自由度結(jié)構(gòu)為例，采用在線神經(jīng)網(wǎng)絡(luò)算法預(yù)測結(jié)構(gòu)模型恢復(fù)力，并與傳統(tǒng)離線神經(jīng)網(wǎng)絡(luò)的預(yù)測效果進行對比。

1　神經(jīng)網(wǎng)絡(luò)基本原理與算法推導(dǎo)

1.1神經(jīng)網(wǎng)絡(luò)基本原理

人工神經(jīng)網(wǎng)絡(luò)，簡稱神經(jīng)網(wǎng)絡(luò)，是模擬人腦思維方式的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代生物學(xué)研究人腦組織成果的基礎(chǔ)上提出的，用來學(xué)習(xí)、模擬和仿真任意非線性系統(tǒng)。它由一系列按照一定規(guī)則排列的神經(jīng)元連接而成，由每一個單元接受輸入并計算處理，傳遞給下一單元。雖然每個單元結(jié)構(gòu)與功能簡單，但整個系統(tǒng)具有處理復(fù)雜問題的能力［4-8］。

理論上神經(jīng)網(wǎng)絡(luò)能夠逼近任意非線性對象，其工作原理如圖1所示。為了逼近任意未知具體函數(shù)形式F（X）的非線性系統(tǒng)，首先建立一個初始化的神經(jīng)網(wǎng)絡(luò)，φ0（g（X，Y），w0，θ0）來代替此非線性系統(tǒng)，其中，X和Y分別為系統(tǒng)的輸入和輸出，w0和θ0分別為神經(jīng)元連接的權(quán)值和閾值。將系統(tǒng)的輸入信號X和期望輸出Y的集合作為訓(xùn)練樣本，訓(xùn)練系統(tǒng)隨機給定的權(quán)值w0和閾值θ0，最終得到可以近似非線性系統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)就可以得到在系統(tǒng)輸入為X2時的系統(tǒng)輸出的預(yù)測值。

圖1　神經(jīng)網(wǎng)絡(luò)逼近對象原理Fig.1　Diagram of NN approaching object

1.2BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)

在眾多神經(jīng)網(wǎng)絡(luò)中，誤差反向傳播（Back Propagation，BP）網(wǎng)絡(luò)應(yīng)用最為廣泛。BP網(wǎng)絡(luò)是一種前向型網(wǎng)絡(luò)，由一個輸入層、一個輸出層和若干個隱含層所組成。BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程分為信號的正向傳播和誤差的反向傳播。在正向傳播中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)向反向傳播，即將誤差信號（期望輸出與實際輸出之差）按連接結(jié)構(gòu)反向計算，由梯度下降法調(diào)整各層神經(jīng)元的權(quán)值及閾值，使誤差信號減小。其中心思想是沿著誤差函數(shù)的負梯度方向不斷修正權(quán)值，直到目標性能誤差函數(shù)值達到最小。網(wǎng)絡(luò)的目標性能誤差函數(shù)為

式（1）中，N為樣本數(shù)，dk為第k個輸出節(jié)點的期望輸出，yk為第k個輸出節(jié)點的實際輸出。

將神經(jīng)網(wǎng)絡(luò)所有節(jié)點之間的連接權(quán)值以向量的形式表示為［w11，w12，…，wmp］，得到了誤差e關(guān)于權(quán)值向量的函數(shù)，誤差函數(shù)e對于各個權(quán)值的梯度公式為

一般是通過計算誤差函數(shù)對各個權(quán)值的偏導(dǎo)數(shù)來計算梯度值。以三層BP網(wǎng)絡(luò)為例，BP網(wǎng)絡(luò)算法訓(xùn)練過程推導(dǎo)如下：

（1）信號的正向傳播

隱含層神經(jīng)元的輸入為所有輸入的加權(quán)之和，即

隱含層神經(jīng)元的輸出為

則隱含層的輸出對連接權(quán)值的偏導(dǎo)數(shù)為

輸出層神經(jīng)元的輸出為

（2）誤差的反向傳播

網(wǎng)絡(luò)輸出與期望輸出誤差為

誤差性能指標函數(shù)為

隱含層到輸出層的當(dāng)前權(quán)值改變量為

n+1次迭代時權(quán)值為

輸入層到隱含層的當(dāng)前權(quán)值改變量為

n+1次迭代時權(quán)值為

每一次信號正向輸出與期望輸出的誤差達不到目標誤差時，便開始進行權(quán)值的反向調(diào)整，如此循環(huán)下去，直至系統(tǒng)輸出達到要求為止。BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程如圖2所示。

圖2　BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程Fig.2 Flowchart of BP neural network training

2　離線與在線學(xué)習(xí)方式的區(qū)別

按照神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)樣本的不同，可分為離線學(xué)習(xí)算法和在線學(xué)習(xí)算法，如果網(wǎng)絡(luò)的權(quán)值是在整個訓(xùn)練集提交后才進行調(diào)整，這種學(xué)習(xí)方式被稱為離線的學(xué)習(xí)方式（offline）。在線學(xué)習(xí)（online）則是在每個樣本提交之后就對樣本訓(xùn)練，根據(jù)訓(xùn)練結(jié)果實時地對網(wǎng)絡(luò)參數(shù)進行調(diào)整。

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法大多采用的是離線的學(xué)習(xí)方式。離線的學(xué)習(xí)方式能夠在系統(tǒng)工作之前預(yù)先形成網(wǎng)絡(luò)結(jié)構(gòu)。以目標函數(shù)的輸入向量X和輸出向量Y所組成的集合u=g（X，Y）作為訓(xùn)練樣本，在網(wǎng)絡(luò)結(jié)構(gòu)φ0（u，［w0，θ0］）中通過不斷的誤差迭代來調(diào)整系統(tǒng)隨機給定初始化的權(quán)值w0和閾值θ0，最終實現(xiàn)逼近目標輸出Y的功能。

在線的學(xué)習(xí)方式則是按照樣本的到來一個接一個地訓(xùn)練網(wǎng)絡(luò)，只需在第i步權(quán)值wi和閾值θi遞推計算第i+1步的權(quán)值wi+1和閾值θi+1，而不用像離線的學(xué)習(xí)那樣每次迭代都對所有樣本進行訓(xùn)練。離線與在線學(xué)習(xí)方式的神經(jīng)網(wǎng)絡(luò)對比如圖3所示。

圖3　離線與在線算法對比Fig.3　Comparison chart of online and offline algorithms

3　神經(jīng)網(wǎng)絡(luò)預(yù)測算例

3.1結(jié)構(gòu)選取及其參數(shù)

選取的二層框架結(jié)構(gòu)在1994年1月17日Northridge地震SimiValley-Katherine Rd臺站所記錄得到的地震波作用下的結(jié)構(gòu)反應(yīng)，地震加速度峰值為200 cm/s2。積分算法采用4階Runge-Kutta方法，計算步長為0.01 s。結(jié)構(gòu)質(zhì)量為m1=m2=5 000 t，結(jié)構(gòu)剛度為k1=k2=789 570 kN/m，結(jié)構(gòu)阻尼為C1= C2=10 053 kN/（m·s-1），α=0.01，A=1，β=100，γ=40，n= 1。結(jié)構(gòu)恢復(fù)力F模型采用Bouc-Wen模型：

應(yīng)用神經(jīng)網(wǎng)絡(luò)識別一層實驗子結(jié)構(gòu)的滯回模型，用經(jīng)過實驗子結(jié)構(gòu)數(shù)據(jù)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對數(shù)值子結(jié)構(gòu)的恢復(fù)力進行在線預(yù)測。子結(jié)構(gòu)模型如圖4所示。在圖4中，F(xiàn)r為層間作用力，x..為地震加速度。

圖4　子結(jié)構(gòu)模型示意Fig.4　Skeleton of substructure model

3.2神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)選用LM-BP算法，輸入層的節(jié)點取8個，分別為xn、Fn-1xn-1、Fn-1sign（Δxn）、xn-1、Fn-1、xt、ft、edn-1。其中，x為結(jié)構(gòu)層間位移；n為實驗往復(fù)加載次數(shù)；Δxn=xn-xn-1；xt、ft分別表示在滯回環(huán)轉(zhuǎn)折點處的位移和恢復(fù)力；edn-1為上一步的耗能。隱含層取為兩層，均為15個節(jié)點，激活函數(shù)分別為雙曲正切S型函數(shù)、對數(shù)S型函數(shù)。輸出量為一個，即恢復(fù)力F。拓撲結(jié)構(gòu)為8-15-15-1，如圖5所示。

圖5　神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意Fig.5　Skeleton of NN structure

3.3預(yù)測結(jié)果分析

3.3.1神經(jīng)網(wǎng)絡(luò)的樣本改進

張健［3］在對神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，需要采用的是前面所有步（包括當(dāng)前步，即1∶i步）實驗子結(jié)構(gòu)的數(shù)據(jù)，這樣樣本數(shù)據(jù)雖然較多，但隨著數(shù)據(jù)的增多，在線預(yù)測的每一步即變成了離線的學(xué)習(xí)方式，離線BP算法的多次迭代消耗了大量的訓(xùn)練時間，進而使得在線訓(xùn)練神經(jīng)網(wǎng)絡(luò)的用時增多，效率下降。在此基礎(chǔ)上，在線算法通過減少訓(xùn)練樣本的數(shù)量，只取前三步（包括當(dāng)前步，即i-2∶i）的數(shù)據(jù)以及只取當(dāng)前步i的數(shù)據(jù)作為訓(xùn)練樣本，神經(jīng)網(wǎng)絡(luò)在線與離線識別方法數(shù)值仿真對比結(jié)果如圖6所示。

通過圖6可以看出，在線BP算法預(yù)測的二層恢復(fù)力效果比較接近真實反應(yīng)，而離線BP算法預(yù)測效果則比較差，這充分表明在線的BP算法可以提高預(yù)測精度。根據(jù)預(yù)測效果，同時記錄下二者數(shù)值預(yù)測時所需要的時間。表1給出了離線與在線神經(jīng)網(wǎng)絡(luò)預(yù)測二層數(shù)值子結(jié)構(gòu)的計算時間。

圖6　在線與離線神經(jīng)網(wǎng)絡(luò)恢復(fù)力預(yù)測結(jié)果與預(yù)測誤差對比Fig.6 Comparison of restoring force prediction and restoring force prediction error with online and offline NN

表1　離線與在線BP算法預(yù)測時間對比Table 1 Comparison of predicted time between offline and online BP algorithms

針對樣本數(shù)量多且冗余度高的訓(xùn)練集，在線的BP算法較離線的BP算法具有更快的訓(xùn)練速度，原因在于單個樣本收斂所需的迭代次數(shù)遠小于整個訓(xùn)練集的樣本同時收斂的迭代次數(shù)。因此，即使在線算法的訓(xùn)練集樣本數(shù)量大于離線算法，其訓(xùn)練所需時間較后者也會大大減少。

另外，在預(yù)測精度方面，為了能夠有效地量化誤差大小，文中選用量綱一的誤差指標：相對均方根誤差RMSDk，數(shù)學(xué)表達式為

式 （14）中，F(xiàn)itrue為真實反應(yīng)，F(xiàn)i為預(yù)測的輸出量，k為計算步數(shù)。從均方根偏差定義來看，表達式根號內(nèi)分子為從初始時刻到當(dāng)前時刻這一段時間內(nèi)所有離散時間上的誤差平方和，反映了當(dāng)前的時刻及其之前所有時刻誤差的累積值。圖7給出了三種算法的預(yù)測精度對比。

圖7　離線與在線BP算法預(yù)測精度對比Fig.7 Comparison of prediction accuracy of offline and online BP algorithms

由圖7可以看出，在線的算法相對均方根誤差為0.229 47，改進的BP算法相對均方根誤差為0.277 29，離線的BP算法相對均方根誤差為0.321 48。在線的BP算法全局誤差明顯小于離線的BP算法以及改進后的離線算法的誤差，這表明在學(xué)習(xí)同等數(shù)量的樣本條件下，在線BP算法的預(yù)測精度優(yōu)于離線BP的算法。這對神經(jīng)網(wǎng)絡(luò)能夠應(yīng)用到模型更新的混合實驗中，具有重要的意義。

3.3.2神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)的改進

針對神經(jīng)網(wǎng)絡(luò)的目標誤差進行了改進，張健等［3］采用目標誤差參數(shù)為10-4kN2，文中分別選取了10-6、10-8、10-10kN2等誤差級別，進行網(wǎng)絡(luò)訓(xùn)練時間與預(yù)測精度對比。神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，由于對單元間的連接權(quán)和閾值的初始化調(diào)整，導(dǎo)致輸出有一定的隨機性，并且輸入訓(xùn)練集隨時間增加而發(fā)生改變，從而進一步增加了網(wǎng)絡(luò)訓(xùn)練過程的不穩(wěn)定性。為此，文中采取重復(fù)訓(xùn)練法來選取平均值以提高神經(jīng)網(wǎng)絡(luò)的性能?？紤]到神經(jīng)網(wǎng)絡(luò)預(yù)測的隨機性，筆者通過訓(xùn)練20次后求取平均值作為預(yù)測結(jié)果，神經(jīng)網(wǎng)絡(luò)訓(xùn)練耗時如表2所示。

表2　離線與在線BP算法預(yù)測時間對比Table 2 Comparison of predicted time of offline and online BP algorithms

由表2可以看出，在線BP算法在不同目標誤差級別下的計算耗時均少于離線BP算法的用時，即使目標誤差達到10-10kN2時，在線BP算法的訓(xùn)練用時仍遠小于離線BP算法在目標誤差為10-4kN2時的訓(xùn)練用時?？傮w來看，隨著目標誤差的減小，在線BP算法訓(xùn)練時間也隨著增加。此外，在過高地要求仿真精度的條件下，由于訓(xùn)練步數(shù)的限制，離線BP算法訓(xùn)練便會出現(xiàn)收斂速度慢、陷入局部極小等問題。在預(yù)測精度方面，通過訓(xùn)練20次后求取平均值作為觀測記錄，對比相對均方根誤差如圖8所示。

圖8　不同目標誤差下在線BP算法預(yù)測精度Fig.8　Prediction accuracy of online BP algorithm with different target error

由圖8可以看出，目標誤差分別為10-4、10-6、10-8、10-10kN2，時在線BP算法的相對均方誤差分別為0.272 01，0.258 61，0.244 93，0.229 92。隨著目標誤差的減小，預(yù)測精度會有一定程度的提高，但由于受到神經(jīng)網(wǎng)絡(luò)本身其他結(jié)構(gòu)參數(shù)的限制，預(yù)測精度提高有限。

4　結(jié)　論

（1）基于離線神經(jīng)網(wǎng)絡(luò)相關(guān)理論基礎(chǔ)上提出在（2）與離線學(xué)習(xí)方式的神經(jīng)網(wǎng)絡(luò)算法相比，采用在線LM-BP神經(jīng)網(wǎng)絡(luò)算法可以提高計算效率和預(yù)測精度。

線學(xué)習(xí)方式的BP神經(jīng)網(wǎng)絡(luò)算法，并應(yīng)用于兩個自由結(jié)構(gòu)恢復(fù)力預(yù)測，驗證了在線的BP算法的有效性。

（3）調(diào)整神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)目標誤差參數(shù)可以適當(dāng)提高神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練效率和預(yù)測精度。

［1］YANG W J，NAKANO Y.Substructure online test by using real time hysteresis modeling with a neural network［J］.Advances in Experimental Structural Engineering，2004（38）:267-274.

［2］YUN G Y，GHABOUSSI J，ELNASHAI A S.A new network-based model for hysteretic behavior of materials［J］.International Journal for Numerical Methods in Engineering，2008，73（4）:447-469.

［3］張健.自適應(yīng)子結(jié)構(gòu)擬動力試驗方法［D］.哈爾濱：哈爾濱工業(yè)大學(xué)，2010.

［4］王濤.基于模型更新的土木結(jié)構(gòu)混合試驗方法［D］.哈爾濱：哈爾濱工業(yè)大學(xué)，2014.

［5］孫浩，楊智春，張玲凌.基于神經(jīng)網(wǎng)絡(luò)的振動響應(yīng)趨勢預(yù)測研究［J］.機械科學(xué)與技術(shù)，2006，25（17）:1455-1518.

［6］李書進，瞿偉廉.基于神經(jīng)網(wǎng)絡(luò)的滯變結(jié)構(gòu)在線識別［J］.武漢理工大學(xué)學(xué)報，2003，25（11）:91-93.

［7］趙軒.基于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)非線性地震反應(yīng)仿真［D］.重慶:重慶大學(xué)，2005.

［8］張廆.基于在線學(xué)習(xí)方法的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法研究［D］.武漢:華中科技大學(xué)，2009.

（編輯徐巖）

Prediction method of restoring force for structures based on online neural network algorithm

WANG Tao，ZHAI Xuheng，MENG Liyan，ZUO Jingyan
（School of Civil Engineering，Heilongjiang University of Science&Technology，Harbin 150022，China）

This paper is motivated by the need for on-line prediction of restoring force of nonlinear structure and proposes an online BP neural network algorithm.The algorithm research is comprised of the prediction of the restoring force of the Bouc-Wen model in response to a two-degree-of-freedom nonlinear structure；the validation of the effectiveness of the proposed online neural network algorithm；and the analysis of the influence of sample size and target error on prediction accuracy and time consumption of the algorithm.The results show that the proposed online learning algorithm boasts a greater calculation efficiency and accuracy than conventional off-line learning algorithm；an decrease in sample numbers is followed by an increase in computation efficiency of the algorithm；and a decrease in the target errors is followed by the prediction accuracy of the algorithm.

neural network；restoring force；prediction；online

10.3969/j.issn.2095-7262.2015.06.015

TU317；P315.8

2095-7262（2015）06-0649-05

A

2015-09-15

黑龍江省青年科學(xué)基金項目（QC2013C055）；國家自然科學(xué)基金項目（51408157；51308159；51308160）

王濤（1978-），男，黑龍江省集賢人，副教授，博士，研究方向：結(jié)構(gòu)地震反應(yīng)分析、結(jié)構(gòu)抗震實驗方法與技術(shù)，E-mail: hitwangtao@126.com。