聯(lián)合卷積與長短記憶神經(jīng)網(wǎng)絡(luò)的橋梁結(jié)構(gòu)損傷識(shí)別研究

楊建喜，張利凱，李韌，何盈盈，蔣仕新，鄒俊志

聯(lián)合卷積與長短記憶神經(jīng)網(wǎng)絡(luò)的橋梁結(jié)構(gòu)損傷識(shí)別研究

楊建喜1，張利凱2，李韌1，何盈盈1，蔣仕新1，鄒俊志2

(1. 重慶交通大學(xué) 信息科學(xué)與工程學(xué)院，重慶 400074；2. 重慶交通大學(xué) 土木工程學(xué)院，重慶 400074)

為改進(jìn)傳統(tǒng)方法在時(shí)空相關(guān)特征聯(lián)合提取及結(jié)構(gòu)損傷識(shí)別效果等方面存在的不足，結(jié)合結(jié)構(gòu)健康監(jiān)測(cè)加速度振動(dòng)信號(hào)的數(shù)據(jù)特性，將結(jié)構(gòu)損傷識(shí)別歸約為多變量時(shí)間序列分類問題，提出一種聯(lián)合卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)和長短記憶(Long Short-Term Memory, LSTM)循環(huán)神經(jīng)網(wǎng)絡(luò)模型的橋梁結(jié)構(gòu)損傷識(shí)別方法。以結(jié)構(gòu)健康監(jiān)測(cè)獲取的加速度振動(dòng)響應(yīng)為輸入，通過CNN模型提取其多時(shí)間窗口內(nèi)傳感器拓?fù)湎嚓P(guān)性特征，然后將該特征矩陣輸入以Softmax為輸出層的LSTM模型，以進(jìn)一步提取其時(shí)間維度特征，并進(jìn)行結(jié)構(gòu)損傷模式分類。以某連續(xù)剛構(gòu)橋結(jié)構(gòu)縮尺模型的一種無損傷及3種不同程度損傷工況為試驗(yàn)數(shù)據(jù)環(huán)境，驗(yàn)證了提出方法在準(zhǔn)確率、精確率、召回率和值等方面優(yōu)勢(shì)。

橋梁健康監(jiān)測(cè)；結(jié)構(gòu)損傷識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；長短記憶神經(jīng)網(wǎng)絡(luò)

隨著傳感器數(shù)據(jù)采集、存儲(chǔ)與分析等技術(shù)的快速發(fā)展，結(jié)構(gòu)健康監(jiān)測(cè)(Structural Health Monitoring, SHM)系統(tǒng)在橋梁工程領(lǐng)域得到了廣泛的應(yīng)用[1]。例如，中國香港青馬大橋[2]、瑞士Z-24橋[3]、重慶蔡家嘉陵江大橋[4]等眾多的大跨度橋梁均部署了橋梁SHM系統(tǒng)，并在結(jié)構(gòu)構(gòu)件關(guān)鍵位置安裝以加速度儀、靜力水準(zhǔn)儀、溫濕度計(jì)、應(yīng)變儀等為典型代表的大量監(jiān)測(cè)傳感器，實(shí)現(xiàn)橋梁結(jié)構(gòu)動(dòng)靜力響應(yīng)及運(yùn)營環(huán)境信息的實(shí)時(shí)感知與分析。多年來，基于加速度振動(dòng)信號(hào)的結(jié)構(gòu)損傷識(shí)別作為橋梁SHM的重要任務(wù)之一，得到了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注[5]。從其方法體系分類而言，基于加速度振動(dòng)信號(hào)的結(jié)構(gòu)損傷識(shí)別可分為模型驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)的方法[6]。其中，模型驅(qū)動(dòng)方法采用數(shù)學(xué)建模和物理定理對(duì)結(jié)構(gòu)進(jìn)行離散化表征，但該類方法在復(fù)雜橋梁結(jié)構(gòu)模型建立與修正、真實(shí)激勵(lì)條件模擬等方面存在一定不足[7]。近年來，隨著統(tǒng)計(jì)機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)等智能算法快速發(fā)展，基于數(shù)據(jù)驅(qū)動(dòng)的結(jié)構(gòu)損傷識(shí)別和狀態(tài)分析方法由于其直接從結(jié)構(gòu)感知數(shù)據(jù)中提取損傷敏感指標(biāo)并進(jìn)行模式識(shí)別，而無需建立和修正結(jié)構(gòu)有限元仿真模型，已成為SHM領(lǐng)域的研究熱點(diǎn)。例如，Khoa等[8]采用主成分分析、隨機(jī)投影等方法對(duì)輸入加速度振動(dòng)數(shù)據(jù)進(jìn)行降維，利用有監(jiān)督的支持向量機(jī)(SVM)和無監(jiān)督的一類SVM在低維投影空間中識(shí)別橋梁結(jié)構(gòu)的健康和損傷模式，實(shí)驗(yàn)結(jié)果表明，統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型針對(duì)橋梁結(jié)構(gòu)損傷識(shí)別問題上具有較好分類或異常檢測(cè)效果。安平和等[9]提出了基于SVM的梁橋多位置損傷識(shí)別方法。該方法將曲率模態(tài)變化作為橋梁結(jié)構(gòu)的損傷特征，采用了連續(xù)剛構(gòu)橋的不同結(jié)構(gòu)模態(tài)變化數(shù)據(jù)進(jìn)行模型訓(xùn)練，取得了較好的識(shí)別精度。鄧海波等[10]提出了基于SVM和粒子群算法的運(yùn)營期橋梁撓度可靠度評(píng)估方法，解決了傳統(tǒng)算法計(jì)算效率慢、精度低等問題，并基于普立特大橋撓度數(shù)據(jù)進(jìn)行了驗(yàn)證。但總體而言，上述方法均可視為采用傳統(tǒng)“淺層”機(jī)器學(xué)習(xí)模型，其特征構(gòu)建需要人為參與，在損傷特征學(xué)習(xí)能力方面有待提升。GUO等[11]利用稀疏編碼神經(jīng)網(wǎng)絡(luò)作為特征提取模型，選取多層感知機(jī)作為分類器進(jìn)行結(jié)構(gòu)損傷識(shí)別，并基于某三跨橋梁有限元模型生成的不同損傷工況加速度數(shù)據(jù)進(jìn)行了仿真實(shí)驗(yàn)，驗(yàn)證了深度神經(jīng)網(wǎng)絡(luò)模型在結(jié)構(gòu)損傷識(shí)別問題域的有效性。Abdeljaber等[12]提出了基于一維卷積神經(jīng)網(wǎng)絡(luò)(CNN)的結(jié)構(gòu)損傷特征提取與識(shí)別模型，并基于某鋼框架結(jié)構(gòu)不同損傷工況的時(shí)域振動(dòng)信號(hào)作為輸入進(jìn)行了實(shí)驗(yàn)分析，驗(yàn)證了提出方法的高效性。YU等[13]提出了一種基于深層CNN模型的結(jié)構(gòu)損傷識(shí)別和定位方法。該方法采用深度CNN從原始信號(hào)自動(dòng)提取高層特征并進(jìn)行特征融合，并在5層框架結(jié)構(gòu)上進(jìn)行了測(cè)試，證明該方法具有較好的泛化能力和更高的分類精度。為克服結(jié)構(gòu)損傷識(shí)別中訓(xùn)練數(shù)據(jù)樣本不足的問題，Abdeljaber等[14]提出了一種改進(jìn)的CNN分類模型，并在IASC-ASCE Benchmark公開數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證，證明了該方法只需要少量的訓(xùn)練數(shù)據(jù)，即可達(dá)到較高的識(shí)別精度。TANG等[15]通過對(duì)原始獲取的加速度數(shù)據(jù)在時(shí)域和頻域2個(gè)維度進(jìn)行分片和圖形堆疊，然后根據(jù)圖形特征進(jìn)行標(biāo)記，通過CNN進(jìn)行模型訓(xùn)練和損傷識(shí)別，最后基于某大跨度斜拉橋健康監(jiān)測(cè)系統(tǒng)獲取加速度數(shù)據(jù)進(jìn)行驗(yàn)證，結(jié)果表明所提出方法具有較好的損傷分類效果。然而，現(xiàn)有基于深度神經(jīng)網(wǎng)絡(luò)的橋梁結(jié)構(gòu)損傷識(shí)別方法尚未從加速度時(shí)間序列和數(shù)據(jù)空間相關(guān)性2個(gè)維度同時(shí)考慮進(jìn)行損傷特征提取，相應(yīng)的損傷識(shí)別分類模型也有待構(gòu)建。本文將橋梁結(jié)構(gòu)損傷識(shí)別歸約為多變量時(shí)間序列分類問題，結(jié)合CNN模型在數(shù)據(jù)拓?fù)湎嚓P(guān)性特征提取，以及LSTM模型在時(shí)序數(shù)據(jù)長距離依賴特征提取方面的優(yōu)勢(shì)[16]，提出一種新的基于CNN-LSTM聯(lián)合模型的橋梁結(jié)構(gòu)損傷識(shí)別方法。該模型通過CNN提取振動(dòng)數(shù)據(jù)空間維度特征和多變量時(shí)間序列的局部依賴關(guān)系，LSTM對(duì)多變量時(shí)間序列的上下依賴進(jìn)行表征，并使用Softmax作為分類器進(jìn)行損傷識(shí)別。最后，以某連續(xù)剛構(gòu)橋縮尺模型的多種損傷工況數(shù)據(jù)為基礎(chǔ)，對(duì)提出方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證和分析。

1 提出的模型架構(gòu)

1.1 CNN神經(jīng)網(wǎng)絡(luò)模型

CNN作為一種深度前饋神經(jīng)網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)通常由輸入層、卷積層、池化層和全連接層等組成。在特征提取方面，CNN通過不同卷積操作逐層提取不同的局部特征，進(jìn)而在全連接層匯總形成多個(gè)層級(jí)的特征抽象表征。除此以外，與傳統(tǒng)多層感知機(jī)等神經(jīng)網(wǎng)絡(luò)相比，CNN通過局部連接、共享卷積層的權(quán)值等特性，降低網(wǎng)絡(luò)模型復(fù)雜度，減少過擬合，具備更好的泛化能力。多年來，CNN已被廣泛應(yīng)用于圖像分類、人臉識(shí)別、音頻檢索等行業(yè)領(lǐng)域。CNN將輸入信息抽象成多層特征并且保留原始數(shù)據(jù)的空間拓?fù)浣Y(jié)構(gòu)，這一特性對(duì)于獲取由多傳感器感知獲取的結(jié)構(gòu)監(jiān)測(cè)數(shù)據(jù)之間拓?fù)湎嚓P(guān)性有一定的適應(yīng)性。關(guān)于CNN的詳細(xì)綜述，請(qǐng)參見文獻(xiàn)[17]。

1.2 LSTM神經(jīng)網(wǎng)絡(luò)模型

LSTM作為一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型，在通過引入門控函數(shù)機(jī)制解決“梯度消失”、“梯度爆炸”等問題的同時(shí)，可以提取時(shí)間序列長短期的上下文依賴關(guān)系，進(jìn)而實(shí)現(xiàn)有效的時(shí)序數(shù)據(jù)特征提取。LSTM神經(jīng)網(wǎng)絡(luò)的總體結(jié)構(gòu)如圖1所示。

圖1 LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

LSTM的網(wǎng)絡(luò)結(jié)構(gòu)由輸入門、輸出門和遺忘門3個(gè)部分構(gòu)成，其中r，S?1和h?1控制遺忘門的狀態(tài)。輸入門的r通過Sigmod和tanh激活函數(shù)來決定記憶單元的保留狀態(tài)。S和g決定了當(dāng)前輸出門h的狀態(tài)。目前，LSTM網(wǎng)絡(luò)已被廣泛應(yīng)用于自然語言處理、語音識(shí)別等序列模式建模與特征提取。關(guān)于LSTM的詳細(xì)綜述，請(qǐng)參見文獻(xiàn)[18]。

1.3 聯(lián)合CNN-LSTM的橋梁結(jié)構(gòu)損傷識(shí)別模型

將感知獲取的原加速度振動(dòng)信號(hào)視為多變量時(shí)間序列，即個(gè)加速度傳感器每一時(shí)刻采集的數(shù)據(jù)構(gòu)成一個(gè)維向量，而時(shí)間序列長度與采集頻率和采樣時(shí)間相關(guān)。通過滑動(dòng)窗口的方式把輸入多變量時(shí)間序列的劃分為多個(gè)特征圖，如圖2所示，每個(gè)滑動(dòng)窗口對(duì)應(yīng)的特征圖維度為×，其中為步長超參數(shù)，為加速度傳感器數(shù)量。

以每個(gè)特征圖作為輸入，在CNN模型中進(jìn)行卷積操作，以提取空間拓?fù)浣Y(jié)構(gòu)上多個(gè)變量之間的特征，圖3描述了所采用的CNN模型的結(jié)構(gòu)。

如圖3所示，每個(gè)特征圖的大小為×，第1層卷積采用了個(gè)卷積核，每個(gè)卷積核大小為×，步長為1。第次卷積計(jì)算如式(1)所示。

圖2 輸入數(shù)據(jù)的特征圖

圖3 提出聯(lián)合模型中CNN模塊特征提取

LSTM全連接層后再通過Softmax進(jìn)行分類，Softmax函數(shù)可以表示為式(3)與式(4)。

2 試驗(yàn)驗(yàn)證與評(píng)估

為了驗(yàn)證所提出CNN-LSTM聯(lián)合模型的損傷識(shí)別效果，選取了某連續(xù)剛構(gòu)橋縮尺模型不同損傷工況下的加速度數(shù)據(jù)進(jìn)行試驗(yàn)，并使用CNN，LSTM和DNN模型進(jìn)行了對(duì)比分析。

2.1 數(shù)據(jù)獲取與處理

某三跨的預(yù)應(yīng)力混凝土連續(xù)剛構(gòu)橋?qū)嵨飯D和設(shè)計(jì)圖如圖5所示，其跨徑尺寸為98 m+180 m+98 m，總長為377.30 m，采用的是單箱單室結(jié)構(gòu)，箱梁頂板寬度12.5 m，箱體底板寬度為6.5 m。

圖4 CNN-LSTM聯(lián)合模型架構(gòu)

單位：cm

根據(jù)該連續(xù)剛構(gòu)橋的實(shí)際尺寸，按照20:1比例將主梁、墩柱、承臺(tái)進(jìn)行幾何尺寸縮放構(gòu)建橋梁的縮尺模型。通過在連續(xù)剛構(gòu)橋跨中施加荷載，使底板產(chǎn)生開裂來模擬結(jié)構(gòu)的不同損傷工況，并在縮尺模型上安裝了18個(gè)加速度傳感器，其中包括12個(gè)豎向測(cè)點(diǎn)和6個(gè)水平測(cè)點(diǎn)，梁底12個(gè)，腹板6個(gè)。通過人工牽引小車通過橋面，模擬動(dòng)荷載在橋面的運(yùn)動(dòng)的過程。加速度傳感器的布點(diǎn)情況如圖6(b)所示。通過增大跨中集中力，使橋梁結(jié)構(gòu)產(chǎn)生腹板斜裂縫、底板橫向裂縫等，從而模擬橋梁結(jié)構(gòu)剛度劣化過程。試驗(yàn)小車通過橋面的時(shí)候，結(jié)構(gòu)會(huì)發(fā)生受迫振動(dòng)，剛度減少較多的位置安裝的加速度傳感器采集數(shù)據(jù)波動(dòng)越明顯，反之則越小。

試驗(yàn)過程中采用LMS軟件獲取各加速度測(cè)點(diǎn)信號(hào)，并反映當(dāng)小車通過橋面時(shí)縮尺模型結(jié)構(gòu)在不同工況下的振動(dòng)情況，采集的頻率為8 000 Hz。圖7描述了損傷工況2下前9號(hào)測(cè)點(diǎn)獲取的原始加速度時(shí)程曲線示例，剛度劣化較多位置，加速度響應(yīng)就越明顯。如果選取的測(cè)點(diǎn)位置都是結(jié)構(gòu)損傷較為明顯的位置，則CNN-LSTM從關(guān)鍵測(cè)點(diǎn)位置傳感器獲取結(jié)構(gòu)響應(yīng)數(shù)據(jù)達(dá)到與結(jié)構(gòu)所有測(cè)點(diǎn)監(jiān)測(cè)數(shù)據(jù)相同的損傷識(shí)別效果。

為了對(duì)CNN-LSTM聯(lián)合模型及其他對(duì)比模型進(jìn)行訓(xùn)練和測(cè)試，按照6:2:2的比例將采集數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。本文采用了如表1所示的不同損傷工況，以此為依據(jù)對(duì)采集的加速度數(shù)據(jù)分別進(jìn)行標(biāo)記，并作為后續(xù)模型訓(xùn)練和驗(yàn)證的基準(zhǔn)。

(a) 連續(xù)剛構(gòu)橋縮尺模型；(b) 加速度傳感器布置

(a) 工況2下的1號(hào)測(cè)點(diǎn)加速度時(shí)程曲線；(b) 工況2下的1號(hào)測(cè)點(diǎn)加速度時(shí)程曲線；(c) 工況2下的3號(hào)測(cè)點(diǎn)加速度時(shí)程曲線；(d) 工況2下的4號(hào)測(cè)點(diǎn)加速度時(shí)程曲線；(e) 工況2下的5號(hào)測(cè)點(diǎn)加速度時(shí)程曲線；(f) 工況2下的6號(hào)測(cè)點(diǎn)加速度時(shí)程曲線；(g) 工況2下的7號(hào)測(cè)點(diǎn)加速度時(shí)程曲線；(h) 工況2下的8號(hào)測(cè)點(diǎn)加速度時(shí)程曲線；(i) 工況2下的8號(hào)測(cè)點(diǎn)加速度時(shí)程曲線

表1 縮尺模型結(jié)構(gòu)損傷狀態(tài)

2.2 試驗(yàn)軟硬件環(huán)境及參數(shù)設(shè)置

在硬件環(huán)境方面，選擇安裝了64 G內(nèi)存、2 048 GB硬盤空間，配置有4塊GTX1080TI的GPU顯卡，處理器為Intel Xeon E5的服務(wù)器。在實(shí)驗(yàn)軟件環(huán)境方面，選擇了python環(huán)境下基于Tensorflow 1.10.0版本的Keras 2.24工具作為各個(gè)神經(jīng)網(wǎng)絡(luò)模型的開發(fā)環(huán)境。

為了驗(yàn)證CNN-LSTM模型的有效性，基于前面文獻(xiàn)綜述的分析，選取CNN,LSTM和DNN模型進(jìn)行對(duì)比分析，模型超參數(shù)見表2和圖8所示。

如圖8所示，深度神經(jīng)網(wǎng)絡(luò)模型參數(shù)如神經(jīng)元個(gè)數(shù)、卷積核大小、Drop比例等都會(huì)影響神經(jīng)網(wǎng)絡(luò)模型分類結(jié)果及網(wǎng)絡(luò)性能。目前關(guān)于深度神經(jīng)網(wǎng)絡(luò)模型層數(shù)、參數(shù)選擇等與訓(xùn)練樣本之間關(guān)系研究較為欠缺，網(wǎng)絡(luò)參數(shù)尋優(yōu)主要依靠人工經(jīng)驗(yàn)、網(wǎng)格搜索、隨機(jī)搜索等方法。本文通過網(wǎng)格搜索方窮舉各種關(guān)鍵參數(shù)組合，以訓(xùn)練集的準(zhǔn)確率作為目標(biāo)函數(shù)，對(duì)各個(gè)對(duì)比模型進(jìn)行參數(shù)尋優(yōu)，獲取最優(yōu)深度神經(jīng)網(wǎng)絡(luò)模型，另外為了防止模型發(fā)生過擬合采用L1和L2正則化、EarlyStopping等方法。

表2 模型參數(shù)

圖8 各個(gè)對(duì)比模型的網(wǎng)絡(luò)結(jié)構(gòu)

2.3 試驗(yàn)結(jié)果及分析

由于本文將結(jié)構(gòu)損傷識(shí)別規(guī)約為多變量時(shí)間序列的分類問題，因此采用評(píng)價(jià)指標(biāo)為分類問題常用的準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)和值。圖9和圖10是CNN-LSTM，DNN，CNN和LSTM模型在驗(yàn)證集下的準(zhǔn)確率和訓(xùn)練誤差隨著迭代次數(shù)的變化曲線。

圖9 驗(yàn)證集上對(duì)比模型的準(zhǔn)確率

如圖9和圖10所示，由于CNN-LSTM聯(lián)合模型不僅抽取多個(gè)加速度傳感器拓?fù)湎嚓P(guān)性關(guān)系，而且在時(shí)間維度上進(jìn)行長短期依賴特征抽取，相較于單一的DNN和LSTM模型能更快收斂。從驗(yàn)證集結(jié)果分析表明，CNN-LSTM用于結(jié)構(gòu)損傷識(shí)別在準(zhǔn)確率、收斂速度上，相比CNN模型其優(yōu)勢(shì)并不明顯，但是CNN-LSTM具有更低的損失率，模型的擬合效果更好。從測(cè)試集結(jié)果分析表明，CNN-LSTM具有較好的召回率、值和準(zhǔn)確率。各對(duì)比模型在測(cè)試集的綜合評(píng)估統(tǒng)計(jì)情況如表3所示，各個(gè)工況的具體評(píng)估結(jié)果如表4所示。

圖10 驗(yàn)證集上對(duì)比模型的損失率

表3 各個(gè)對(duì)比模型在測(cè)試集上的綜合評(píng)估結(jié)果

表4 各模型在測(cè)試集上的實(shí)驗(yàn)結(jié)果

表3和表4結(jié)果表明，在測(cè)試集中CNN-LSTM模型在綜合準(zhǔn)確率上優(yōu)于對(duì)比模型，達(dá)到了94.1%。尤其對(duì)于結(jié)構(gòu)損傷程度更大的工況3和工況4條件下，CNN-LSTM具有更好的精確率、召回率和值。工況2中，各個(gè)對(duì)比模型的識(shí)別效果均較好，通過分析原始數(shù)據(jù)發(fā)現(xiàn)，實(shí)驗(yàn)過程中有4個(gè)傳感器感知數(shù)據(jù)無變化，即存在明顯異常，因此，各個(gè)模型均能較好進(jìn)行數(shù)據(jù)分類。綜上所述，CNN-LSTM聯(lián)合模型具有更優(yōu)的綜合識(shí)別效果。

不同對(duì)比模型的訓(xùn)練時(shí)間與模型尺寸如表5所示。其中訓(xùn)練時(shí)間為每個(gè)epoch所耗費(fèi)的平均時(shí)間。從表中看出,CNN-LSTM比LSTM網(wǎng)絡(luò)模型僅需1/2的訓(xùn)練時(shí)間。另一方面，CNN-LSTM聯(lián)合模型的模型尺寸遠(yuǎn)小于CNN和LSTM，所以CNN-LSTM聯(lián)合模型具有更小的GPU空間消耗。因此CNN- LSTM聯(lián)合模型能在訓(xùn)練時(shí)間和計(jì)算空間開銷2個(gè)維度上取得較好的平衡。

加速度時(shí)域信息包含了結(jié)構(gòu)的頻率、振型等模態(tài)參數(shù)，這些信息是結(jié)構(gòu)損傷識(shí)別的關(guān)鍵。CNN- LSTM神經(jīng)網(wǎng)絡(luò)模型能夠在空間和時(shí)間2個(gè)維度對(duì)多傳感器感知數(shù)據(jù)進(jìn)行特征提取，達(dá)到損傷識(shí)別效果提升的目的。

表5 各對(duì)比模型的訓(xùn)練時(shí)間和模型尺寸

3 結(jié)論

1) 面向橋梁結(jié)構(gòu)損傷識(shí)別問題，結(jié)合多傳感器感知數(shù)據(jù)特性，提出聯(lián)合CNN與LSTM模型的結(jié)構(gòu)損傷識(shí)別方法。該方法從多傳感器數(shù)據(jù)拓?fù)湎嚓P(guān)性和時(shí)間上下文依賴2個(gè)維度進(jìn)行特征提取，提升后續(xù)損傷識(shí)別精度。

2) 以某連續(xù)剛構(gòu)橋縮尺模型不同損傷工況數(shù)據(jù)為基礎(chǔ)，與單一的DNN，LSTM和CNN深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比實(shí)驗(yàn)，提出的CNN-LSTM聯(lián)合模型對(duì)基于結(jié)構(gòu)振動(dòng)數(shù)據(jù)的損傷識(shí)別具有更好的綜合識(shí)別效果，并能在合理的訓(xùn)練時(shí)間條件下節(jié)省更多的計(jì)算空間消耗，具有較好的計(jì)算時(shí)間和空間平衡性。

[1] 李惠, 鮑躍全, 李順龍, 等. 結(jié)構(gòu)健康監(jiān)測(cè)數(shù)據(jù)科學(xué)與工程[M]. 北京: 科學(xué)出版社, 2016. LI Hui, BAO Yuequan, LI Shunlong, et al. Structural health monitoring data science and engineering[M]. Beijing: Science Press, 2016.

[2] Wong K. Instrumentation and health monitoring of cable-supported bridges[J]. Structural Control and Health Monitoring, 2004, 11(2): 91?124.

[3] Maeck J, Peeters B, Roeck G D. Damage identification on the Z24 bridge using vibration monitoring[J]. Smart Materials and Structures, 2001, 10(3): 512?517.

[4] ZHOU Jianting, LI Xiaogang, XIA Runchuan, et al. Health monitoring and evaluation of long-span bridges based on sensing and data analysis: A survey[J]. Sensors, 2017, 17: 603.

[5] 宗周紅, 鐘儒勉, 鄭沛娟, 等. 基于健康監(jiān)測(cè)的橋梁結(jié)構(gòu)損傷預(yù)后和安全預(yù)后研究進(jìn)展及挑戰(zhàn)[J]. 中國公路學(xué)報(bào), 2014, 27(12): 47?57. ZONG Zhouhong, ZHONG Rumian, ZHENG Peijuan, et al. Damage and safety prognosis of bridge structures based on structural health monitoring: Progress and challenges[J]. China Journal of Highway and Transport, 2014, 27(12): 965?982.

[6] Diez A, Khoa N L D, Alamdari M M, et al. A clustering approach for structural health monitoring on bridges[J]. Journal of Civil Structural Health Monitoring, 2016, 6(3): 429?445.

[7] Neves A C, González I, Leander J, et al. Structural health monitoring of bridges: A model-free ANN-based approach to damage detection[J]. Journal of Civil Structural Health Monitoring, 2017, 7(5): 689?702.

[8] Khoa N L D, ZHANG B, WANG Y, et al. Robust dimensionality reduction and damage detection approaches in structural health monitoring[J]. Structural Health Monitoring, 2014, 13(4): 406?417.

[9] 安平和, 鄔曉光. 基于支持向量機(jī)的梁橋多位置損傷識(shí)別研究[J]. 鐵道科學(xué)與工程學(xué)報(bào), 2019, 16(5): 1231?1236. AN Pinghe, WU Xiaoguang. Multi position damage identification of beam-bridges based on support vector machine[J]. Journal of Railway Science and Engineering, 2019, 16(5): 1231?1236.

[10] 鄧海波, 常柱剛, 李胡濤, 等. 基于SVM-PSO算法的大跨度懸索橋撓度可靠度研究[J]. 鐵道科學(xué)與工程學(xué)報(bào), 2019, 16(1): 114?120. DENG Haibo, CHANG Zhugang, LI Hutao, et al. Research on reliability of deflection control for long-span suspension bridge based on SVM-PSO[J]. Chinese Journal of Computers, 2017, 40(6): 1229?1251.

[11] GUO Junqi, XIE Xiaobo, BIE Rongfang, et al. Structural health monitoring by using a sparse coding-based deep learning algorithm with wireless sensor networks[J]. Personal and Ubiquitous Computing, 2014, 18: 1977? 1987.

[12] Abdeljaber O, Avci O, Kiranyaz S, et al. Real-time vibration-based structural damage detection using one-dimensional convolutional neural networks[J]. Journal of Sound and Vibration, 2017, 388: 154?170.

[13] YU Y, WANG C, GU X, et al. A novel deep learning-based method for damage identification of smart building structures[J]. Structural Health Monitoring, 2018, 18(1): 143?163.

[14] Abdeljaber O, Avci O, Kiranyaz M S, et al. 1-D CNNs for structural damage detection: verification on a structural health monitoring benchmark data[J]. Neurocomputing, 2018, 275: 1308?1317.

[15] TANG Z, CHEN Z, BAO Y, et al. Convolutional neural network-based data anomaly detection method using multiple information for structural health monitoring[J]. Structural Control and Health Monitoring, 2019, 26(1): e2296.

[16] Karim F, Majumdar S, Darabi H, et al. Multivariate LSTM-FCNs for Time Series classification[J]. Neural Networks, 2019, 116: 237?245.

[17] 周飛燕, 金林鵬, 董軍. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2017, 40(6): 1229?1251. ZHOU Feiiyan, JIN Linpeng, DONG Jun. Review of convolutional neural network[J]. Chinese Journal of Computers, 2017, 40(6): 1229?1251.

[18] 梁天新, 楊小平, 王良, 等. 記憶神經(jīng)網(wǎng)絡(luò)的研究與發(fā)展[J]. 軟件學(xué)報(bào), 2017, 28(11): 2905?2924. LIANG Tianxin, YANG Xiaoping, WANG Liang, et al. Review on research and development of memory neural networks[J]. Journal of Software, 2017, 28(11): 2905? 2924.

[19] Graves A, Jaitly N, Mohamed A. Hybrid speech recognition with deep bidirectional LSTM[C]// 2013 IEEE workshop on automatic speech recognition and understanding. IEEE, 2013: 273?278.

Research on bridge structural damage detection based on convolutional and long short-term memory neural networks

YANG Jianxi1, ZHANG Likai2, LI Ren1, HE Yingying1, JIANG Shixin1, ZOU Junzhi2

(1. College of Information Science and Engineering, Chongqing Jiaotong University, Chongqing 400074, China; 2. College of Civil Engineering, Chongqing Jiaotong University, Chongqing 400074, China)

In order to improve the bottlenecks in traditional methods about the combined extraction of spatio-temporal correlation features and structural damage detection, this paper combined the data characteristics of acceleration vibration signal of the structural health monitoring to reduce the structural damage detection to the problem of multivariate time series classification. This paper proposes a novel structural damage detection approach based on Convolutional Neural Network (CNN) and Long Short-Term Memory (LSTM) neural network models. Taking the acceleration vibration response data obtained by structural health monitoring as input, the correlation features between sensors in multiple time frames is extracted by CNN model, and then the feature matrix is input into the LSTM model which uses Softmax as output layer to further extract time-related features and classify the structural damage patterns. An actual monitoring dataset obtained from a bridge scaled-model is employed as the experimental context. The experimental results verify the advantages of the proposed method in terms of accuracy, precision, recall and-scores.

bridge health monitoring; structural damage detection; convolutional neural network; long short-term memory network

U446.2

A

1672 ? 7029(2020)08 ? 1893 ? 10

10.19713/j.cnki.43?1423/u.T20191007

2019?11?18

國家自然科學(xué)基金資助項(xiàng)目(51608070)；重慶市教委科學(xué)技術(shù)研究資助項(xiàng)目(KJQN201800705，KJQN201900726)

李韌(1985?)，男，四川筠連人，副教授，博士，從事結(jié)構(gòu)監(jiān)測(cè)數(shù)據(jù)分析、橋梁領(lǐng)域知識(shí)圖譜研究；E?mail：renli@cqjtu.edu.cn

(編輯 蔣學(xué)東)