卷積神經(jīng)網(wǎng)絡(luò)在錨桿錨固類(lèi)型識(shí)別中的應(yīng)用

(石家莊鐵道大學(xué)電氣與電子工程學(xué)院， 河北石家莊050043)

錨桿廣泛應(yīng)用于橋梁、隧道、建筑等工程。錨桿錨固技術(shù)不僅可以合理地調(diào)動(dòng)圍巖的自身強(qiáng)度和自穩(wěn)能力，起到加固和支護(hù)圍巖的作用，而且成本低，施工方便、安全。該技術(shù)在國(guó)內(nèi)和國(guó)外發(fā)展迅速，但是與此同時(shí)，其質(zhì)量問(wèn)題很難被發(fā)現(xiàn)，一旦出現(xiàn)質(zhì)量問(wèn)題將會(huì)引起一系列的損失，如人員傷亡和財(cái)產(chǎn)損失等[1-3]。另外，由于對(duì)錨桿錨固支護(hù)原理了解不足，很難掌握錨桿錨固的質(zhì)量問(wèn)題，造成大量的成本浪費(fèi)，因此，需要對(duì)錨桿錨固系統(tǒng)進(jìn)行缺陷檢測(cè)，以確保支護(hù)安全和節(jié)約成本。

準(zhǔn)確提取錨桿錨固系統(tǒng)特征對(duì)類(lèi)型識(shí)別至關(guān)重要。傳統(tǒng)的特征提取方法依賴于廣泛的專(zhuān)業(yè)知識(shí)和先驗(yàn)知識(shí)，不僅要求研究人員理解錨桿錨固系統(tǒng)的結(jié)構(gòu)和原理，而且難以挖掘新特征。神經(jīng)網(wǎng)絡(luò)[3-4]和支持向量機(jī)[5]等淺層機(jī)器學(xué)習(xí)需要設(shè)計(jì)專(zhuān)門(mén)的特征提取方法來(lái)評(píng)估錨固質(zhì)量。例如，小波變換或小波包分解用于提取信號(hào)時(shí)頻域特性，然后將這些特征作為淺層機(jī)器學(xué)習(xí)的輸入，但是小波分解或其他特征提取方法不能保證提取到的信號(hào)是本質(zhì)特征。雖然傳統(tǒng)的智能識(shí)別方法表現(xiàn)良好，但是也存在一些明顯的缺點(diǎn)：手動(dòng)特征提取過(guò)程是一個(gè)艱苦而耗時(shí)的過(guò)程，需要研究員大量分析以捕捉代表性的特征；手工特征提取通常取決于現(xiàn)有的特征或評(píng)估標(biāo)準(zhǔn)，使得探索新的有用特征變得很困難[6]。為了克服這些缺點(diǎn)，研究一種能夠直接從原始信號(hào)中學(xué)習(xí)特征并適應(yīng)錨桿錨固系統(tǒng)變化的自動(dòng)特征提取方法具有重要意義。

深度學(xué)習(xí)[7-9]可以自動(dòng)從高維數(shù)據(jù)中學(xué)習(xí)深層特征，近年來(lái)備受各領(lǐng)域研究者的關(guān)注。卷積神經(jīng)網(wǎng)絡(luò)(CNN)是典型的深度學(xué)習(xí)方法，其最大的優(yōu)勢(shì)是無(wú)需過(guò)多的預(yù)處理，能夠直接將原始信號(hào)作為網(wǎng)絡(luò)輸入，通過(guò)訓(xùn)練調(diào)整優(yōu)化卷積核參數(shù)，實(shí)現(xiàn)信號(hào)的特征提取和分類(lèi)。CNN模型已成功地應(yīng)用于許多方面，包括圖像識(shí)別[10-11]、 故障檢測(cè)[12-13]和語(yǔ)音識(shí)別[14-15]等，然而，很少有研究者使用CNN模型來(lái)解決錨固缺陷中的識(shí)別問(wèn)題。

本文中采用一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)對(duì)錨桿錨固系統(tǒng)類(lèi)型進(jìn)行識(shí)別，直接以加速度信號(hào)作為網(wǎng)絡(luò)的輸入，通過(guò)卷積和池化操作來(lái)實(shí)現(xiàn)端到端的分類(lèi)過(guò)程；同時(shí)，對(duì)稀疏自編碼器一維卷積神經(jīng)網(wǎng)絡(luò) (SAE-1D-CNN)模型與傳統(tǒng)的1D-CNN模型、 反向傳播(BP)神經(jīng)網(wǎng)絡(luò)模型識(shí)別方法進(jìn)行對(duì)比。

1 CNN概述

1.1 CNN結(jié)構(gòu)

CNN是受哺乳動(dòng)物視覺(jué)皮層細(xì)胞感受野啟發(fā)而建立的前饋神經(jīng)網(wǎng)絡(luò)， 具有局部連接、 權(quán)值共享、 降采樣等特征， 可以大幅度降低網(wǎng)絡(luò)的計(jì)算成本， 在圖像識(shí)別和目標(biāo)檢測(cè)方面有出色的表現(xiàn)[16]。 圖1所示為一個(gè)典型的CNN結(jié)構(gòu)， 由輸入層、 卷積層、 采樣層、 全連接層和輸出層組成， 包括特征提取與分類(lèi)判別2個(gè)階段， 其中， 卷積層、 采樣層、 全連接層進(jìn)行特征提取， 輸出層采用SoftMax函數(shù)進(jìn)行分類(lèi)。

圖1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)構(gòu)圖

圖1中卷積層包含的多個(gè)特征圖是通過(guò)不同卷積核對(duì)上一層的局部區(qū)域進(jìn)行卷積運(yùn)算得到的。與全局特征提取相比，局部特征提取減少了大量的訓(xùn)練參數(shù)，加快了網(wǎng)絡(luò)的訓(xùn)練。卷積層的另一重要特點(diǎn)是權(quán)值共享，進(jìn)一步減少了卷積層的網(wǎng)絡(luò)參數(shù)，避免了因參數(shù)過(guò)多而造成的過(guò)擬合。卷積層公式為

(1)

采樣層又稱池化層，該層是對(duì)前一層特征圖的某個(gè)選定區(qū)域進(jìn)行特征分析與統(tǒng)計(jì)，用新的特征代表這個(gè)區(qū)域的整體特征[17]，主要實(shí)現(xiàn)以下2個(gè)目的:1)減少自由參數(shù)的數(shù)量，降低網(wǎng)絡(luò)計(jì)算復(fù)雜度；2)防止過(guò)擬合，使測(cè)試集識(shí)別率接近訓(xùn)練集識(shí)別率。采樣方法有平均采樣法和最大采樣法等。采樣公式為

(2)

式中g(shù)(· )為采樣函數(shù)，通常為平均采樣或最大采樣。

經(jīng)過(guò)幾個(gè)卷積層和采樣層后，連接一個(gè)全連接層，該層的每個(gè)神經(jīng)元節(jié)點(diǎn)與前一層和后一層的所有神經(jīng)元節(jié)點(diǎn)相連，最后輸出層采用SoftMax函數(shù)進(jìn)行分類(lèi)。

假設(shè)標(biāo)簽為k類(lèi)，輸出層公式為

(3)

1.2 1D-CNN模型建立

錨桿錨固加速度信號(hào)屬于一維振動(dòng)信號(hào)，因此，采用一維CNN模型解決錨桿缺陷識(shí)別問(wèn)題。 通過(guò)分析錨桿錨固加速度數(shù)據(jù)特點(diǎn)和實(shí)驗(yàn)的實(shí)際需要，建立簡(jiǎn)單的1D-CNN錨桿錨固系統(tǒng)類(lèi)型識(shí)別模型，該模型由輸入層、 卷積層1、 采樣層1、 卷積層2、 采樣層2、 輸出層組成，如圖2所示。輸入層為長(zhǎng)度是200的錨桿錨固加速度信號(hào)；卷積層1包含5個(gè)196×1型特征向量，由5×1型卷積核遍歷卷積輸入得到；采樣層1采用步幅為2的平均池化方法得到5個(gè)98×1型特征向量；卷積層2包含10個(gè)94×1型特征向量，由5×1型卷積核遍歷卷積采樣層1得到； 采樣層2同樣采用步幅為2的平均池化方法得到10個(gè)47×1型特征向量；將采樣層2的所有特征向量展開(kāi)成一條向量與輸出層全連接進(jìn)行分類(lèi)。

區(qū)別于傳統(tǒng)的錨桿錨固系統(tǒng)類(lèi)型識(shí)別模型，CNN模型包括特征提取與識(shí)別2個(gè)過(guò)程，并且整個(gè)網(wǎng)絡(luò)的參數(shù)都通過(guò)BP算法進(jìn)行更新，因此，有較好的穩(wěn)健性和遷移性。

2 稀疏自編碼器

稀疏自編碼器(sparse auto-encoder，SAE)是一種無(wú)監(jiān)督的深度學(xué)習(xí)算法[18]。通過(guò)計(jì)算自編碼的輸出與原輸入的誤差，不斷調(diào)整自編碼器的參數(shù)，最終訓(xùn)練出模型。模型的隱含層權(quán)重可以看作輸入數(shù)據(jù)的另一種表達(dá)方式。

圖2 基于一維卷積神經(jīng)網(wǎng)絡(luò)的錨桿錨固系統(tǒng)類(lèi)型識(shí)別模型

xi—第i個(gè)輸入數(shù)據(jù)，i=1,2,…,5；第i個(gè)輸出數(shù)據(jù)，i=1,2,…,5。圖3 經(jīng)典自編碼器網(wǎng)絡(luò)模型

當(dāng)隱含層維度小于輸入層維度時(shí)，輸入數(shù)據(jù)可得到一種壓縮表示。當(dāng)隱含層維度大于輸入層維度時(shí)，向中間層神經(jīng)元加入稀疏性限制，SAE也可以從數(shù)據(jù)中提取到有用特征。

SAE損失函數(shù)(Loss函數(shù))為

(4)

其中

(5)

SAE損失函數(shù)中的稀疏懲罰項(xiàng)，使用Kullback-Leibler(KL)散度[19]，公式為

(6)

1D-CNN具有局部連接、 權(quán)值共享， 輸入數(shù)據(jù)可為原始信號(hào)等優(yōu)點(diǎn)。 SAE具有快速提取信號(hào)基本特征的能力[20]。 將二者結(jié)合在一起可以提高1D-CNN卷積層特征提取的速度和準(zhǔn)確度。 圖4所示為SAE-1D-CNN算法流程。

SAE結(jié)構(gòu)設(shè)置是根據(jù)本文中建立的1D-CNN錨桿錨固類(lèi)型識(shí)別模型中的卷積層得到的。 由于卷積層1對(duì)應(yīng)5個(gè)5×1型的卷積核， 因此， 在錨桿錨固訓(xùn)練數(shù)據(jù)樣本中， 隨機(jī)選取一部分5×1型的信號(hào)段作為SAE模型的輸入樣本。 隱含層神經(jīng)元個(gè)數(shù)設(shè)為5， 通過(guò)訓(xùn)練SAE模型得到5×5型的隱含層權(quán)重作為卷積層1的卷積核初始值。 同理， 利用SAE模型訓(xùn)練采樣層1的特征輸出得到卷積層2的卷積核初始值。 SAE的訓(xùn)練參數(shù)設(shè)置如下： 稀疏參數(shù)為0.05， 權(quán)重衰減因子為0.000 1， 稀疏懲罰項(xiàng)因子為3， 迭代次數(shù)為500。

圖4 稀疏自編碼器(SAE)一維卷積神經(jīng)網(wǎng)絡(luò)(CNN)算法流程

3 錨桿錨固系統(tǒng)類(lèi)型識(shí)別結(jié)果分析

3.1 錨桿錨固系統(tǒng)實(shí)驗(yàn)

為了驗(yàn)證方法的有效性，采用實(shí)驗(yàn)的4類(lèi)錨桿錨固模型進(jìn)行識(shí)別，圖5所示為4類(lèi)錨桿錨固系統(tǒng)模型實(shí)物圖。圖6所示為系統(tǒng)模型切面圖，其中1#為完整型錨桿錨固系統(tǒng)模型，2#為缺陷出現(xiàn)在距離錨固界面0.33 m處缺陷長(zhǎng)度是0.10 m的錨桿錨固模型，3#為缺陷出現(xiàn)在距離錨固界面0.70 m處缺陷長(zhǎng)度是0.10 m的錨桿錨固模型，4#為缺陷分別出現(xiàn)在距離錨固界面0.52、1.08 m處缺陷長(zhǎng)度分別為0.11、 0.12 m的錨桿錨固模型。模型參數(shù)見(jiàn)表1。

實(shí)驗(yàn)中，將壓電集成電路(IEPE)加速度傳感器放置于錨桿的端部， 另一端接到動(dòng)態(tài)信號(hào)測(cè)試分析裝置的一個(gè)通道上，測(cè)試分析系統(tǒng)與計(jì)算機(jī)相連。所有設(shè)備連接好后，檢查小錘、 傳感器、 信號(hào)采集裝置之間的連線是否牢固，然后設(shè)置系統(tǒng)軟件參數(shù)，其中采集頻率設(shè)為10 kHz。最后，點(diǎn)擊信號(hào)處理界面的采集按鈕即可完成信號(hào)采集。為了避免外界因素對(duì)實(shí)驗(yàn)數(shù)據(jù)采集造成干擾，在信號(hào)采集過(guò)程中，需要注意小錘敲擊的準(zhǔn)確性，每次敲擊力度盡量保持一致。圖7所示為錨桿加速度信號(hào)采集系統(tǒng)設(shè)備的連接示意圖，圖8所示為得到的錨桿錨固加速度信號(hào)。

圖5 4類(lèi)錨桿錨固模型

(a)1#(b)2#(c)3#(d)4#圖6 4類(lèi)錨桿錨固模型切面

表1 錨桿錨固系統(tǒng)模型參數(shù)

圖7 系統(tǒng)設(shè)備連接示意圖

3.2 識(shí)別結(jié)果分析

利用實(shí)驗(yàn)室搭建的錨桿錨固實(shí)驗(yàn)平臺(tái)得到4類(lèi)錨桿錨固數(shù)據(jù)各260組， 共1 040組。 其中每組數(shù)據(jù)包含1 024個(gè)采樣點(diǎn)， 如果將每組數(shù)據(jù)的采樣點(diǎn)都作為1D-CNN的輸入， 不僅會(huì)延長(zhǎng)訓(xùn)練時(shí)間， 而且容易造成特征冗余， 進(jìn)而導(dǎo)致錨桿錨固類(lèi)型的識(shí)別效果不理想。 從圖8中可以看出，處于0.02 ～0.04 s的信號(hào)波形變化較明顯， 該段信號(hào)包含4類(lèi)錨桿錨固系統(tǒng)的不同特征， 因此， 只需要將這段時(shí)間的采樣點(diǎn)進(jìn)行識(shí)別， 即每個(gè)樣本包含200個(gè)數(shù)據(jù)點(diǎn)。為了檢驗(yàn)CNN模型的泛化能力， 將1 040組數(shù)據(jù)進(jìn)行隨機(jī)排序， 并從中選取900組作為訓(xùn)練集和140組作為測(cè)試集本。 網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置學(xué)習(xí)率為1， 批處理長(zhǎng)度為30， 迭代次數(shù)為300。分別采用SAE-1D-CNN模型、 傳統(tǒng)1D-CNN模型和BP神經(jīng)網(wǎng)絡(luò)模型對(duì)錨桿錨固加速度數(shù)據(jù)進(jìn)行識(shí)別測(cè)試。 其中， SAE-1D-CNN模型中SAE的損失值曲線如圖9所示。 從圖中可知， 當(dāng)?shù)螖?shù)達(dá)到400時(shí)， 損失函數(shù)開(kāi)始收斂， 最終損失函數(shù)值穩(wěn)定在0.353左右。

圖8 錨桿錨固加速度曲線

圖9 稀疏自編碼器的損失值曲線

圖10所示為3種模型識(shí)別結(jié)果。從圖中可以看出，1D-CNN模型的正確識(shí)別樣本數(shù)為134，錯(cuò)誤識(shí)別樣本個(gè)數(shù)為6，識(shí)別準(zhǔn)確率為95.71%。SAE-1D-CNN模型的正確識(shí)別樣本個(gè)數(shù)為138，錯(cuò)誤識(shí)別樣本個(gè)數(shù)為2，識(shí)別準(zhǔn)確率為98.57%。BP模型的正確識(shí)別樣本個(gè)數(shù)為100，錯(cuò)誤識(shí)別樣本個(gè)數(shù)為40，識(shí)別準(zhǔn)確率為71.43%。結(jié)果表明，SAE-1D-CNN、傳統(tǒng)1D-CNN模型在實(shí)驗(yàn)中的識(shí)別正確率均高于BP模型的，說(shuō)明CNN模型獨(dú)特的體系結(jié)構(gòu)可以自動(dòng)分層的挖掘數(shù)據(jù)更具代表性的信息。與傳統(tǒng)1D-CNN模型在錨桿錨固系統(tǒng)識(shí)別任務(wù)中相比，SAE-1D-CNN模型表現(xiàn)出了更好的識(shí)別效果。

圖11所示為2種錨桿錨固類(lèi)型識(shí)別模型的訓(xùn)練集均方誤差曲線。由圖可知，SAE-1D-CNN模型收斂更快，均方誤差更小。隨著網(wǎng)絡(luò)迭代次數(shù)的增加，2種模型的訓(xùn)練集均方誤差均減小，但是減小程度不同，前2 000次批量迭代中SAE-1D-CNN模型的均方誤差減小遠(yuǎn)快于1D-CNN模型的，其原因是SAE-1D-CNN模型的卷積核進(jìn)行了預(yù)訓(xùn)練，有效地提取了信號(hào)的基本特征，進(jìn)而增大了CNN卷積層特征提取的速度和改善了準(zhǔn)確度； 但是， 由于1D-CNN模型的卷積核未進(jìn)行預(yù)訓(xùn)練，因此，需要更多次批量迭代訓(xùn)練來(lái)提取特征以減小訓(xùn)練集的均方誤差。

(a)一維卷積神經(jīng)網(wǎng)絡(luò)模型

(b)稀疏自編碼器一維卷積神經(jīng)網(wǎng)絡(luò)模型

(c)反向傳播模型圖10 不同模型的錨桿錨固類(lèi)型識(shí)別結(jié)果

圖11 訓(xùn)練集均方誤差曲線

4 結(jié)語(yǔ)

本文中采用1D-CNN模型對(duì)錨桿錨固系統(tǒng)類(lèi)型進(jìn)行識(shí)別，模型直接從錨桿錨固加速度信號(hào)中自動(dòng)學(xué)習(xí)特征，完成端到端的類(lèi)型識(shí)別，并且為了避免網(wǎng)絡(luò)在訓(xùn)練時(shí)收斂慢、 易陷入局部最優(yōu)值，利用SAE算法對(duì)卷積核進(jìn)行預(yù)訓(xùn)練。通過(guò)分析和比較識(shí)別結(jié)果，SAE-1D-CNN模型不僅提高了錨桿錨固系統(tǒng)類(lèi)型的識(shí)別率，而且與傳統(tǒng)1D-CNN模型和BP神經(jīng)網(wǎng)絡(luò)模型相比，收斂更快，均方誤差更小。

由于實(shí)驗(yàn)條件有限，錨桿錨固模型的缺陷種類(lèi)較少，尤其是很多工程中的錨桿錨固缺陷類(lèi)型未涉及到，因此，在今后的研究工作中，可以通過(guò)加入更多的錨桿錨固缺陷種類(lèi)，使CNN模型在錨桿錨固缺陷類(lèi)型識(shí)別中具有更大的實(shí)用性。