基于一維卷積神經(jīng)網(wǎng)絡(luò)的塔式起重機(jī)結(jié)構(gòu)損傷診斷方法研究*

宋世軍 劉 昂 安增輝 楊 蕊 吳月華

1山東建筑大學(xué)機(jī)電工程學(xué)院 濟(jì)南 250101 2山東富友科技有限公司 濟(jì)南 250101

0 引言

塔式起重機(jī)（以下簡稱塔機(jī)）屬于垂直作業(yè)機(jī)械，涉及高空領(lǐng)域，一旦塔機(jī)結(jié)構(gòu)發(fā)生損傷，有可能會發(fā)生倒塌，進(jìn)而造成人員傷亡的重大事故[1]。由于采集到的塔機(jī)結(jié)構(gòu)數(shù)據(jù)量龐大，采用人工診斷存在效率低等問題。因此，研究塔機(jī)結(jié)構(gòu)智能損傷診斷方法，實現(xiàn)塔機(jī)結(jié)構(gòu)數(shù)據(jù)的自動分類，提高塔機(jī)結(jié)構(gòu)是否存在損傷的判斷速度，對保障塔機(jī)的安全可靠運行，降低事故發(fā)生率具有重要意義。

近年來，深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)獨具的卷積結(jié)構(gòu)能夠處理復(fù)雜的數(shù)據(jù)結(jié)構(gòu)和每個位置都會被卷積操作獲取并保留特征的優(yōu)勢，卷積神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺、自然語言處理和軸承故障診斷識別等領(lǐng)域成功應(yīng)用[2]。塔機(jī)結(jié)構(gòu)數(shù)據(jù)屬于一維信號，可通過一維卷積神經(jīng)網(wǎng)絡(luò)（1D CNN）來提取塔機(jī)結(jié)構(gòu)數(shù)據(jù)特征并進(jìn)行分類。本文在原有數(shù)據(jù)的基礎(chǔ)上引進(jìn)數(shù)據(jù)增強(qiáng)方法；建立1D CNN模型，實現(xiàn)了塔機(jī)結(jié)構(gòu)數(shù)據(jù)的分類，并與隨機(jī)森林[3]（RF），支持向量機(jī)[4](SVM）和人工神經(jīng)網(wǎng)絡(luò)[5](ANN)算法進(jìn)行結(jié)果對比，為進(jìn)一步研究基于深度學(xué)習(xí)的塔機(jī)智能損傷診斷方法打下基礎(chǔ)。

1 理論基礎(chǔ)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種反饋神經(jīng)網(wǎng)絡(luò)，主要通過對卷積層和池化層不斷的堆積疊加構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)，計算過程為[6]

式中：X為原始輸入數(shù)據(jù)，θ（N）為第N層所學(xué)習(xí)的訓(xùn)練參數(shù)值，fN為第N層所執(zhí)行的算式運算，f（X）為通過卷積、激活、池化得到的原始數(shù)據(jù)X的輸出特征圖。

卷積層是CNN最重要的部分，通過人工設(shè)計的方式可自動生成卷積核矩陣，將卷積從上到下、從左到右依次作用于輸入數(shù)據(jù)的所有位置，最終得到卷積后的值[7]。卷積算法的數(shù)學(xué)公式為

式中：xi為當(dāng)前的輸入特征，xi+1為卷積后的特征圖，?為卷積運算符號；Wi為卷積核權(quán)值，bi為偏置。

最大池化層加在卷積層之間，可有效縮小參數(shù)矩陣的尺寸和全連接層中參數(shù)的數(shù)量，起到加快計算速度和防止過擬合的作用[8]。卷積網(wǎng)絡(luò)的最終輸出為一維向量，作為n分類的一維輸出向量，其與層間的神經(jīng)元相連，數(shù)學(xué)表達(dá)公式為[9]

式中：x為全連接層的輸入，o（x）為全連接層的輸出，f（·）為激活函數(shù)，ω為全連接層的權(quán)重，b為偏置。

1.2 批標(biāo)準(zhǔn)化

為防止神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時出現(xiàn)梯度消失問題，使激活函數(shù)落在敏感的區(qū)域、加快學(xué)習(xí)收斂度，引進(jìn)批標(biāo)準(zhǔn)化（BN），將越來越偏向的分布拉回到標(biāo)準(zhǔn)化分布[10，11]。BN的操作可使每一層計算的結(jié)果都符合標(biāo)準(zhǔn)正態(tài)分布，其數(shù)學(xué)表達(dá)式為

式中：為平均值，xvar為標(biāo)準(zhǔn)差。

1.3 Dropout

Dropout的作用就是減少中間特征數(shù)量，增加各層特征之間的正交性，防止過擬合的發(fā)生，起到正則化的效果。神經(jīng)網(wǎng)絡(luò)在未加入Dropout時，前向傳播復(fù)雜，結(jié)構(gòu)如圖1a所示；在加入Dropout后，神經(jīng)網(wǎng)絡(luò)使部分神經(jīng)元不參與網(wǎng)絡(luò)的訓(xùn)練，減弱神經(jīng)元節(jié)點間的聯(lián)合性，增強(qiáng)泛化能力，結(jié)構(gòu)如圖1b所示[12]。

圖1 是否使用Dropout的神經(jīng)網(wǎng)絡(luò)模型

2 基于1D CNN的塔機(jī)結(jié)構(gòu)損傷智能診斷

2.1 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是擴(kuò)充數(shù)據(jù)樣本規(guī)模的一種有效方法，數(shù)據(jù)的規(guī)模越大、質(zhì)量越高越好，模型才能有更好的泛化能力，主要包括幾何變換、顏色變換、SMOTE、Sample Pairing、mixup 等[13]。

考慮到塔機(jī)主要由4個主肢承受力的作用，且采集的是塔機(jī)工作做旋轉(zhuǎn)運動時的數(shù)據(jù)，故對現(xiàn)有的樣本數(shù)據(jù)進(jìn)行旋轉(zhuǎn)90o、180o、270o處理。采用這種方法可以盡可能地提取到相似數(shù)據(jù)之間明顯的區(qū)別特征，同時又能增加參加訓(xùn)練的樣本數(shù)量，模型訓(xùn)練起來得到更具有魯棒性的特征。此方法的實現(xiàn)方式為

式中：x、y為旋轉(zhuǎn)角度之后的新坐標(biāo)值，、為需要原樣本數(shù)值的坐標(biāo)平均值，xi、yi為原樣本數(shù)據(jù)值，θ為需要旋轉(zhuǎn)的角度。

2.2 基于1D CNN智能損傷診斷的模型

本文提出的基于CNN算法用來對塔機(jī)結(jié)構(gòu)損傷智能診斷，且采用的是一維卷積神經(jīng)網(wǎng)絡(luò)，如圖2所示。將測得的塔機(jī)頂端位移數(shù)據(jù)輸入模型，可快速判斷塔機(jī)結(jié)構(gòu)狀態(tài)是否存在損傷。

圖2 基于1D CNN的狀態(tài)識別模型

在圖2中，基于1D CNN診斷模型主要包括1個輸入層、2個卷積層、2個池化層、4個全連接層。其中輸入層為塔機(jī)位移原始數(shù)據(jù)，2個卷積層的卷積核為1×6，2個池化層的卷積核大小都是2×1，4個全連接層的節(jié)點數(shù)依次為256、128、35、2。然后，全連接層將具有分類特征的值傳輸給Softmax分類器，再將數(shù)據(jù)分為完好和損傷2種狀態(tài)。通過對各參數(shù)的比較分析后，本文提出的1D CNN算法模型參數(shù)設(shè)置如表1所示。

表1 1D CNN模型各參數(shù)設(shè)置

Softmax輸出的類別標(biāo)簽為向量形式，其損失代價函數(shù)表達(dá)式為[14]

式中：（xi，yi）為訓(xùn)練數(shù)據(jù)集；m為樣本個數(shù)；yi∈｛1，2，…，k｝為樣品的標(biāo)簽類別；θ為模型訓(xùn)練期間設(shè)置的參數(shù)集，用來最小化當(dāng)前成本函數(shù)。

1D CNN診斷算法流程如圖3所示。輸入原始采集的塔機(jī)位移頂端數(shù)據(jù)，原始數(shù)據(jù)1行代表一個類別，48列代表著48個特征，完好狀態(tài)表示為1，損傷表示為0；并將數(shù)據(jù)數(shù)的80%用于模型訓(xùn)練，剩余20%用于測試。然后輸出預(yù)測結(jié)果并和真實類別做比較，根據(jù)實驗結(jié)果不斷對模型有關(guān)參數(shù)進(jìn)行優(yōu)化。

圖3 基于1D CNN狀態(tài)識別算法流程圖

3 實驗數(shù)據(jù)的獲取

為驗證本文所提出的1D CNN智能診斷算法的有效性，用剛度儀在塔機(jī)上采集的原始頂端位移數(shù)據(jù)樣本進(jìn)行實驗，剛度計的安裝位置為塔機(jī)回轉(zhuǎn)塔身的任意主肢或與塔身軸線是平行的結(jié)構(gòu)處[15]，按照箭頭指示安裝?？稍谒緳C(jī)室顯示儀器上讀取數(shù)據(jù)。

本文實驗采用剛度儀采集的數(shù)據(jù)，并用數(shù)據(jù)增強(qiáng)的方法增強(qiáng)數(shù)據(jù)，以樣本原始數(shù)據(jù)總量的隨機(jī)選取80%用于模型訓(xùn)練，剩下20%的樣本數(shù)據(jù)用來測試模型。

4 實驗研究

4.1 各參數(shù)的影響

本文構(gòu)建的1D CNN模型，可根據(jù)準(zhǔn)確率對應(yīng)4種優(yōu)化器：Root Mean Square Prop（RMSprop）、Adaptive moment estimation（Adam）、Adaptive gradient(Adagrad)、Adadelta[16]。不同的學(xué)習(xí)速率會影響實際的收斂速度，對每組優(yōu)化器及學(xué)習(xí)率分別進(jìn)行15次實驗，取平均準(zhǔn)確率，實驗結(jié)果如表2 所示。

表2 不同優(yōu)化器及學(xué)習(xí)率實驗結(jié)果

由表2可知，每種優(yōu)化器在學(xué)習(xí)率不同時分類結(jié)果差別明顯，在學(xué)利率為0.001時Adam優(yōu)化器達(dá)到的準(zhǔn)確率最高；而RMSprop優(yōu)化器在學(xué)習(xí)率為0.01和0.1時差距不大，升降不明顯；Adadelta優(yōu)化器雖然準(zhǔn)確率隨學(xué)習(xí)率的提高一直在增加，但不明顯；Adagrad優(yōu)化器與上述三者相反，學(xué)習(xí)率為0.000 1時效果達(dá)到最佳。橫向?qū)Ψ诸惼鲗Ρ雀髯缘膬?yōu)化結(jié)果，可看出當(dāng)采用Adam優(yōu)化器時可使訓(xùn)練集（Train）和測試集（Test）達(dá)到最高準(zhǔn)確率。為此，本文選擇Adam優(yōu)化器，優(yōu)化學(xué)習(xí)率設(shè)置為0.001。

在有監(jiān)督學(xué)習(xí)的情況下，從樣本數(shù)據(jù)中學(xué)習(xí)不同種類的關(guān)鍵特征是實現(xiàn)分類較高正確率的前提[17]。為了充分提取不同種類訓(xùn)練樣本數(shù)據(jù)中的特征信息，可采取增加卷積層的數(shù)目。本文運用的是1D CNN模型，樣本數(shù)據(jù)的維數(shù)不高，采用卷積層從1層逐漸增加到5層的前提下，在訓(xùn)練迭代次數(shù)同為50時情況下，用分類準(zhǔn)確率作為評價指標(biāo)。

實驗結(jié)果如圖4所示，開始時隨著卷積層數(shù)的不斷增加，模型訓(xùn)練準(zhǔn)確率逐漸上升趨勢，但增加到3層后訓(xùn)練和測試準(zhǔn)確率出現(xiàn)下降，在識別率上出現(xiàn)不佳情況。在層數(shù)為2的模型中，在兼顧訓(xùn)練準(zhǔn)確率較高的基礎(chǔ)上，測試達(dá)到了較高準(zhǔn)確率，故在此CNN模型中的卷積層采用2層。

圖4 不同卷積層數(shù)的準(zhǔn)確率

卷積核主要用于實現(xiàn)跨通道交互和信息集成；實現(xiàn)卷積通道數(shù)量的維數(shù)減少或增加；單通道的單核卷積是乘以一個參數(shù)，但通常為多通道的多核卷積，實現(xiàn)多個特征層的線性組合。本文所述為一維卷積，只是在寬度方向上進(jìn)行滑動窗口并相乘求和。

設(shè)置不同的卷積核維數(shù)處理相同的樣本數(shù)據(jù)進(jìn)行試驗，實驗結(jié)果如圖5所示。由圖5可知，在卷積核維數(shù)為1×6時可使訓(xùn)練和測試準(zhǔn)確率效果達(dá)到最佳，故選用卷積核維數(shù)為1×6。

圖5 不同卷積核維數(shù)的準(zhǔn)確率

4.2 方法結(jié)構(gòu)的影響

由圖6可知，在加入BN情況時，訓(xùn)練和測試準(zhǔn)確率上升速度較快，即收斂速度較快，可得出加入BN時效果較好。

圖6 有無BN對準(zhǔn)確率的影響

由圖7可知，在訓(xùn)練階段中，正確率在有無Dropout時的結(jié)果差別不大；在測試階段，在引進(jìn)Dropout技術(shù)后測試準(zhǔn)確率明顯高于不引進(jìn)Dropout技術(shù)的情況。本文引進(jìn)此技術(shù)，可有效提高測試準(zhǔn)確率。

圖7 有無Dropout的準(zhǔn)確率變化

4.3 與其他方法對比

將1D CNN、RF、SVM和ANN模型的準(zhǔn)確率進(jìn)行對比，由圖8可知，1D CNN模型的訓(xùn)練和測試準(zhǔn)確率都高于其他3種算法，說明1D CNN模型能夠較為準(zhǔn)確地提取不同類樣本數(shù)據(jù)之間的特征，具有良好的健壯性。進(jìn)而證明了本文采用1D CNN模型算法的有效性。

圖8 4種方法準(zhǔn)確率比較

4.4 實驗結(jié)果及分析

模型的訓(xùn)練和測試準(zhǔn)確率如圖9所示。訓(xùn)練準(zhǔn)確率能到100%，測試準(zhǔn)確率能達(dá)到97.3%。損失函數(shù)值如圖10所示，損失函數(shù)值不斷下降，說明此1D CNN模型訓(xùn)練效果較好，未發(fā)生過擬合現(xiàn)象。

圖9 訓(xùn)練和測試準(zhǔn)確率

圖10 損失函數(shù)值

5 結(jié)論

1）本文提出的1D CNN模型訓(xùn)練和測試準(zhǔn)確率較高，能較為準(zhǔn)確地識別出塔機(jī)結(jié)構(gòu)數(shù)據(jù)是損傷還是完好。

2）本文建立的模型具有有效的學(xué)習(xí)特征能力，可直接從原始數(shù)據(jù)信號中提取各自存在的差異特征。

3）模型訓(xùn)練和測試時用的迭代次數(shù)較少，從而證明了用時短、效率高，能有效地運用到實際情況中。