基于MSCNN-LSTM的注意力機制U型管道缺陷識別模型

朱雪峰, 馮 早, 馬 軍, 范玉剛

(1.昆明理工大學 民航與航空學院,昆明 650500; 2.昆明理工大學 信息工程與自動化學院,昆明 650500)

隨著“智慧城市”、“海綿城市”建設的提出,排水管道系統(tǒng)呈現(xiàn)大型化、復雜化、智能化的發(fā)展趨勢,管道排水系統(tǒng)是現(xiàn)代城市不可或缺的基礎設施[1]。為了避免管道與地面大型建筑物如高樓、鐵路、高速公路等產(chǎn)生共振造成物理性損傷,在大型建筑物下方多采用下沉式U型管道設計。U型管道由2段彎頭和3段直管組合而成,采用焊縫的方式將彎頭和直管進行連接。由于U型管道深埋地下,其水平部分的直管比常規(guī)管道承受更大壓力,管壁易出現(xiàn)裂縫,直管和彎頭連接處更易發(fā)生破損形成泄漏。同時,管道內(nèi)充滿介質(zhì)水平部分的直管水流速度慢易形成堵塞,降低管道使用壽命,影響管道安全運行[2]。因此,埋地U型管道的缺陷識別是城市基礎設施維護的重點和難點,對保證管道正常運行的高效性與可靠性具有重要意義。

目前,低頻主動聲波被廣泛應用于流體管道缺陷檢測領域,其優(yōu)點是成本低、操作簡單、檢測效率高且由于聲波在管道表面和內(nèi)部均有質(zhì)點振動,聲場遍及整個管道,對管道內(nèi)部、表面缺陷以及邊緣位置能夠實現(xiàn)有效檢測[3-4]。然而,U型管道的缺陷呈現(xiàn)多源和多征兆的特點,并且聲波在液體U型管道中傳播,沿傳播路徑的能量分布受管道內(nèi)外介質(zhì)類型、傳播速度、管內(nèi)幾何環(huán)境和管道運行條件等多因素影響,因此,導致采集得到的聲學振動信號成分復雜,具有非平穩(wěn)、非線性和強衰減等特性。管道缺陷識別多采用“信號預處理+特征提取+構造分類器”的技術路線[5-7],常用機器學習算法準確性依賴于特征的有效提取程度,無法提取有效非線性特征以及模型魯棒性不足都將導致識別模型的準確率下降。

近年來,深度學習在人工智能領域實現(xiàn)了重大突破,已廣泛運用于缺陷識別中,其通過堆疊多個非線性隱藏層的方式,實現(xiàn)了特征自提取與狀態(tài)分類一體化,避免了對信號處理技術和人工特征選擇的依賴[8-9]。卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN)具有獨特的卷積結構、局部感受野、權值共享等特點,對特征有強大的學習能力和較高的泛化能力,因此成為深度學習中應用最廣的網(wǎng)絡架構,在缺陷識別中也應用廣泛[10-12]。孫潔娣等[13]提出一種優(yōu)化卷積改進稠密塊的輕量化神經(jīng)網(wǎng)絡用于管道泄漏孔徑識別。溫江濤等[14]采用壓縮感知與深度卷積神經(jīng)網(wǎng)絡相結合的實現(xiàn)管道泄漏孔徑識別。寧方立等[15]將泄漏信號短時穩(wěn)定的窄帶線譜圖作為AlexNet網(wǎng)絡的輸入,實現(xiàn)輸氣管道閥門泄漏的識別。周倩倩等[16]利用CNN實現(xiàn)管道6種常見的狀態(tài)識別(裂縫、錯口、障礙物、殘墻壩根、樹根和正常類別),建立自動檢測和評估排水管道缺陷的智能系統(tǒng)。李哲等[17]使用短時傅里葉變換計算去噪聲信號的時頻圖,將聲信號識別問題轉化為圖像識別問題,采樣卷積神經(jīng)網(wǎng)絡對管道泄漏聲學信號識別。聶維等[18]提出一種基于一維CNN和長短期記憶(long short-term memory,LSTM)相結合的管道泄漏識別方法,實現(xiàn)對管道泄漏的檢測與識別。

上述的方法雖然功能強大且多樣化,但仍存在兩個不可忽視的弊端。一方面,將一維時域輸入信號轉換成圖片,轉換時會有更多的細節(jié)數(shù)據(jù)丟失,且模型訓練耗時較長,且管道缺陷的特征從單一尺度中無法充分提取。聲學傳感器采集的管道運行狀態(tài)振動信號為時序性數(shù)據(jù),基于CNN的缺陷識別模型不能充分挖掘時序性數(shù)據(jù)的上下文相關性特征?；贚STM神經(jīng)網(wǎng)絡在缺陷識別任務中取得顯著成就,但同時忽略了訓練時間長。與此同時,當前模型未考慮不同特征的重要程度,在計算資源有限的條件下,如果網(wǎng)絡對所有特征視為同等重要可能造成資源的浪費,對分類貢獻較大的特征被忽視,將會嚴重影響網(wǎng)絡的分類性能。另一方面,經(jīng)過神經(jīng)網(wǎng)絡訓練后的識別模型具有優(yōu)異的自動特征提取和預測功能,能實現(xiàn)U型管道端到端的缺陷識別。然而,深度神經(jīng)網(wǎng)絡模型由于其內(nèi)在的黑盒原理,缺乏工程上的物理解釋性,對其內(nèi)部工作機制的解釋仍然面臨巨大挑戰(zhàn),可解釋性問題已成為了研究界和工業(yè)界的前沿性熱點研究課題。

因此,提出一種多尺度卷積神經(jīng)網(wǎng)絡-長短期記憶(multi-scale convolution neural network-long short-term memory,MSCNN-LSTM)和注意力機制的模型(MCLA)用于U型管道缺陷識別。通過MSCNN-LSTM特征提取層不僅能捕獲局部細粒度特征,而且能有效提取時間依賴性的粗粒度上下文特征,實現(xiàn)粗細粒度特征融合,全面刻畫U型管道缺陷的聲學特征。在此基礎之上引入注意力機制,根據(jù)不同特征對分類結果影響的大小賦予不同的權重,達到提高分類效果的目的。對于深度神經(jīng)網(wǎng)絡模型存在“黑箱”的問題,采用Grad-CAM類激活映射并結合管道結構和聲學信號,對其模型機理進行了深入的研究和解釋。

1 理論與方法

1.1 MSCNN-LSTM特征提取層

CNN通過局部連接和共享權值的方式對輸入數(shù)據(jù)進行卷積、池化運算來提取局部特征。多尺度卷積神經(jīng)網(wǎng)絡是在卷積運算中采用多種不同尺度的卷積核,實現(xiàn)對振動信號多尺度特征的提取,融合更豐富的局部信息,充分利用信號內(nèi)部隱含信息[19]。

采用MSCNN神經(jīng)網(wǎng)絡對時序信號進行卷積操作。卷積的運算過程為

(1)

池化層通過池化核對卷積層的輸出進行降采樣操作,在保留原有主要特征的基礎上實現(xiàn)了降維參,同時使網(wǎng)絡結構不易出現(xiàn)過擬合。池化層采用最大池化層,其數(shù)學表達式為

(2)

式中:ah(m,t)為第h層中第m個特征圖的第t個神經(jīng)元的激活值;g為池化區(qū)域的寬度;n為第n個池化核;ph(m,n)為相應池化層的輸出。

將池化層輸出的特征輸入到特征聯(lián)合層進行特征融合。為了提高模型的性能和魯棒性,使用批標準化層(batch normalization layer, BN)和使用線性整流激活函數(shù)(rectified linear unit, ReLU)作為激活函數(shù),其優(yōu)點是能夠增強網(wǎng)絡的非線性表示關系,產(chǎn)生較為稀疏的學習參數(shù)矩陣,在一定程度上降低網(wǎng)絡的計算復雜度。因此,MSCNN特征提取模塊的輸出由式(3)計算得到

Y=f{g[c(bshort,bmidum,blong)]}

(3)

式中:卷積步長等于d1,d2,d3的卷積核提取到的特征圖,經(jīng)過最大池化之后提取的特征分別使用bshort,bmidum,blong,表示對應時間序列的短、中、長期特征;c(·)為特征連接操作;g(·)為批量標準化操作;f(·)為使用ReLU激活函數(shù)計算的激活值。

利用MSCNN提取局部特征,狀態(tài)只能由前向后傳播,信息單向流動,MSCNN只考慮當前輸入,忽略之前的信息。U型管道缺陷的形成通常是一個累積的過程(例如堵塞和泄漏形成),當前時刻缺陷的發(fā)生一定程度上取決于前一時刻系統(tǒng)狀態(tài)的變化,捕獲時滯信息能提高對缺陷識別的性能。LSTM神經(jīng)網(wǎng)絡是一類適用于處理時序信號的模型,能夠保留對輸入模式的記憶,解決循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network,RNN)結構存在的梯度消失問題[20]。

信息數(shù)據(jù)的傳遞如下:由上一時刻的外部狀態(tài)Ht-1和當前時刻的輸入xt開始,根據(jù)式(4)～式(6)計算3個門狀態(tài),代入式(7)中得到候選狀態(tài)。再經(jīng)過遺忘門ft和輸入門i,更新記憶單元Ct。最后輸出門o結合更新后的記憶單元,代入式(8)得到外部狀態(tài)Ht的最終的輸出。

it=σ(Wi·[Ht-1,xt]+bi)

(4)

ft=σ(Wf·[Ht-1,xt]+bf)

(5)

ot=σ(Wo·[Ht-1,xt]+bo)

(6)

ot=σ(Wo·[Ht-1,xt]+bo)

(7)

Ct=ft?Ct-1+it?tanh(Wc·[Ht-1,xt]+bc)

(8)

Ht=ot?tanh(Ct)

(9)

式中:Wi,Wf,Wo,Wc分別為隱藏層到輸入門、遺忘門、輸出門與細胞狀態(tài)的權重矩陣;bi,bf,bo,bc分別為輸入門、遺忘門、輸出門與細胞狀態(tài)的偏置量;σ(·)為Sigmoid激活函數(shù);tanh(·)為雙曲正切函數(shù);?為兩個同矩陣中對應元素相乘的運算,稱為Hadamard乘積。

1.2 注意力機制特征優(yōu)化層

當U型管道存在缺陷時,泄漏或堵塞對聲學信號反映在其傳播路徑和聲場分布上的變化呈現(xiàn)不同的特性,使得同種特征對管道不同類型缺陷識別的價值并非完全相同。為了能從大量特征中篩選出更多需要關注的細節(jié)信息,忽略無關信息,引入注意力機制衡量特征的重要程度,通過賦予不同特征不同權重值的方式,改變模型對輸入特征的關注度,關注更具有判別力、更關鍵和更重要的特征,提高模型的識別準確率,實現(xiàn)計算資源的高效分配[21]。

當經(jīng)過LSTM提取的上下文向量為Ht,全局注意力每個時間步對應的權重向量為at(s),其計算公式為

(10)

函數(shù)score計算每個特征向量與整個特征向量匹配得分為

(11)

式中,WT為可訓練的權重矩陣。

(12)

ht=tanh(Wc[Ht;ht])

(13)

注意力機制特征優(yōu)化層主要實現(xiàn)對特征矩陣進行權重參數(shù)優(yōu)化,得到更重要的特征矩陣將其輸入至分類層,分類層包括1個對注意力機制模塊的輸出結果進行展平操作,成為一維序列形式的全連接層和1個實現(xiàn)預測目標類別輸出的Softmax分類層。

1.3 Grad-CAM類激活映射

為了能以視覺的方式呈現(xiàn)深度學習模型學習到的特征,尋找輸入變量、特征編碼及輸出結果之間的相關性,快速獲取對神經(jīng)網(wǎng)絡內(nèi)部特征和決策的理解,表征可視化是一種較為直接的理解深度神經(jīng)網(wǎng)絡的解釋方法。如圖1所示,采用類激活圖來可視化神經(jīng)網(wǎng)絡重點激活區(qū)域與目標類別之間的聯(lián)系,通過對特征圖進行通道級加權調(diào)整,生成與特定類別最相關的區(qū)域類激活圖,與特定類別最相關的區(qū)域級特征用高亮的方式突出。采用基于梯度的Grad-CAM的類激活映射(class activation mapping, CAM)[22],使用反向傳播求通道梯度均值作為通道權重,建立輸出與輸入的聯(lián)系,生成細粒度的、含有類別區(qū)分性熱力圖。

圖1 類激活圖角度的可解釋性Fig.1 Interpretability of the perspective of class activation map

其過程如下:

步驟1定義第k特征圖Ak對應目標類別c的權重為

(14)

式中:求和元素為通道k內(nèi)部每個神經(jīng)元值的梯度;z為歸一化因子。

步驟2在求得目標類別對應的特征圖權重后,將權重與對應的特征圖進行加權求和。通過ReLU激活函數(shù)獲得通過該神經(jīng)網(wǎng)絡的輸入樣本的類激活圖,以消除其他類別的影響。即

(15)

由于不同維度的信號經(jīng)過多層卷積后已經(jīng)和輸入信號的維度不一致,通過插值的方法使其維度和輸入信號的維度一致,作為熱力圖直接標注在原始信號上,實現(xiàn)以視覺的方式標注輸入與輸出的相關關系。

2 MSCNN-LSTM和注意力機制的U型管道缺陷模型

由于U型管道結構復雜導致缺陷多源和多征兆,難以有效識別缺陷的問題,提出一種基于MSCNN-LSTM和注意力機制的缺陷識別方法。該框架主要包括4個步驟:輸入層、MSCNN-LSTM特征提取層、注意力機制的特征優(yōu)化層、全連接和Softmax的缺陷識別層。具體描述如圖2所示。

圖2 MCLA識別模型框架結構Fig.2 MCLA recognition model framework structure

輸入層:為了進一步縮短網(wǎng)絡的訓練時間,更快的收斂到最優(yōu)解,對每段一維的時域信號做線性歸一化處理,結果映射到[0,1],數(shù)據(jù)集劃分為訓練集和測試集。

MSCNN-LSTM特征提取層:該部分由2個模塊組成,MSCNN模塊和LSTM模塊。其中,MSCNN模塊由3個一維卷積層、最大池化層、BN層組成。采用并行的方式,設置3種大小分別為5×5,3×3,1×1的卷積核,拓寬網(wǎng)絡的寬度,產(chǎn)生多個感受域提取時序信號在不同尺度的特征,形成多尺度特征。利用最大池化層降低數(shù)據(jù)復雜度,加快網(wǎng)絡的處理速度。將池化層輸出的特征輸入至BN層,提高模型的魯棒性。將并行的多尺度特征融合為一個向量作為LSTM的輸入。LSTM模塊由2層LSTM網(wǎng)絡構成,由于LSTM獨特的網(wǎng)絡結構,通過遺忘門、輸入門、輸出門的選擇過濾操作進一步提取上下文特征。

注意力機制特征優(yōu)化層:將經(jīng)過MSCNN和LSTM層輸出的特征矩陣輸入到Softmax函數(shù)中,計算不同特征維度的各自權重系數(shù),將得到的權重系數(shù)與輸入特征進行對應元素相乘得到新的經(jīng)過權重分配的特征。特征越重要,其對應的注意力機制模塊輸出值越接近1。通過數(shù)值的高低來體現(xiàn)特征的重要程度,完成更關鍵、更具判別性的特征辨別。

全連接和Softmax分類層:該層通過1個全連接層和Softmax多分類器實現(xiàn)管道缺陷識別的結果輸出該模型主要由3個卷積-最大池化-BN對、2個LSTM層、1個注意力機制層和1個全連接層組成。該模型的其他參數(shù)如表1所示。

表1 MCLA模型參數(shù)Tab.1 The details of MCLA

3 試驗驗證

3.1 聲學信號采集

試驗平臺如圖3所示[23]。U型管道被安裝在一個由厚度12 mm膠合板制成的頂部開口箱中,底部鋪設0.5 m細沙層固定管道。管道水平部分長為4.2 m,高為2.0 m,直徑為0.45 m。在所有的試驗過程中,U型管道周圍均有沙子掩埋,且管道中充滿清水,水位高為1.1 m。

圖3 U型管道試驗平臺Fig.3 Experimental siphon constructed

聲學信號的數(shù)據(jù)采集平臺如圖4所示,試驗員使用安裝WinMLS軟件的電腦控制聲卡產(chǎn)生頻率范圍為100～6 000 Hz正弦掃描信號,驅動安裝在管道的左側安裝了一個50 mm的K50WP揚聲器,發(fā)射到U型管道中。并且,管道的左側安裝了一個水聽器,其目的是檢測發(fā)射到管道中聲學信號的有效性。聲學信號在管道中傳播,被安裝在管道右側的3個不等距的25 mm的水聽器組接收,采樣頻率為22 050 Hz。通過數(shù)據(jù)采集卡采集能夠反映管道相關運行狀態(tài)的聲學信號,通過8通道的高通濾波器,用于去除水聽器H1～H3接收的信號中不必要的低頻機械噪聲,將采集的相關聲學信號上傳至計算機中存儲。

圖4 試驗數(shù)據(jù)采集平臺簡圖Fig.4 Schematic diagram of experimental data acquisition platform

3.2 數(shù)據(jù)說明

為了模擬真實的試驗,共設計10種管道運行狀態(tài),包括正常運行狀態(tài),連接處破損狀態(tài),不同程度堵塞狀態(tài)和不同程度泄漏狀態(tài)。其中,管道泄漏的發(fā)展是循序漸進,首先出現(xiàn)細小裂紋,管壁上出現(xiàn)單一線性泄漏。當管道承受的壓力增大且泄漏造成管道承載能力下降,單一泄漏發(fā)展為多個泄漏,管道內(nèi)部材料開始出現(xiàn)起皮掉落。隨著外部壓力的持續(xù)增大,管道承載能力下載,管道材料出現(xiàn)大面積掉落,形成孔洞泄漏。

因此,如圖5(a)和圖5(b)所示,管壁泄漏試驗設置為在U型管道水平部分的頂部進行了人工切割,形成了4種不同的泄漏缺陷:①50 mm沿軸向泄漏;②100 mm沿軸向泄漏;③200mm沿軸向泄漏+150 mm橫向泄漏;④200 mm沿軸向泄漏+孔洞泄漏120 mm×70 mm。管道堵塞物質(zhì)的累積是一個漸進的過程,如圖5(c)所示,為模擬管道堵塞狀態(tài)制備了10個5 kg的吸聲透明袋,并用細沙填充。1個沙袋的最大橫截面尺寸約為管道橫截面的20%,10個沙袋依次綁在一根9 m長的繩子上,中間相隔300 mm,模擬沿軸向產(chǎn)生的不同程度的堵塞。試驗設定1～3個沙袋為輕度堵塞狀態(tài),4～6個沙袋為中度堵塞狀態(tài),7～10個沙袋為重度堵塞狀態(tài)。U型管道由2段彎頭和3段直管組合而成,彎頭和直管的部分采用焊縫進行連接。由于管道周圍土壤應地形地質(zhì)影響容易出現(xiàn)疏松或濕陷等缺陷,造成直管和彎頭部分的接口處應力增加,導致排水阻力加大增加泄漏風險。因此,如圖5(d)所示,管道焊接處破損試驗設置為:管道焊接處人工切割出現(xiàn)裂縫。

圖5 U型管道4種典型缺陷Fig.5 Four typical defects of siphon

試驗在U型管道充滿水的運行狀態(tài)下對每種典型狀態(tài)的聲學信號進行采集,包含正常運行、管道焊縫處破損、堵塞和泄漏等10種類別,如表2所示。每種典型狀態(tài)樣本數(shù)量為200組,每組22 050個數(shù)據(jù)點,截取樣本長度為2 205點,采樣頻率為22 050 Hz,對應聲波在管內(nèi)傳播時間為0.1s,按8∶2的比例將樣本集劃分為訓練集和測試集。

表2 U型管道典型缺陷運行狀態(tài)Tab.2 Typical defects in siphon

4 結果與分析

4.1 聲壓信號

分別選取管道4類運行狀態(tài)的一組樣本繪制聲壓圖,即正常運行狀態(tài)、彎管焊接處出現(xiàn)裂縫、管內(nèi)包含1個堵塞物和管壁有50 mm軸向泄漏,其聲壓圖如6所示。

由圖6(a)可知,U型管道正常運行的聲壓振幅明顯低于其他3類運行狀態(tài),且波形相對簡單。由圖6(b)可知,U型管道焊縫處破損的振動信號表現(xiàn)出近似周期性的特點并伴隨衰減。由圖6(c)和圖6(d)可知,管道堵塞和管道泄漏的振動信號存在明顯的非線性,衰減特性,但聲壓波形在時域內(nèi)未體現(xiàn)明顯差異,無法區(qū)分管道是否出現(xiàn)堵塞或泄露的缺陷。因此,需要對聲壓信號進行進一步的分析與處理。

圖6 U型管道時域波形圖Fig.6 Time domain waveform of siphon

4.2 識別準確率

在訓練過程中,設置迭代次數(shù)為200,批次大小為32,將學習速率為0.001的RMSProp優(yōu)化器用于更新網(wǎng)絡參數(shù)。為驗證提出的MCLA模型的識別效果,在同等試驗環(huán)境下與以下基準模型進行8組對比試驗:模型9(MSCNN-LSTM-Attention)是提出的方法。對比方法包括:模型1～模型8,模型2、模型5和模型6是消融試驗。模型1～模型8分別是CNN、MSCNN、MSCNN+GRU、MSCNN+RNN、MSCNN+LSTM、MSCNN+Attention、MSCNN+GRU+Attention、MSCNN+RNN+Attention。由于單獨用LSTM識別時間較長。因此,消融試驗沒有設計單獨使用LSTM。對每個模型的訓練過程進行探究,得出9種對比模型的識別準確率圖和損失函數(shù)圖,如圖7所示。

圖7 不同模型的識別準確率和損失值變化曲線Fig.7 Variation curve of accuracy and loss for different models

由圖7可知,隨著迭代次數(shù)增加,每個模型的準確率逐漸上升,損失率平滑下降。相比較而言,提出的模型9不僅收斂速度更快,且曲線整體相對平緩,訓練過程穩(wěn)定且準確率高,且在后續(xù)的訓練過程中一直處于領先優(yōu)勢。而MSCNN模型、MSCNN-Attention模型和MSCNN-LSTM曲線波動較大,在第80個Epoch才開始收斂。每種模型均進行10次試驗,10次試驗的平均準確率和模型運行時間如表3所示。

表3 不同模型的識別準確率和運行時間Tab.3 Accuracy and running time of different models

由表3可知,模型9的表現(xiàn)最優(yōu),識別準確率高達98.44%,訓練時間為266.92 s。其中,模型1和模型2是為了驗證MSCNN提取局部特征的能力,對比模型1和模型2可知,模型2的識別準確率高于模型1的識別準確率,訓練時間最短,說明MSCNN采用并行的多尺度卷積模塊,產(chǎn)生多個感受域,不僅能更加有效提取信號的局部特征,還可以充分地利用計算機性能進行加速運算。為了驗證LSTM更能有效捕獲時延信息,提取上下文特征,設置了RNN和GRU兩種算法的對比,模型3、模型4、模型5是一組對比試驗。模型5的識別準確率均高于模型3、模型4。試驗結果表明:LSTM通過獨有的門控機制有效緩解梯度爆炸或消失的問題,能有效地挖掘隱藏在不同位置的時序信號中上下文特征。為了驗證注意力機制模塊的有效性,設置了模型6、模型7、模型8的對比試驗。分別對比模型2和模型6、模型3和模型7以及模型4和模型8可知,在模型2、模型3、和模型4的基礎上增加注意力機制,模型的識別準確率均提高,說明注意力機制能有效優(yōu)化特征。

消融試驗為模型2、模型5、模型6,模型2只使用MSCNN提取局部特征,既不使用LSTM也不使用注意力機制時,10次試驗的平均準確度僅為87.55%。模型6是MSCNN+Attention的組合,在提取特征時只考慮了局部的關鍵信息,未考慮上下文信息,但是考慮了重要特征的貢獻,識別準確率提高至92.22%。模型5是MSCNN+LSTM組合提取特征,準確率提高到94.22%。這是因為MSCNN能有效提取局部關鍵信息,LSTM能有效提取上下文信息,但進行分類時認為每個特征對最終的缺陷識別結果影響相同,沒有將注意力集中在更重要的缺陷特征上。而模型9在模型5的基礎上引入了注意力機制,通過計算注意力分值賦予每個缺陷特征不同權重,有效識別對分類結果影響較大的缺陷特征。并且,未加入注意力機制,訓練時間為254.11 s,僅僅只減少12.81 s,相對于精度提高而訓練時間的增加是可以接受的。

綜上所示,模型9首先經(jīng)過前端MSCNN層,實現(xiàn)對管道缺陷重要細粒度局部特征的有效提取,再輸入至LSTM層中完成隱藏在時序規(guī)律的粗粒度序列特征挖掘,賦予每個缺陷特征不同權重,關注于具有判別力的特征,濾除冗余特征,提高模型的缺陷識別準確率,實現(xiàn)計算資源的高效分配。

4.3 TSNE降維特征可視化

通過t-分布鄰域嵌入(t-distributed stochastic neighbor embedding, t-SNE)算法對模型在測試集上的預測進行降維和可視化,使輸出的多維預測數(shù)據(jù)展現(xiàn)在二維空間上,其可視化圖如圖8所示。

圖8 U型管道10類樣本的t-SNE降維可視化圖Fig.8 Visualization results of siphon ten types of samples by t-SNE

如圖8(a)～圖8(c)是不同卷積核的卷積層提取局部特征輸出可視化,經(jīng)過模型中MSCNN卷積層訓練,特征已經(jīng)初步具有了一定的分布規(guī)律,且具有互補性。管道正常運行,焊縫處連接破損和泄漏的特征基本已經(jīng)分離,不同類型的缺陷已明顯可分。但是,不同程度的堵塞卻難以分離,如圖8中虛線圈所示,正常狀態(tài)和輕度堵塞狀態(tài)的特征比較相似。如圖8(d)～圖8(f)經(jīng)過LSTM層之后的特征輸出,不同程度地堵塞特征能實現(xiàn)基本分類。這是因為U型管道堵塞狀態(tài)的變化是一個漸進的過程,LSTM層能充分挖掘時序性數(shù)據(jù)的上下文相關性,對時序性特征進行充分提取。如圖8(g)所示,經(jīng)過注意力機制輸出層特征進一步分離,并呈一定的流形分布。綜上,構建的MCLA模型能夠從原始一維振動聲學信號中提取出重要缺陷特征信息,并實現(xiàn)U型管道缺陷的準確識別。

4.4 可解釋性探討

為探討MCLA模型在管道缺陷識別領域中對于一維振動信號的可解釋性,采用Grad-CAM類激活映射對其內(nèi)部機理進行了深入的研究,并結合管道結構進行解釋。分別從網(wǎng)絡結構和樣本角度展開分析,其中從網(wǎng)絡角度即利用Grad-CAM標出MSCNN、LSTM和Attention分別作用于振動信號的哪些部分讓作出當前的判斷。以熱力圖的形式對原始信號經(jīng)過MSCNN,LSTM和Attention后的激活情況進行標注,形成類激活圖,描述該神經(jīng)網(wǎng)絡對于原始輸入樣本不同位置處的取值的激活程度。通過插值的方法將激活圖尺寸變換到原輸入圖像的尺寸大小,熱力圖的值對應著神經(jīng)網(wǎng)絡不同層對此位置的激活程度,熱力圖直接標注在原始信號上,實現(xiàn)以視覺的方式標注輸入與輸出的相關關系。可視化結果如圖9所示,選取U型管道中有10個堵塞的樣本為例,其中圖中黑色曲線代表管道運行狀態(tài)的時域信號,豎向的陰影部分代表神經(jīng)網(wǎng)絡不同層對此位置的激活程度。

圖9 CAM不同層的可視化Fig.9 Visualization of different layers of CAM

由圖9(a)可知,MSCNN主要關注每個波峰和波谷的信號,且都較為分散,說明MSCNN通過設置不同大小的卷積核能有效地提取局部關鍵信息。然而,這些主要特征之間缺乏關聯(lián)使得僅基于MSCNN無法獲得對模型決策的有效解釋。由圖9(b)可知,LSTM從數(shù)據(jù)不同位置學習樣本隱藏特征,提取上下文語義信息。由圖9(c)可知,注意力機制通過設置不同的權重可以將注意力放到對最終結果影響較大的缺陷。綜上,提出的MCLA模型充分利用了MSCNN和LSTM提取特征的優(yōu)點,采用LSTM從MSCNN提取出的顯著細粒度特征中,提取粗粒度特征,精細化處理各個維度特征的同時,避免由于步長過長導致的記憶丟失和梯度彌散問題。在此基礎之上引入注意力機制,根據(jù)不同特征對分類結果影響的大小賦予不同的權重,特征在分類任務中起到不同的作用,達到提高分類效果的目的。這種體系結構能夠捕獲提取有效特征的時間依賴性,實現(xiàn)粗細粒度特征融合,全面刻畫U型管道缺陷的特征。

從管道運行狀態(tài)的信號樣本分析,選擇測試集中不同缺陷類型的U型管道聲學信號,通過Grad-CAM方法達到的缺陷可視化效果,圖10的結果展示了所提模型在識別U型管道不同類缺陷的聲學信號時重點關注的位置信息。其中,類激活圖采用COLORMAP_JET作為顏色映射,高激活區(qū)域顏色為深色,顏色越深代表了聲學信號重要的鑒別性特征的位置區(qū)域,如圖10所示。

圖10 不同缺陷的可視化圖Fig.10 Visualization of different defects

圖10(a)對應管道正常運行狀態(tài),波形相對簡單,沒有明顯的沖擊峰值,網(wǎng)絡模型的關注區(qū)域分散在輸入樣本時域波形的大部分片段上,表明信號序列對于輸出的貢獻程度大部分基本相同,表明MCLA模型從振動數(shù)據(jù)的整體信號中學習正常運行狀態(tài)的特征。如圖10(b)所示,對于管道焊縫處的連接破損,MCLA模型對于輸入樣本激活程度較大的部分集中在信號采樣點數(shù)的250～750的強衰減區(qū)域間,該部分的信息對于網(wǎng)絡的分類結果具有較高的權重,說明該區(qū)域含有管道焊縫處連接破損特征較多的信息。對于該類缺陷識別,模型重點關注信號的強衰減區(qū)域。如圖10(c)所示,MCLA模型的激活程度主要集中在采樣點數(shù)為1 250～2 000,說明在信號沖擊峰值區(qū)域,則是管道泄漏狀態(tài)的重點關注區(qū)域。對于管道堵塞,圖10(d)顯示由于波形中后期的沖擊成分分布更為復雜,更難診斷,各個范圍的激活程度差異較大,難以直觀地解釋。但在采樣點數(shù)為1 000～1 200具有較大的激活程度,認為該位置含有沖擊成分的可能性較大。綜上,MCLA模型在U型管道缺陷識別領域中對于樣本的分類識別與人類的認知規(guī)律之間存在基本相似性,MCLA模型在缺陷識別應用的工程合理性提供了參考和借鑒意義。

5 結 論

針對U型管道結構復雜導致缺陷多源多征兆難以有效識別的問題,提出一種基于MSCNN-LSTM的注意力機制U型管道缺陷識別方法。利用U型管道4類運行狀態(tài)的不同缺陷程度進行多方面驗證與測試,試驗結果表明:

(1)該模型直接輸入原始振動聲學信號,實現(xiàn)U型管道“端到端”的缺陷識別,在保證識別精度的同時節(jié)省大量特征提取成本。MSCNN能有效提取聲學信號的重要細粒度局部特征,挖掘數(shù)據(jù)相互關聯(lián)的多維信息并從中剔除噪聲和不穩(wěn)定成分,將提取的多尺度局部特征輸入至LSTM網(wǎng)絡中,LSTM能有效提取信號中粗粒度的上下文特征,實現(xiàn)細粒度局部特征和粗粒度上下文特征的融合,全面刻畫U型管道缺陷的聲學特征。

(2)通過引入注意力機制,賦予提取特征不同的權重,濾除冗余特征,提高模型識別缺陷的能力,使模型更關注于最具類別區(qū)分度的特征。

(3)通過t-SNE和Grad-CAM類激活可視化方法分析了該模型的特征學習過程和缺陷分類機理,進一步解釋內(nèi)部特征的學習過程,研究決策與特征之間的關聯(lián)關系,中間層的知識與輸出預測之間關系,解釋輸入-輸出的關系。

目前,所提模型能有效識別U型管道的堵塞、泄漏及焊縫破損等缺陷。然而,該模型僅采用單一模態(tài)的聲信號特征進行識別,所提模型的網(wǎng)絡結構與參數(shù)均依人工選取或網(wǎng)格搜索技術的方式來確定。隨著自動機器學習技術的興起,提供了一個可行的解決方案和思路。下一步將關注并深入研究基于自動機器學習的智能缺陷網(wǎng)絡結構與參數(shù)選取方法。