基于深度學(xué)習(xí)的管道焊縫超聲檢測缺陷識別方法

余澤禹, 袁洪強, 衛(wèi)小龍, 杜國鋒*

(1.長江大學(xué)電子信息學(xué)院， 荊州 434023; 2.長江大學(xué)城市建設(shè)學(xué)院， 荊州 434023; 3.長江大學(xué)石油工程學(xué)院， 武漢 430100)

隨著油氣資源需求量的日益增長，管道運輸扮演著越來越重要的角色。在管道服役的過程中，焊縫作為管道結(jié)構(gòu)中最薄弱環(huán)節(jié)，是油氣管道缺陷產(chǎn)生的高發(fā)部位。為保證管道的安全運行，管道安全檢測已成為管道建設(shè)整體中的重要研究方向?，F(xiàn)階段工業(yè)中對于油氣管道焊縫內(nèi)部檢測使用最多的方法是超聲無損檢測和射線檢測法[1-2]。超聲無損檢測相對于射線檢測來說，對人體無害，設(shè)備更加輕便，也更利于野外環(huán)境下在役管道的檢測[3]。但是現(xiàn)階段超聲無損檢測完全依賴經(jīng)驗豐富的從業(yè)人員主觀判斷缺陷。

目前，大多數(shù)研究都是基于圖像的管道缺陷智能識別或者是傳統(tǒng)機器學(xué)習(xí)缺陷分類，如李忠虎等[4]利用管道內(nèi)表面腐蝕圖像研究了一種基于BP神經(jīng)網(wǎng)絡(luò)的管道內(nèi)表面腐蝕圖像邊緣檢測。劉涵等[5]根據(jù)射線檢測圖像利用深度學(xué)習(xí)網(wǎng)絡(luò)自動識別管道焊縫缺陷，所設(shè)計的系統(tǒng)可以自動學(xué)習(xí)射線焊縫缺陷圖像中復(fù)雜的深度特征。Zhang等[6]基于局部圖像增強技術(shù)的管道焊接缺陷檢測，對不同類型缺陷的圖像進行了測試，使得多個弱分類器組合成一個級聯(lián)強分類器,可以大幅度地提高檢測準確率。桑宏強[7]等基于改進的卷積神經(jīng)網(wǎng)絡(luò)的管道視頻缺陷檢測技術(shù)的研究，采用多尺度卷積核和分割卷積核，充分提取管道圖像特征，實現(xiàn)準確的圖像分類。Mohamed等[8]研究了一種基于決策樹的油氣管道缺陷檢測與分類方法，利用漏磁檢測數(shù)據(jù)的分類作為一種可行的油氣管道監(jiān)測工具。Shaik等[9]使用支撐向量機(support vector machines, SVM)進行油氣管道故障分類。侯懷書等[10]在管道焊縫上制作人工缺陷,利用高頻數(shù)據(jù)采集卡采集缺陷信號,最后通過短時傅里葉變換處理缺陷信號以識別出金屬管道焊縫中的4種缺陷類型，這種人工制作數(shù)據(jù)集的方法不僅成本高、時間消耗大而且能夠制作的樣本數(shù)也十分有限最終也使得識別模型泛化能力不足。王向宇等[11]通過觀察超聲導(dǎo)波在焊縫缺陷前后的傳播特征,以入射波與透射波峰值點之比作為損傷指標(biāo)識別出焊縫缺陷的位置與大小，但這種方法無法實現(xiàn)焊縫缺陷類型的識別。

這些問題的出現(xiàn)主要是由于超聲無損檢測方法訓(xùn)練數(shù)據(jù)集匱乏和數(shù)據(jù)的復(fù)雜性(步長大、多模態(tài)、多峰分布等)導(dǎo)致。對于深度學(xué)習(xí)的訓(xùn)練依賴大量的訓(xùn)練數(shù)據(jù)，而油氣管道檢測數(shù)據(jù)庫國家是特定機密資產(chǎn)，不能像其他應(yīng)用一樣使用公開數(shù)據(jù)集進行訓(xùn)練，而自建大量數(shù)據(jù)集也是非常昂貴和不可實現(xiàn)的。

綜上所述，現(xiàn)提出一種超聲無損檢測數(shù)據(jù)增強方法和缺陷智能識別方法，通過改進生成對抗網(wǎng)絡(luò)(generative adversarial network, GAN)數(shù)據(jù)增強生成虛擬FMC數(shù)據(jù)，擴充訓(xùn)練數(shù)據(jù)集，利用LSTM-FCN網(wǎng)絡(luò)識別真實檢測數(shù)據(jù)中的缺陷類型。

1 管道焊縫超聲無損檢測數(shù)據(jù)

現(xiàn)階段針對管道焊縫缺陷超聲無損檢測設(shè)備多數(shù)使用全矩陣捕獲(full matrix capture, FMC)數(shù)據(jù)。使用超聲陣列探頭的FMC 特定數(shù)據(jù)采集過程，其中陣列中的每個陣元依次作為發(fā)射器，而所有陣元作為每個發(fā)射脈沖的接收器。相控陣換能器的N個陣元依次激發(fā)，當(dāng)其中一個陣元被激發(fā)時，所有陣元都接收超聲回波信號并儲存。將發(fā)射陣元的序號記為i，接收陣元的信序號為j，接收的超聲回波時域信號記為Sij，每個具體的Sij其實就是一個 A 掃信號[11]。待N個陣元都激發(fā)完成后，便可得到一個包含了檢測物體全部信息的N×N矩陣集[11]，如表1所示。

表1 全矩陣捕獲的數(shù)據(jù)表

在FMC數(shù)據(jù)中，對每一個收發(fā)組合，計算該像素點到對應(yīng)收發(fā)陣元的聲傳播時間，最后全部疊加得到像素的成像幅值以實現(xiàn)缺陷檢測的目的。

2 數(shù)據(jù)增強

為了解決訓(xùn)練樣本嚴重不足的問題，采用一種改進的生成對抗網(wǎng)絡(luò)(generative adversarial network, GAN) 數(shù)據(jù)增強方法生成虛擬FMC數(shù)據(jù)，擴充訓(xùn)練數(shù)據(jù)集。傳統(tǒng)的GAN包含生成器和判別器兩個部分，生成網(wǎng)絡(luò)使用一個從標(biāo)準多元正態(tài)分布中采樣的向量，通過與判別器或鑒別神經(jīng)網(wǎng)絡(luò)一起訓(xùn)練，最終得到一個確定性轉(zhuǎn)換，將標(biāo)準多元正態(tài)分布映射到數(shù)據(jù)的分布中[12]。但是FMC數(shù)據(jù)不是服從標(biāo)準多元正態(tài)分布的，傳統(tǒng)的訓(xùn)練生成器方法并沒有考慮到分類列中的不平衡，所以傳統(tǒng)的GAN方法不能適用于FMC數(shù)據(jù)的訓(xùn)練。

為了克服這些問題，構(gòu)建一種適合FMC數(shù)據(jù)生成方法FMC-GAN。FMC-GAN包括以下幾個部分。

(1)

(2)全連接隱含層。由于FMC數(shù)據(jù)中每一列列沒有局部結(jié)構(gòu)，所以在生成器和判別器中使用全連接的網(wǎng)絡(luò)來捕獲列之間的所有可能的相關(guān)性。在生成器和判別器中都使用了兩個完全連接的隱含層[13]。

(3)生成器。使用批標(biāo)準化(batch-normalization,BN)和激活函數(shù)Relu。接兩個全連接隱含之后，使用混合激活函數(shù)生成合成數(shù)據(jù)。其中標(biāo)量值αi,j由tanh生成，熱獨向量βi,j由gumbel softmax生成。

(4)判別器。對于每一個全連接隱含層使用leaky relu函數(shù)和dropout函數(shù)。

綜上，F(xiàn)MC-GAN生成器表示為

(2)

FMC-GAN判別器表示為

(3)

使用WGAN損失和梯度來訓(xùn)練模型，用Adam優(yōu)化器，學(xué)習(xí)率為2×10-4。

利用FMC-GAN模型，基于原始檢測數(shù)據(jù)集生成了30 000個對應(yīng)于氣孔、未焊透、裂紋、未熔合、夾渣等五種焊接常見缺陷的合成數(shù)據(jù)樣本。然后將生成的數(shù)據(jù)與原始數(shù)據(jù)一起用于進一步處理。

3 缺陷識別

長短期記憶網(wǎng)絡(luò)(long short-term memory, LSTM)[13]已經(jīng)很好地被應(yīng)用于時間序列數(shù)據(jù)分析。但是對于超聲無損檢測數(shù)據(jù)步長往往大于2 000，這對于LSTM是很難訓(xùn)練的，會出現(xiàn)梯度消失或梯度爆炸的問題。

為了克服這個問題，使用一種改進的LSTM-FCN模型[14-15]，LSTM-FCN引入門函數(shù)[16-18]，模型中每一個單元包含1個隱藏向量h和1個記憶向量m。在每個時間步長，記憶向量調(diào)節(jié)狀態(tài)更新和輸出，計算公式為

(4)

式(4)中：gu、gf、go、gc分別為輸入門、遺忘門、輸出門和狀態(tài)門的激活向量；Wu、Wf、Wo、Wc分別為相應(yīng)的循環(huán)權(quán)重矩陣；Iu、If、Io、Ic為投影矩陣；σ為函數(shù)logistic sigmoid；mt為第t個時間步長的狀態(tài)更新向量；ht為第t個時間步長的隱藏狀態(tài)向量。

圖1給出了LSTM-FCN模型的結(jié)構(gòu)。從圖1可以看出，該模型由兩個分支組成，分別為時序卷積分支(fully convolutional neural networks，F(xiàn)CNs)和長短時記憶(long short term memory,LSTM)分支。其中，F(xiàn)CN網(wǎng)絡(luò)模型部分包含三個卷積塊，每一塊都由一個一維卷積層、批歸一化和線性整流函數(shù)組成，濾波器的數(shù)量定義為128、256和128最后一層由全局平均池化取代全連接層以減少模型參數(shù)長短時記憶分支使用了一層LSTM網(wǎng)絡(luò)，同時加入隨機丟棄機制Dropout緩解模型的過擬合情況。最后拼接兩個分支的輸出，并使用Softmax分類器對得到的特征進行分類。

圖1 LSTM-FCN網(wǎng)絡(luò)模型Fig.1 The network model of LSTM-FCN

4 實驗及結(jié)果分析

4.1 實驗過程

首先，利用超聲檢測設(shè)備CTS-PA22T采集真實管道焊縫缺陷檢測數(shù)據(jù)。管道為45#鋼管對焊件，焊接方法為氬弧焊打底加手工焊蓋面，打磨表面，由丹東佰匯達檢測設(shè)備有限公司定制缺陷，其中包括氣孔、未焊透、裂紋、未熔合、夾渣5種焊接常見缺陷。

再利用數(shù)據(jù)增強方法FMC-GAN生成數(shù)據(jù)，構(gòu)建虛擬數(shù)據(jù)集，虛擬數(shù)據(jù)集用于管道焊縫缺陷識別模型訓(xùn)練，真實數(shù)據(jù)作為模型的驗證集，最后LSTM-FCN對比現(xiàn)有分類方法。具體數(shù)據(jù)集如表2所示。

表2 數(shù)據(jù)集劃分

所有模型都使用Adam優(yōu)化器通過梯度下降進行訓(xùn)練。初始學(xué)習(xí)率被設(shè)置為0.002，迭代250次，并進行超參數(shù)優(yōu)化。

4.2 實驗結(jié)果及分析

為了更好地比較LSTM-FCN在管道焊縫缺陷識別能力，選取常用于缺陷分類的MLP和RestNet50網(wǎng)絡(luò)模型與之比較。在模型訓(xùn)練過程中，記錄模型的損失和超參數(shù)變化曲線以觀察模型是否會出現(xiàn)梯度消失或爆炸，如圖2和圖3所示。

圖2 各輪模型訓(xùn)練過程中損失變化情況Fig.2 Loss variation in each epoch during model training

圖3 超參數(shù)對應(yīng)曲線Fig.3 Hyperparametric corresponding curve

如圖2所示，在利用FMC數(shù)據(jù)對3種模型進行訓(xùn)練時，MLP模型訓(xùn)練中模型損失始終高于2.3，出現(xiàn)了梯度無法下降的情況；ResNet50模型在訓(xùn)練到48步時出現(xiàn)梯度消失，使得模型無法收斂；LSTM-FCN模型損失隨著訓(xùn)練步數(shù)的增加逐漸收斂，在迭代250次后將損失降低到0.18。證明LSTM-FCN模型很好地克服了FMC數(shù)據(jù)步長大、多模態(tài)、多峰分布等特性導(dǎo)致的梯度問題。

在圖3中，對LSTM-FCN模型進行超參數(shù)優(yōu)化，繪制學(xué)習(xí)率、L1正則化對應(yīng)損失曲線。實驗證明初始學(xué)習(xí)率為0.002、L1正則化尺度為64得到最優(yōu)損失為0.02，以此得到最優(yōu)的模型性能。

所有模型在虛擬數(shù)據(jù)集下訓(xùn)練，用真實數(shù)據(jù)做驗證，同時比較各缺陷識別率和漏檢率。漏檢率是一個工業(yè)上特別關(guān)注的指標(biāo)，因為在實際生產(chǎn)環(huán)境下是不允許有缺陷是未被檢測到的。

構(gòu)建的虛擬數(shù)據(jù)集很好地模擬了真實的超聲無損檢測數(shù)據(jù)，使得模型能夠在真實數(shù)據(jù)下仍具有良好的泛化能力，如表3所示。表明了LSTM-FCN對于管道焊縫缺陷識別率高于95%、召回率和F1達到96%，且漏檢率為0，對超聲無損檢測數(shù)據(jù)具有很好的適應(yīng)性，克服了其數(shù)據(jù)復(fù)雜性，可以達到工業(yè)檢測的要求。而MLP和RestNet50模型由于在訓(xùn)練中出現(xiàn)梯度問題最終導(dǎo)致模型在缺陷識別上精度只有34%和64%，很難達到使用條件。

表3 各模型在驗證集上的評估結(jié)果

圖4 LSTM-FCN模型驗證結(jié)果混淆矩陣Fig.4 Confusion matrix of model verification results

混淆矩陣如圖4所示，在圖4中，縱坐標(biāo)表示真實的缺陷類型，橫坐標(biāo)表示模型識別的缺陷類型，所有正確地識別結(jié)構(gòu)都記錄在矩陣的對角線單元中。對于各種類型的缺陷，LSTM-FCN模型沒有漏檢，并且平均正確識別率高于95%，誤判率低于5%。證實了FMC-GAN數(shù)據(jù)增強的有效性和LSTM-FCN模型的缺陷識別能力。

5 結(jié)論

針對管道焊縫超聲檢測，為了實現(xiàn)泛化能力強的深度學(xué)習(xí)模型，首先構(gòu)造了一種超聲無損檢測數(shù)據(jù)方法FMC-GAN，并構(gòu)建了虛擬超聲檢測數(shù)據(jù)集。通過該虛擬數(shù)據(jù)集訓(xùn)練出的模型在真實檢測數(shù)據(jù)的驗證下仍然具有良好的泛化能力。LSTM-FCN網(wǎng)絡(luò)識別真實檢測數(shù)據(jù)中的缺陷類型漏檢率為0，綜合正確識別率高于95.6%，可以達到工業(yè)檢測的要求，為超聲無損檢測智能化發(fā)展提供重要研究基礎(chǔ)。