基于改進(jìn)SSD網(wǎng)絡(luò)的管道漏磁缺陷圖像識(shí)別算法

王竹筠，楊理踐，高松巍

(沈陽(yáng)工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，沈陽(yáng) 110187)

管道漏磁檢測(cè)技術(shù)在長(zhǎng)輸油氣管道中發(fā)揮著重要作用。由于腐蝕、磨損、意外損傷等原因?qū)е鹿芫€泄漏事故頻發(fā)，造成財(cái)產(chǎn)損失和環(huán)境污染。因此，需要利用管道內(nèi)檢測(cè)技術(shù)對(duì)管道進(jìn)行定期檢測(cè)，找出管道中潛在缺陷進(jìn)而及時(shí)修復(fù)。

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的重要研究方向之一，傳統(tǒng)目標(biāo)檢測(cè)方法是通過構(gòu)建特征描述子提取特征后利用分類器對(duì)其進(jìn)行分類實(shí)現(xiàn)檢測(cè)，在特征提取階段需要人工干預(yù)來獲取原始圖像輸入中與目標(biāo)相關(guān)的特征信息。此種算法嚴(yán)重地依賴于特征設(shè)計(jì)人員的先驗(yàn)知識(shí)，錯(cuò)誤率高。由于傳統(tǒng)檢測(cè)方法的不足，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在計(jì)算機(jī)視覺領(lǐng)域成為一個(gè)新的方向。

Jian等人通過在卷積神經(jīng)網(wǎng)絡(luò)中加入局部歸一化從而提高識(shí)別精度[1]；Sa等人提出使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)雜草多光譜圖像進(jìn)行檢測(cè)[2]；Relja等人提出一種新的NetVLAD網(wǎng)絡(luò)，通過端到端的方式識(shí)別給定查詢照片的位置[3]；余春艷等人引入去卷積模塊與注意力殘差模塊,構(gòu)建了面向多顯著性目標(biāo)檢測(cè)的DAR-SSD模型[4]；唐聰?shù)热藢SD模型與顏色直方圖特征、HOG特征進(jìn)行融合，實(shí)現(xiàn)多尺度的目標(biāo)檢測(cè)[5]；Tang等人提出了端到端的單卷積神經(jīng)網(wǎng)絡(luò)，對(duì)圖像中的目標(biāo)特征進(jìn)行定位[6]；Deng等人采用Concatenated ReLU和Inception模塊改進(jìn)特征提取器，可以同時(shí)檢測(cè)具有大尺度變異性的遙感圖像中的多類物體[7]；Z.H Wang 等人通過構(gòu)建一種樹結(jié)構(gòu)來學(xué)習(xí)細(xì)粒度特征從而提高檢測(cè)精度[8]；Yang等人利用上下文信息使網(wǎng)絡(luò)具有提取多尺度特征的能力[9]；Wang 等人提出一種基于粒子濾波的顏色引導(dǎo)目標(biāo)跟蹤算法解決復(fù)雜環(huán)境中目標(biāo)丟失等問題[10]；Liu等人提出了一種卷積神經(jīng)網(wǎng)絡(luò)有效載荷分類方法用于攻擊檢測(cè)[11];Jiao等人利用多變量編碼器信息卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行智能檢測(cè)[12];Gao等人利用CNN的多分支融合性，快速地提取出高速信息系統(tǒng)的特征[13];Song等人建立新的位置卷積神經(jīng)匹配模型，在文本匹配的多視角中具有位置影響和交互作用[14];Wang等人將卷積神經(jīng)網(wǎng)絡(luò)和隱馬爾可夫模型進(jìn)行融合[15];Xu等人提出了一種新的基于深度學(xué)習(xí)的半監(jiān)督多概念語(yǔ)義圖像檢索方法[16];Akcay等人使用深度卷積神經(jīng)網(wǎng)絡(luò)和傳輸學(xué)習(xí)來解決X射線行李安全圖像背景下的圖像分類和檢測(cè)問題[17]。

SSD網(wǎng)絡(luò)模型可以精確、快速地檢測(cè)出多個(gè)不同尺度的目標(biāo)對(duì)象，本文采用此模型對(duì)管道漏磁圖像進(jìn)行檢測(cè)，利用含有多孔卷積核的SSD網(wǎng)絡(luò)提取目標(biāo)更加豐富的底層與高層語(yǔ)義信息特征，再通過特征進(jìn)行融合有效地學(xué)習(xí)圖像細(xì)節(jié)信息和上下文語(yǔ)義信息，進(jìn)而提高對(duì)目標(biāo)的檢測(cè)精度。

1 管道漏磁信號(hào)成像

1.1 管道漏磁內(nèi)檢測(cè)原理

管道中的漏磁信號(hào)通過漏磁檢測(cè)器采集獲得，通過偽彩色處理技術(shù)將漏磁信號(hào)生成偽彩色圖像，從而利用彩色來顯示完整的漏磁信號(hào)數(shù)據(jù)，具有更好的視覺效果。

管道漏磁內(nèi)檢測(cè)是利用永磁體通過鋼刷對(duì)鐵磁性管道進(jìn)行充分磁化，使其達(dá)到飽和或近飽和狀態(tài)，通過磁感應(yīng)線的變化來判斷管道是否有缺陷。圖1為管道漏磁內(nèi)檢測(cè)原理圖。

圖1 管道漏磁內(nèi)檢測(cè)原理圖

如果管壁無缺陷，則磁感應(yīng)線平行于管道內(nèi)部；如果管壁有缺陷，則磁感應(yīng)線會(huì)漏出管道表面，產(chǎn)生漏磁通。將磁敏元件采集到的漏磁信號(hào)進(jìn)行成像從而判斷缺陷的特征和位置。

1.2 管道漏磁偽彩色圖像

漏磁數(shù)據(jù)可視化的方法主要有三種:曲線圖顯示、灰度圖顯示和偽彩色圖顯示。但是漏磁信號(hào)是三維信號(hào)，因此曲線圖和灰度圖無法完整顯示出全部數(shù)據(jù)信息。偽彩色處理技術(shù)是一種有效的圖像增強(qiáng)的圖像處理方法，它能提高對(duì)圖像細(xì)節(jié)的分辨能力，得到看起來清晰、自然的圖像。彩色值可以作為漏磁信號(hào)的第三維特征，從而利用彩色來顯示完整的漏磁信號(hào)數(shù)據(jù)，如圖2所示。

圖2 管道漏磁信號(hào)圖像和偽彩色圖像

密度分割法是偽彩色增強(qiáng)最簡(jiǎn)單的方法之一，其工作原理是將圖像的灰度級(jí)從0到M0分成N個(gè)區(qū)間Ii(i=1，2，…，N)，給每個(gè)區(qū)間指定一種彩色Ci，這樣就可以生成一幅偽彩色圖像。設(shè)原灰度圖像的灰度范圍0≤f(x,y)≤L，用k+1灰度等級(jí)把該灰度范圍分為k段，(I0，I1，…，Ik)，I0=0，Ik=L映射每一段灰度成一種顏色，映射關(guān)系如式(1)所示。

(1)

其中，I(i,j)為輸出的偽彩色圖像；Ci為映射顏色。

管道漏磁特征主要分為焊縫和缺陷，其中焊縫包括螺旋焊縫和環(huán)焊縫。在長(zhǎng)輸油氣管道中，管子之間的焊接處便會(huì)產(chǎn)生焊縫。焊縫是管道中最主要的特征，一般分為螺旋焊縫和環(huán)焊縫。由于受到管道、磁場(chǎng)以及探頭等因素的影響，每個(gè)焊縫之間都存在較大差異，這都為最后的檢測(cè)帶來了一定困難。管道缺陷是指隨著服役時(shí)間的增長(zhǎng)，因天氣、誤操作、管道材質(zhì)、外力等問題造成的損傷，使管道出現(xiàn)缺陷。管道缺陷大致有凹陷、裂紋、補(bǔ)疤、腐蝕、外接金屬物等類型。

2 改進(jìn)SSD網(wǎng)絡(luò)模型

2.1 SSD網(wǎng)絡(luò)模型

SSD網(wǎng)絡(luò)屬于單步目標(biāo)檢測(cè)算法，通過使用整幅圖像各個(gè)位置的多尺度區(qū)域特征進(jìn)行回歸，得到目標(biāo)的類別置信度和候選框與真實(shí)框間的偏差從而進(jìn)行定位，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

SSD網(wǎng)絡(luò)由VGG-16網(wǎng)絡(luò)的前五層和額外添加的四個(gè)卷積層組成[18]。分別包含2，2，3，3，4，2，2，2個(gè)卷積，其中第4，6，7，8，9個(gè)卷積層同時(shí)輸出用于不同的預(yù)測(cè)模塊。不同層的特征圖都有相對(duì)于目標(biāo)默認(rèn)框的偏移量以及不同類別的置信度，預(yù)測(cè)模塊使用一組3*3的卷積核，對(duì)特征圖中目標(biāo)的位置進(jìn)行置信度預(yù)測(cè)。最后通過NMS(Non maximum suppression)得到目標(biāo)在圖像中的位置以及具體類別。

輸出特征圖O大小計(jì)算如式(2)所示。

(2)

其中，步長(zhǎng)為s，填充像素?cái)?shù)為p。

目標(biāo)默認(rèn)框定義如式(3)所示。

(3)

圖3 SSD模型結(jié)構(gòu)圖

2.2 多孔卷積

多孔卷積又稱逆卷積，即為卷積神經(jīng)網(wǎng)絡(luò)中相對(duì)于卷積的逆過程。將特征圖展為一維向量，卷積核展為稀疏矩陣，多孔卷積運(yùn)算即為矩陣乘法。

多孔卷積在原始卷積的基礎(chǔ)上增加了一個(gè)r參數(shù)(rate)，通過控制rate的大小得到不同大小的卷積視野。它將卷積核擴(kuò)張到膨脹系數(shù)所約束的尺度中，并將原卷積核中未被占用的區(qū)域填充0。其中r代表卷積核的膨脹系數(shù)，r-1為加入的空格數(shù)，這樣得到的有效卷積核高為fh+(fh-1.)(r-1)，寬為fw+(fhw-1.)(r-1)，其中fh代表原始卷積的高，Jw為原始卷積核的寬。假定標(biāo)準(zhǔn)卷積核大小為k，那么多孔卷積的卷積核大小如式(4) 所示。

kn=k+(k-1)×(r-1)

(4)

多孔卷積可以在同一個(gè)卷積核內(nèi)使用不同的膨脹系數(shù)，如圖4所示。

圖4 卷積核工作示意圖

圖4(a)為標(biāo)準(zhǔn)卷積核，感受野大小為3*3；圖4(b)為膨脹系數(shù)rate=2時(shí)的3*3多孔卷積，此時(shí)感受野大小增大到7*7；膨脹系數(shù)為1和2時(shí)的多孔卷積與7*7和15*15的卷積核的作用是相同的。因此使用多孔卷積可減少網(wǎng)絡(luò)參數(shù)，改進(jìn)網(wǎng)絡(luò)通過4種不同rate的卷積作用于同一輸入能夠感受不同視野的特征。感受野大小計(jì)算公式如式(5) 所示。

v=((ksize+1)×(rrate-1)+ksize)2

(5)

為避免引入過多多孔卷積而增加計(jì)算量，只針對(duì)低層特征圖進(jìn)行改進(jìn)。當(dāng)輸入圖像分辨率為300*300時(shí)，將75*75高分辨率低語(yǔ)義信息特征圖添加進(jìn)檢測(cè)層，分別將分辨率為19*19與38*38的特征圖做多孔卷積，特征提取能力較原先的7層卷積和10層卷積層分別提升至16層卷積層和17層卷積層。

對(duì)低分辨率特征做多孔卷積后，其特征圖分辨率需與高分辨率特征圖保持一致才能完成特征圖合并。對(duì)19*19分辨率的特征圖采用卷積核為2*2，步長(zhǎng)為2的多孔卷積參數(shù)，對(duì)38*38分辨率的特征圖的多孔卷積參數(shù)為3*3卷積核，步長(zhǎng)為2，擴(kuò)充邊緣為1，多孔卷積后特征圖分辨率計(jì)算公式如式(6) 所示。

O=S×(L-1)+H-2×P

(6)

其中，O為多孔卷積輸出特征圖分辨率；S為步長(zhǎng)；L表示輸入特征圖分辨率；H表示卷積核尺寸；P表示邊緣補(bǔ)充尺寸。

3 管道漏磁圖像的改進(jìn)SSD網(wǎng)絡(luò)檢測(cè)算法

3.1 網(wǎng)絡(luò)算法流程

將改進(jìn)模型在SSD網(wǎng)絡(luò)中的 Conv4_3層加入多孔卷積，將其改為多尺度多孔卷積層，從dilation為1,2和4 三個(gè)尺度對(duì)圖像進(jìn)行卷積，同時(shí)利用conv3_ 3和conv4_ 3提取圖像的低層特征，設(shè)置conv3_3層stride為4，conv4_3層stride為8，然后將兩個(gè)卷積層產(chǎn)生的特征圖經(jīng)過注意力殘差模塊增強(qiáng)目標(biāo)顯著性；加入crop層以適應(yīng)輸入任意大小，使多孔卷積后的特征圖與前一層特征圖尺寸相同，將兩張?zhí)卣鲌D逐像素相乘，得到底層和高層語(yǔ)義信息的融合特征圖。 算法處理流程如圖5所示。

圖5 算法處理流程

3.2 網(wǎng)絡(luò)計(jì)算方法

對(duì)訓(xùn)練集m組標(biāo)記樣本{(x(1),y(1)),…(x(m),y(m)) }，有y(i)∈{(1,2,…,k})，權(quán)值向量w∈Rn通過與輸入特征向量x(i)∈Rn做向量?jī)?nèi)積，將特征向量映射到類別標(biāo)簽空間，計(jì)算公式如式(1) 所示。

(7)

給定輸入圖像I(i,j)，訓(xùn)練網(wǎng)絡(luò)f1參數(shù)θ1，其中θ1=(W,b)，W代表網(wǎng)絡(luò)權(quán)重矩陣，b代表網(wǎng)絡(luò)偏置向量，Wm和Hm-1為矩陣，計(jì)算公式如式(8) 所示。

f1(I(i,j);θ1)=WmHm-1

(8)

第m隱藏層輸出計(jì)算公式如式(9) 所示。

Hm=max(0,(pool(WmHm-1+bm)))

(9)

其中m=2，H0=I(i,j)，bm為第m層偏置向量，Wm是權(quán)重矩陣。Pool(.)是最大池化操作，max(.)是激活函數(shù)。

網(wǎng)絡(luò)捕獲圖像的特征表示為f2(I(i,j),θ2)，將其與低層特征網(wǎng)絡(luò)的輸出相結(jié)合，計(jì)算公式如(10) 所示。

Fc=[fl(I(i,j),θ1),f2(I(i,j),θ2)]

(10)

將特征Fc傳遞到后續(xù)網(wǎng)絡(luò)中，然后利用多孔卷積和修正線性激活函數(shù)有效地融合多尺度特征圖的視覺特征信息。融合后的特征圖大小計(jì)算公式如式(11) 所示。

(11)

在多尺度網(wǎng)絡(luò)中獲取輸出特征向量，網(wǎng)絡(luò)訓(xùn)練轉(zhuǎn)換特征向量Fc到條件概率，利用softmax回歸函數(shù)計(jì)算每個(gè)類別c歸一化預(yù)測(cè)的條件概率分布如式(12)所示。

(12)

利用隨機(jī)梯度下降算法和反向傳導(dǎo)迭代更新誤差，學(xué)習(xí)最優(yōu)參數(shù)計(jì)算如式(13)所示。

(13)

改進(jìn)SSD網(wǎng)絡(luò)在訓(xùn)練時(shí)采用SmoothLl損失函數(shù)進(jìn)行位置回歸，計(jì)算公式如式(14)所示。

(14)

置信度損失為多個(gè)類別的softmax損失，計(jì)算公式如式(15)所示。

(15)

目標(biāo)損失函數(shù)為置信度損失與定位損失的加權(quán)和，因此得到目標(biāo)損失函數(shù)，計(jì)算公式如式(16)所示。

(16)

因此，通過公式(15)和(16)得到最終檢測(cè)目標(biāo)的類別和位置。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)

實(shí)驗(yàn)數(shù)據(jù)來自于實(shí)際項(xiàng)目中真實(shí)的管道漏磁檢測(cè)數(shù)據(jù),數(shù)據(jù)里程根據(jù)檢測(cè)探頭單位時(shí)間采集數(shù)據(jù)點(diǎn)數(shù)乘以采樣時(shí)間得到。本文用于實(shí)驗(yàn)和測(cè)試的數(shù)據(jù)集共包括2000張560*420和300*300的漏磁圖像樣本，其中包含環(huán)焊縫1800個(gè)，螺旋焊縫600個(gè)，缺陷700個(gè)，非目標(biāo)樣本500個(gè)。圖6為部分實(shí)驗(yàn)樣本集圖像。

圖6 實(shí)驗(yàn)樣本集

訓(xùn)練過程中，算法需要標(biāo)定分類的正負(fù)樣本。正負(fù)樣本由已標(biāo)注圖片(ground truth)的目標(biāo)邊框與預(yù)測(cè)的目標(biāo)邊框決定。如果兩者的IOU(Intersection Over Union)閉值為0.6，就設(shè)定為正樣本，否則設(shè)定為負(fù)樣本。

實(shí)驗(yàn)采用caffe框架進(jìn)行訓(xùn)練。訓(xùn)練模型基于改進(jìn)SSD算法模型，采用帶動(dòng)量因子的小批量隨機(jī)梯度下降法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。輸入圖像大小為500*500，初始學(xué)習(xí)率為0.01，迭代次數(shù)設(shè)為60000次，激活函數(shù)均采用Relu，根據(jù)顯卡性能和mini-batch特性，將Batch size分別設(shè)置為64,128和256。設(shè)定初始學(xué)習(xí)率為0.001，動(dòng)量因子為0.9，權(quán)重衰減為0.005，批大小為32，正則化系數(shù)設(shè)為0.0005，置信度閾值為0.6，NMS閾值為0.6。

4.2 膨脹系數(shù)對(duì)準(zhǔn)確率的影響

卷積核采用不同膨脹系數(shù)會(huì)導(dǎo)致感受野不同，其初層特征提取能力相同，表1為模型參數(shù)設(shè)置與測(cè)試準(zhǔn)確率。實(shí)驗(yàn)將多孔卷積的膨脹系數(shù)分別設(shè)定為2和4。

表1 模型參數(shù)設(shè)置與測(cè)試準(zhǔn)確率

綜合表1可知，當(dāng)膨脹系數(shù)為4、圖像大小為500*500、學(xué)習(xí)率為0.0001和Batch Size為256時(shí)，網(wǎng)絡(luò)的配置參數(shù)最優(yōu)，此時(shí)模型檢測(cè)準(zhǔn)確率最高。由表1可知，膨脹系數(shù)為4的模型e比膨脹系數(shù)為2的模型c在實(shí)驗(yàn)數(shù)據(jù)集上的準(zhǔn)確率分別高出4.05%，膨脹系數(shù)為4的模型f比膨脹系數(shù)為2的模型d的準(zhǔn)確率分別高出5.35%。說明膨脹系數(shù)為4的卷積核提取特征能力最優(yōu)，能較好地將原圖感興趣的信息提取出來，去除冗余特征信息。

4.3 改進(jìn)模型平均檢測(cè)準(zhǔn)確率分析

為了驗(yàn)證本文最優(yōu)模型的實(shí)際預(yù)測(cè)效果，隨機(jī)選擇驗(yàn)證集中3張目標(biāo)圖像分別輸入到改進(jìn)模型和原始模型中，對(duì)管道環(huán)焊縫、螺旋焊縫和小目標(biāo)缺陷進(jìn)行測(cè)試，檢測(cè)結(jié)果如圖7所示。

圖7 SSD與改進(jìn)SSD模型檢測(cè)結(jié)果

圖7為SSD模型和改進(jìn)SSD模型的檢測(cè)結(jié)果。從圖中可以看出，SSD模型對(duì)三幅測(cè)試圖像的檢測(cè)有漏檢和誤檢的情況，對(duì)小缺陷的預(yù)測(cè)值只有0.54和0.72，且平均檢測(cè)精度較低。改進(jìn)SSD模型無漏檢、誤檢，對(duì)小缺陷的預(yù)測(cè)值整體高于SSD模型，平均檢測(cè)精度高于0.9。通過兩種模型檢測(cè)結(jié)果的對(duì)比發(fā)現(xiàn)，改進(jìn)SSD模型的檢測(cè)能力高于SSD，尤其是在小目標(biāo)缺陷檢測(cè)上。

為了提高實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，選擇800張漏磁圖像輸入到兩種模型中進(jìn)行驗(yàn)證，得到了螺旋焊縫、環(huán)焊縫、小缺陷的誤分率和漏檢率，如表2所示。

表2 誤檢率與漏檢率對(duì)比結(jié)果 (%)

從表2中可看出，改進(jìn)模型對(duì)環(huán)焊縫的誤檢率和漏檢率分別為1.18%、0.52%，比原始模型對(duì)應(yīng)減少了4.45%、2.65%，螺旋焊縫的誤檢率和漏檢率對(duì)應(yīng)減少了5.75%、5.55%，小缺陷的誤檢率和漏檢率對(duì)應(yīng)減少了9.16%、10.16%?？梢钥闯?，改進(jìn)模型大大減少了誤檢率和漏檢率，大大提高了對(duì)小目標(biāo)缺陷的檢測(cè)能力。

為了測(cè)試改進(jìn)模型收斂性和平均識(shí)別準(zhǔn)確率，對(duì)改進(jìn)模型在訓(xùn)練集和測(cè)試集上進(jìn)行檢測(cè)精度和迭代次數(shù)的關(guān)系進(jìn)行比較，如圖8所示。并對(duì)單幅圖像中環(huán)焊縫、螺旋焊縫、小缺陷數(shù)量與檢測(cè)精度的關(guān)系進(jìn)行對(duì)比分析，如圖9所示。

圖8 檢測(cè)精度與迭代次數(shù)關(guān)系

由圖8可以看出，改進(jìn)模型在迭代到15 000次時(shí)，訓(xùn)練集和測(cè)試集檢測(cè)精度都高于90%，說明改進(jìn)模型收斂快，檢測(cè)精度較高。從圖9中可看出，單幅圖像中目標(biāo)對(duì)象數(shù)量越少，誤檢和漏檢的概率就越低，因此檢測(cè)準(zhǔn)確度越高。單幅圖像焊縫數(shù)量對(duì)檢測(cè)準(zhǔn)確率的影響較低，小目標(biāo)缺陷數(shù)量對(duì)其檢測(cè)準(zhǔn)確率影響較大。當(dāng)單幅圖像小目標(biāo)缺陷不超過4個(gè)時(shí)檢測(cè)效果較好。為了達(dá)到最優(yōu)的檢測(cè)效果，需要對(duì)單幅漏磁圖像中的采樣點(diǎn)數(shù)量進(jìn)行限定。

圖9 目標(biāo)數(shù)量與檢測(cè)精度關(guān)系

4 結(jié)論

本文提出基于深度學(xué)習(xí)的管道漏磁圖像檢測(cè)算法，在SSD模型中加入多孔卷積，構(gòu)建一種具有多級(jí)語(yǔ)義信息的多尺度特征提取模型。與原始SSD模型對(duì)比，改進(jìn)模型通過多孔卷積擴(kuò)大了卷積核感受野卻并不增加模型計(jì)算量，從而提高模型檢測(cè)精度。

實(shí)驗(yàn)結(jié)果表明，改進(jìn)模型對(duì)實(shí)際管道漏磁信號(hào)數(shù)據(jù)中的缺陷、環(huán)焊縫、螺旋焊縫的檢測(cè)效果能達(dá)到90%以上的準(zhǔn)確率，檢測(cè)效果比較理想。本文提出的基于改進(jìn)SSD網(wǎng)絡(luò)的檢測(cè)方法避免人為選取特征產(chǎn)生的誤差，大大降低了誤檢率和漏檢率，可為后續(xù)的管道漏磁信號(hào)智能化檢測(cè)奠定基礎(chǔ)。