基于改進(jìn)Deeplabv3 +網(wǎng)絡(luò)的線纜表面缺陷檢測研究①

陳 亮 楊賢昭 劉惠康

(武漢科技大學(xué)冶金自動(dòng)化與檢測技術(shù)教育部工程研究中心 武漢430081)

0 引言

近年來,我國智能機(jī)器人、通訊、智能家居等行業(yè)迅速發(fā)展,電纜作為一種傳輸電(磁)能、信息和實(shí)現(xiàn)電磁能轉(zhuǎn)換的重要線材產(chǎn)品,是這些行業(yè)發(fā)展的必需品。線纜的發(fā)展成為這些行業(yè)的鋪墊,其使用頻率逐漸增加,這需要嚴(yán)格把關(guān)線纜質(zhì)量。由于線纜外表主要起絕緣、防水、防潮等作用,所以線纜外表檢測尤為重要,同時(shí)線纜外表也是線纜質(zhì)量的一個(gè)重要指標(biāo)。它的缺陷主要由于生產(chǎn)設(shè)備、生產(chǎn)方式、安裝方式、人為因素等原因產(chǎn)生,這些缺陷會(huì)造成產(chǎn)品質(zhì)量得不到保障、施工人員人身安全受到影響、商業(yè)經(jīng)濟(jì)受到損失等危害。線纜表面缺陷相比墻面和瀝青地面產(chǎn)生的裂紋縫隙更小,采用同樣方式采集的圖像信息更少,得到的分割結(jié)果相對較差,這將需要獲取更多的圖像信息。線纜表面后期檢測一般情況下處于高空中,相比于布匹、軌道缺陷的檢測,線纜表面的圖像信息不易獲取。

目前線纜表面缺陷的主要檢測方式為人工檢測,但這樣的方式誤檢率太高,不能滿足一些特殊行業(yè)的要求。而且如果針對處于高空中的線纜,采用人工檢測將會(huì)存在安全隱患,因此,為了降低檢測目標(biāo)的誤檢率和保證安全性,利用機(jī)器視覺對圖像進(jìn)行判斷是十分重要的。

國內(nèi)外已有部分學(xué)者基于機(jī)器視覺對線纜缺陷進(jìn)行研究,其中喬湘洋等人[1]利用改進(jìn)的灰度均值和改進(jìn)的雙邊濾波與原缺陷圖像進(jìn)行差分,實(shí)現(xiàn)圖像分割,使其在復(fù)雜環(huán)境也能被很好地處理。王海芳等人[2]通過改進(jìn)高斯濾波算法來建立自適應(yīng)模板,比較原圖和模板的Pearson 相關(guān)系數(shù)來判斷缺陷。張俊[3]運(yùn)用線纜圖像的灰度均值垂直投影曲線與其二次擬合曲線方差均值來對圖像進(jìn)行判斷。Gao 等人[4]利用數(shù)學(xué)幾何和線性插值法將電纜轉(zhuǎn)換為平面,再根據(jù)圖中針孔灰度特征用灰度閾值和梯度幅度來進(jìn)行判斷。同時(shí)也有學(xué)者使用深度學(xué)習(xí)的方式來處理裂紋,其中Song 等人[5]用YOLO 算法來檢測具體的缺陷位置,后期對具體位置做出量化,但這是針對混凝土裂紋來進(jìn)行處理。以上處理方式一部分是基于非學(xué)習(xí)型圖像算法,其檢測速度上較好,但在某些復(fù)雜情況下其準(zhǔn)確性相對較低;另一部分是基于深度學(xué)習(xí)算法處理混凝土裂紋,混凝土裂紋相較于本文線纜表面缺陷更容易被識(shí)別,有更顯著的裂紋缺陷?；谶@種情況本文考慮采用改進(jìn)Deeplabv3 +網(wǎng)絡(luò)對線纜表面缺陷進(jìn)行識(shí)別,目前有很多學(xué)者對Deeplabv3 +進(jìn)行研究,Deeplap3 +的原型是Deeplabv1。Deeplabv1 是采用深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural networks,DCNNs)實(shí)現(xiàn)對圖像的分割。Chen 等人[6]在Deeplabv1 的基礎(chǔ)上進(jìn)行多尺度的采樣,形成了空間金字塔結(jié)構(gòu)(atrous spatial pyramid pooling,ASPP),產(chǎn)生了Deeplabv2。薛飛等人[7]指出,相比于Deeplabv2,Deeplabv3 改進(jìn)了串聯(lián)結(jié)構(gòu),形成更深結(jié)構(gòu)的空洞卷積,從而進(jìn)一步提升平均交并比(mean intersection over union,MIOU)的值。Zhang 等人[8]在Deeplabv3 的編碼基礎(chǔ)上添加了一個(gè)解碼過程,形成Deeplabv3+,使更多的圖像信息被利用。其中有一些學(xué)者對Deeplabv3 +進(jìn)行了改進(jìn),Bhakti 等人[9]改變空間金字塔結(jié)構(gòu)降低膨脹率,采用MoblieNetV2 輕量化架構(gòu),使處理圖像的速度加快。王亞剛等人[10]在解碼器部分采用3 層可分離卷積,結(jié)合對數(shù)據(jù)集做預(yù)處理,使其結(jié)果較好。劉致驛等人[11]將空間金字塔結(jié)構(gòu)中除空洞率為1 外的其他3 個(gè)空洞卷積兩兩連接,取得了較好的效果。

1 基于改進(jìn)Deeplabv3 +網(wǎng)絡(luò)的線纜缺陷分割算法

1.1 Deeplabv3 +算法

Deeplabv3 +是圖像分割的一種算法,它能對圖像進(jìn)行像素級分割,這使得它在圖像分類上效果較好,它比Deeplabv3、Deeplabv2、Deeplabv1 增加了解碼器結(jié)構(gòu),形成了編碼器-解碼器結(jié)構(gòu),這樣能收集更多的像素信息,使分割出來的圖像準(zhǔn)確率更高。圖1 所示是Deeplabv3 +網(wǎng)絡(luò)對圖片識(shí)別的過程。

圖1 Deeplabv3 +網(wǎng)絡(luò)結(jié)構(gòu)圖

圖中首先經(jīng)過編碼器部分,這部分先經(jīng)過主干網(wǎng)絡(luò)Xception,其中主干網(wǎng)包括65 層,引用殘差網(wǎng)絡(luò)結(jié)構(gòu),將可分離卷積進(jìn)行串聯(lián),形成深度可分離卷積,輸出信號進(jìn)入空間金字塔結(jié)構(gòu)。具體的網(wǎng)絡(luò)層分布如圖2 所示。

圖2 Xception 網(wǎng)絡(luò)結(jié)構(gòu)圖

從圖1 中可以看出,這里是4 個(gè)空洞卷積,膨脹率分別是1、6、12、18,與池化層一起組合成空間金字塔結(jié)構(gòu)(ASPP)。假設(shè)表示卷積操作,其中下標(biāo)k表示卷積核大小,上標(biāo)r表示空洞率的大小,用G(x) 表示池化操作,那么ASPP 的輸出信息如式(1)所示。

ASPP輸出信息Y經(jīng)過1 ×1 的卷積核將通道變成一個(gè),這是Deeplabv3 +的編碼部分。

解碼器部分從主干網(wǎng)絡(luò)Xception 里面提取低信息的圖片,這樣處理使分割出來的圖片邊緣效果更加清晰。在編碼器中出來的圖像信息進(jìn)行4 倍雙線性插值上采樣來提高圖片的分辨率,然后將Xception 里面提取的信息和上采樣的圖像信息進(jìn)行組合,輸出信號經(jīng)過3 ×3 的卷積核,最后將信息通過4 倍雙線性插值上采樣得出分割的圖像。

由于本文的數(shù)據(jù)集是線纜表面缺陷,有些線纜表面缺陷是小裂紋,原始Deeplabv3 +的ASPP 的空洞率間隔大會(huì)導(dǎo)致圖像分割斷層,且雙線性插值上采樣會(huì)造成信息量少,使圖像信息獲取不完整。

1.2 改進(jìn)Deeplabv3 +算法

針對上一節(jié)提出的問題,本文在Deeplabv3 +的基礎(chǔ)上進(jìn)行兩方面的改進(jìn)。

首先,原始空洞卷積的卷積率間隔較大,使輸出的圖像變得很稀疏,導(dǎo)致一些局部信息丟失,為了解決這個(gè)問題本算法提高了ASPP 里面空洞卷積的卷積率密度,具體改進(jìn)如圖3 所示。

圖3 本文算法結(jié)構(gòu)圖

從圖3 中可以看出,將ASPP 中的空洞卷積增加到8 個(gè)來獲取更多圖像信息,這樣能盡量減少信息的丟失,確保識(shí)別圖片的相對準(zhǔn)確性。相比于Deeplabv3 +,ASPP 輸出信息如式(2)所示。

比較改進(jìn)前和改進(jìn)后ASPP 輸出的信號Y和Y1,不難看出Y1能獲取更多的圖像信息。一維情況下空洞卷積的具體操作如式(3)所示。

我們知道在無人機(jī)中有一個(gè)攝像機(jī)是搭載高清攝像機(jī)，若把其使用在飛行控制系統(tǒng)與地面控制系統(tǒng)之中的話，能夠取得較好的效果，其一，基于使用此種攝像機(jī)，能夠靈活轉(zhuǎn)動(dòng)攝像頭完成拍攝工作，使拍攝數(shù)據(jù)圖片成像更加清晰，以及清楚看到地形的層次分面與色彩層級?；诖?，促進(jìn)土地整治項(xiàng)目工作順利完成。

其中,y[i] 是輸出信號,x[i] 是輸入信號,w[p] 是卷積核,r是空洞率,p是位置,P表示卷積核的大小?？斩绰蕿閞時(shí),則像素為第一個(gè)位置、第r +1個(gè)位置以及依次加r的位置與對應(yīng)的卷積核相乘后累加,相當(dāng)于在卷積核中插入r -1 個(gè)零元素,當(dāng)卷積核為k時(shí),其感受野大小如式(4)所示。

當(dāng)空洞率為2 且卷積核為3 ×3 時(shí),則其感受野為5。此處的感受野擴(kuò)張和Deeplabv3+是相同的運(yùn)算。

在ASPP 中本實(shí)驗(yàn)采用平均池化,取周圍像素點(diǎn)的均值,這樣可以表達(dá)所有像素點(diǎn)的信息。同時(shí)在卷積后面加1 ×1 的卷積是為了增加整個(gè)系統(tǒng)處理非線性對象的能力,使整個(gè)系統(tǒng)在面臨較復(fù)雜的環(huán)境時(shí)仍然有較高的準(zhǔn)確率。具體計(jì)算卷積輸出的形狀大小如式(5)和式(6)所示。

其中H、W是輸入信號的大小,FH、FW是濾波器的大小,OH、OW為輸出信號的大小,P是填充,S是步幅,依據(jù)以上公式,當(dāng)有輸入信號的大小、濾波器大小、填充和步幅時(shí)就能知道輸出信號大小。

其次,在Deeplabv3 +網(wǎng)絡(luò)中采用兩次雙線性插值上采樣,雙線性插值的具體矩陣如式(7)所示,以(0,0)、(1,0)、(0,1)、(1,1)為例,在這個(gè)正方形里面進(jìn)行x軸和y軸方向上的插值。

假設(shè)x,y分別是目標(biāo)點(diǎn)的x軸坐標(biāo)和y軸坐標(biāo),當(dāng)在(0,0)、(1,0)、(0,1)、(1,1)中間進(jìn)行插值為(x,y) 時(shí),這個(gè)點(diǎn)與(0,0)之間的關(guān)系為f(0,0)×(1-x)×(1-y),與(1,0)的關(guān)系為f(1,0)× x ×(1-y),與(0,1)的關(guān)系為f(0,1)×(1-x)×y,與(1,1)的關(guān)系為f(1,1)× x × y。

從公式中可以得出,目標(biāo)點(diǎn)的灰度值是由周圍4 個(gè)像素灰度值取平均得到的,這種方式考慮了周圍像素值大小,但是沒有考慮相鄰點(diǎn)變化率影響,會(huì)使放大后部分細(xì)節(jié)信息丟失。針對這一問題,本文采用圖2所示的方式,串聯(lián)兩個(gè)3 ×3 的卷積和一個(gè)1 ×1 的卷積然后并聯(lián)一個(gè)同樣的結(jié)構(gòu),這樣能減少信息丟失。

圖4 分割結(jié)果圖

依據(jù)分割結(jié)果可以看出,Deeplabv3 +能分辨出大致的缺陷,但相對較淺的地方并沒有本文改進(jìn)的算法好。再將兩種方法的精確度和MIOU 進(jìn)行對比,具體的實(shí)驗(yàn)數(shù)據(jù)如表1 所示。

表1 網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)對比

從上述的結(jié)果可以看出,改進(jìn)的Deeplabv3 +相比原始Deeplabv3 +網(wǎng)絡(luò)有更好的準(zhǔn)確性和MIOU,更符合工業(yè)的需求,在線纜安全方面也有了更高的保障。

1.3 本文算法流程

圖5 所示是本文算法流程圖。

圖5 本文算法流程圖

從圖中可以看出,先將線纜圖片用Labelme 軟件制作成VOC 的格式標(biāo)簽,里面包含了訓(xùn)練集、測試集和驗(yàn)證集,這樣做是為了使Deeplabv3 +網(wǎng)絡(luò)能通過這些標(biāo)簽來識(shí)別圖片信息。在讀取信息后,需要做訓(xùn)練前的準(zhǔn)備,調(diào)節(jié)具體的參數(shù),用訓(xùn)練集訓(xùn)練出網(wǎng)絡(luò)模型,之后用驗(yàn)證集通過MIOU 和精確度P的數(shù)據(jù)找到此時(shí)相對最優(yōu)模型。如果驗(yàn)證出MIOU和精確度P相對原始Deeplabv3 +相差較大,則需要返回,繼續(xù)調(diào)節(jié)參數(shù),當(dāng)達(dá)到理論標(biāo)準(zhǔn)值后保存此時(shí)的最優(yōu)模型,最后運(yùn)用最優(yōu)的模型對測試集進(jìn)行測試并獲得結(jié)果。其中具體的MIOU 和精確度P公式如式(8)和式(9)所示。

式中TP是被正確分割的線纜缺陷像素?cái)?shù)目,FP是被錯(cuò)誤分割為缺陷背景的像素?cái)?shù)目,FN是錯(cuò)誤標(biāo)記為背景的像素?cái)?shù)目。MIOU 可以用圖6 表示,真實(shí)值與預(yù)測值的交集比上真實(shí)值預(yù)測值的并集減去交集累加求平均,精確度P就是預(yù)測正確的占整個(gè)預(yù)測樣本的值。

圖6 真實(shí)值與預(yù)測值圖示

2 實(shí)驗(yàn)分析

本實(shí)驗(yàn)共采集實(shí)際線纜表面缺陷圖300 張,通過Labelme 將數(shù)據(jù)制作成可識(shí)別的標(biāo)簽,數(shù)據(jù)的類別分為凹槽、鼓包、裂縫和背景4 類。本文實(shí)驗(yàn)圖片由智能機(jī)采集,經(jīng)過程序處理后圖片大小為513 ×513 像素,本文改進(jìn)Deeplabv3 +網(wǎng)絡(luò)算法程序是在Windows10 系統(tǒng)、顯卡8 GB 下使用Pytorch 框架實(shí)現(xiàn)的。

實(shí)驗(yàn)利用本文提出的改進(jìn)Deeplabv3 +算法模型來識(shí)別線纜表面缺陷圖,并將其與Canny 算子、Sobel 算子、OTSU 閾值割、最大熵閾值分割算法分析結(jié)果進(jìn)行對比,5 種算法分析結(jié)果如圖7 所示。

圖7(b)表明使用傳統(tǒng)的Canny 算子[12]分割能夠識(shí)別簡單的缺陷,如單個(gè)凹槽、鼓包等,但線纜表面缺陷較淺時(shí)很難正確地識(shí)別。對比圖7(b)和(c)可以看出,雖然Sobel 算子[13]效果比Canny 算子要清晰,但對于線纜上比較淺的缺陷依然無法清晰識(shí)別。圖7(d)中OTSU[14]閾值分割的結(jié)果信息量很少,只有鼓包這種狀態(tài)能被清晰識(shí)別,其狀態(tài)的缺陷都不能被有效地識(shí)別。從圖7(e)中可以看出,最大熵閾值分割[15]效果得到的信息量也很少,只能識(shí)別鼓包。圖7 (f)是本文算法分析結(jié)果,相比其他方法,凹槽、鼓包、裂縫和復(fù)合的環(huán)境都能被清晰有效地識(shí)別出來。從以上對比實(shí)驗(yàn)可以看出,改進(jìn)算法面對各種缺陷情況都能準(zhǔn)確地識(shí)別目標(biāo),相對于其他算法有更好的準(zhǔn)確性。

圖7 算法對比

3 結(jié)論

本文針對線纜缺陷檢測精度問題提出了改進(jìn)的Deeplabv3 +算法,數(shù)據(jù)處理部分采用Labelme 進(jìn)行數(shù)據(jù)集的標(biāo)注。在網(wǎng)絡(luò)結(jié)構(gòu)部分將ASPP 中的空洞卷積數(shù)量翻倍并在其后增加一個(gè)1 ×1 的卷積處理環(huán)節(jié)解決了輸出圖像可能斷層問題和增加系統(tǒng)處理非線性對象的能力。在解碼過程中引入并聯(lián)多層3×3 的卷積解決了上采樣部分信息丟失問題。實(shí)驗(yàn)結(jié)果表明,改進(jìn)算法在精確度、平均交并比方面比原始Deeplabv3 +效果更好。相較于其他傳統(tǒng)算法,改進(jìn)Deeplabv3 +算法雖然在檢測精度上表現(xiàn)更好,但是仍然有很多問題需要解決,如本實(shí)驗(yàn)相機(jī)像素相對較低會(huì)影響識(shí)別的結(jié)果,同時(shí)本文算法相對復(fù)雜且運(yùn)算量大,在圖片反光或者惡劣環(huán)境時(shí)分割效果不是很突出。未來的研究將關(guān)注如何優(yōu)化數(shù)據(jù)以及算法來進(jìn)一步提高線纜缺陷的檢測效果。