基于改進(jìn)U-Net模型的焊縫特征提取

夏 攀,馬 飛,王中任

(1.湖北文理學(xué)院機(jī)械工程學(xué)院,湖北 襄陽 441053；2.湖北文理學(xué)院汽車與交通工程學(xué)院,湖北 襄陽 441053；3.智能制造與機(jī)器視覺襄陽市重點(diǎn)實(shí)驗(yàn)室,湖北 襄陽 441053)

1 引 言

隨著我國社會經(jīng)濟(jì)的快速發(fā)展,石油天然氣等資源的大量使用,運(yùn)輸管道和大型儲罐的需求量日益攀升,傳統(tǒng)的人工焊效率低、難度大、成本高,難以滿足大型管道焊接的工藝要求,因此,基于激光視覺的管道自動焊接成為目前的研究熱點(diǎn)[1]。實(shí)現(xiàn)激光視覺焊縫跟蹤的難點(diǎn)在于實(shí)時(shí)獲取焊縫的位置信息,然而,在焊接過程中強(qiáng)弧光,飛濺等噪聲的干擾會嚴(yán)重污染采集的圖像,難以確定焊縫的位置,影響焊接質(zhì)量[2]。

焊縫特征提取的方法很多,比較傳統(tǒng)的是使用改進(jìn)的中值濾波算法去除圖像中的椒鹽噪聲,并通過Otsu閾值分割獲得激光條紋圖像[3],以及采用二值化和降噪濾波對焊縫特征進(jìn)行識別[4]。張斌等采用了基于遺傳算法的骨架提取法提取激光線[5]。杜健準(zhǔn)等使用改進(jìn)的跟蹤-學(xué)習(xí)-檢測(TLD)算法實(shí)時(shí)跟蹤焊縫特征點(diǎn)[6]。張?zhí)煲坏壤肅anny算子的邊緣提取和基于迭代腐蝕的骨架細(xì)化算法,分別實(shí)現(xiàn)了圖像中激光線交點(diǎn)和焊接坡口上激光線彎折點(diǎn)的提取[7]。

隨著AI技術(shù)的發(fā)展,基于深度學(xué)習(xí)的目標(biāo)提取的方法開始應(yīng)用于焊縫跟蹤。張永帥等將深度學(xué)習(xí)的特征學(xué)習(xí)應(yīng)用在提取焊縫信息上,通過改進(jìn)FCN神經(jīng)網(wǎng)絡(luò)補(bǔ)充焊縫特征信息,該方法與傳統(tǒng)圖像分割方法相比準(zhǔn)確率高、穩(wěn)定性好[8]。Yanbiao Zou等提出了一種基于條件生成對抗網(wǎng)絡(luò)(CGAN)的焊接圖像修復(fù)方法,構(gòu)建了一個(gè)焊接圖像修復(fù)網(wǎng)絡(luò)該網(wǎng)絡(luò)學(xué)習(xí)到從有噪聲焊接圖像到相應(yīng)無噪聲焊接圖像的端到端映射,該方法能準(zhǔn)確修復(fù)受到強(qiáng)弧光干擾的焊縫圖像[9]Ronneberger等提出U-Net網(wǎng)絡(luò),該網(wǎng)絡(luò)在小數(shù)據(jù)上也有很好的分割效果,U-Net對于一般場景的適應(yīng)度很高,具有輕量化,計(jì)算快,應(yīng)用性強(qiáng)的特點(diǎn)[10]。U-Net在醫(yī)學(xué)領(lǐng)域的圖像分割中已經(jīng)取得了很多成果[11],在遙感圖像分割中也有很好的效果[12]。針對焊縫特征提取精度低的問題,本文提出一種基于改進(jìn)的U-Net網(wǎng)絡(luò)模型進(jìn)行圖像分割,通過相機(jī)實(shí)時(shí)采集管道焊接時(shí)的焊縫圖像作為訓(xùn)練樣本,通過改進(jìn)的U-Net網(wǎng)絡(luò)訓(xùn)練出能分割焊縫信息的模型,用模型預(yù)測出圖像中焊縫信息,從而實(shí)現(xiàn)在強(qiáng)弧光干擾嚴(yán)重的圖像中準(zhǔn)確提取焊縫位置信息的要求。

2 數(shù)據(jù)采集與預(yù)處理

2.1 數(shù)據(jù)采集

圖像分割需要根據(jù)灰度、彩色、空間紋理、幾何形狀將焊縫特征信息從背景中分離出來,由于弧光干擾和激光線的像素具有相似性,需要大量的訓(xùn)練樣本進(jìn)行監(jiān)督學(xué)習(xí),數(shù)據(jù)集的獲取是網(wǎng)絡(luò)訓(xùn)練的前提。本研究的數(shù)據(jù)采集實(shí)驗(yàn)平臺為自動管道焊接移動機(jī)器人,針對圓形管道坡口進(jìn)行焊接,焊接工藝為MAG焊,數(shù)據(jù)采集平臺如圖1所示。焊縫寬度為28 mm,深度為20 mm,視覺傳感激光器與焊槍距離為56 mm,在實(shí)驗(yàn)用的激光視覺傳感器中,激光器波長為650 nm,相機(jī)型號為MV-13MG,圖像分辨率為1280像素×1024像素。采集了360幅圖像,部分樣本集如圖2所示。

圖1 數(shù)據(jù)采集平臺

圖2 部分?jǐn)?shù)據(jù)集

2.2 數(shù)據(jù)增強(qiáng)

在圖像數(shù)據(jù)處理任務(wù)中,由于數(shù)據(jù)不足和網(wǎng)絡(luò)模型參數(shù)較多,會導(dǎo)致網(wǎng)絡(luò)的泛化性和魯棒性不佳,為了提升模型精度,圖像數(shù)據(jù)增強(qiáng)是常用的正則化方法,在不改變圖像精度的前提下,通過Cutout[13]的方法對圖像裁剪增廣,Cutout可以模擬焊接過程中焊縫特征被遮擋的場景,充分利用場景中其他內(nèi)容,防止網(wǎng)絡(luò)只關(guān)注特征明顯區(qū)域,發(fā)生過擬合。AutoAugment[14]不同于普通的人工設(shè)計(jì)圖像增強(qiáng)方式,AutoAugment是在一系列圖像增廣的子策略的搜索空間中,通過搜索算法找到合適焊縫圖像的增廣方案,對焊縫圖像進(jìn)行隨機(jī)的旋轉(zhuǎn)、鏡像、平移。采用以上數(shù)據(jù)增廣的方法,將數(shù)據(jù)集由360張擴(kuò)充到1100張,如圖3所示,展示部分?jǐn)?shù)據(jù)集增強(qiáng)結(jié)果。

圖3 數(shù)據(jù)增強(qiáng)

2.3 數(shù)據(jù)集標(biāo)注

數(shù)據(jù)集采集增廣結(jié)束后,隨機(jī)選取1100幅數(shù)據(jù)集中的850幅作為訓(xùn)練集,200幅作為測試集,50幅為驗(yàn)證集,數(shù)據(jù)集本身沒有標(biāo)簽,將數(shù)據(jù)集進(jìn)行監(jiān)督學(xué)習(xí)訓(xùn)練,首先要對樣本圖進(jìn)行人工標(biāo)注,使用Labelme對焊縫特征的輪廓進(jìn)行逐點(diǎn)標(biāo)注,形成分割圖像并生成VOC格式的數(shù)據(jù),將數(shù)據(jù)中的json文件轉(zhuǎn)化后得到焊縫特征標(biāo)注圖,黃色標(biāo)簽為焊縫特征,背景為黑色,如圖4所示為三幅樣本圖像和對應(yīng)的標(biāo)注圖。

圖4 原圖和標(biāo)注圖

3 網(wǎng)絡(luò)模型結(jié)構(gòu)設(shè)計(jì)

3.1 改進(jìn)型U-Net

本實(shí)驗(yàn)使用的經(jīng)過改進(jìn)后的U-Net神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示,網(wǎng)絡(luò)結(jié)構(gòu)主要包含用于調(diào)整輸入圖像尺寸的Resizer Module,U-Net網(wǎng)絡(luò)中Encode模塊中的卷積層(Conv1～Conv8)、池化層(Pool1～Pool4)以及Decode模塊中的反卷積層(Deconv1～Deconv4)、卷積層(Conv11～Conv18),并且每一層卷積后均穿插批歸一化層BN,為了避免Relu激活函數(shù)在網(wǎng)絡(luò)學(xué)習(xí)率設(shè)置過大的情況下導(dǎo)致的神經(jīng)元死亡的問題,BN層采用改進(jìn)后的Relu-Leaky Relu作為激活函數(shù)。Leaky Relu通過給出一個(gè)很小的負(fù)數(shù)梯度值,讓其中部分的負(fù)梯度信息不會完全丟失,從而實(shí)現(xiàn)了單側(cè)抑制。在原U-Net網(wǎng)絡(luò)的結(jié)構(gòu)基礎(chǔ)上,在每一次上采樣或下采樣前添加了概率不同的Dropout層,以及在編-解碼層間的跳連接中加入了特征增強(qiáng)模塊,防止了網(wǎng)絡(luò)在數(shù)據(jù)集單一時(shí)發(fā)生過擬合。

圖5 改進(jìn)型U-Net網(wǎng)絡(luò)結(jié)構(gòu)圖

深度學(xué)習(xí)任務(wù)中圖片尺寸大小調(diào)整通常是使用固定的方法進(jìn)行,例如雙線性插值、最近鄰插值、雙三次插值等[15]。這些方法是在深度學(xué)習(xí)技術(shù)成為主流之前就發(fā)展起來的,不能進(jìn)行自我學(xué)習(xí),因?yàn)橛行Ь矸e會降低焊縫特征的分辨率,為了給本實(shí)驗(yàn)尋找最佳的分辨率,本實(shí)驗(yàn)在特征提取結(jié)構(gòu)中使用了可學(xué)習(xí)調(diào)整器。其結(jié)構(gòu)如圖6所示。

圖6 可學(xué)習(xí)調(diào)整器的結(jié)構(gòu)圖

可學(xué)習(xí)調(diào)整器使用4個(gè)卷積層,以及N個(gè)殘差塊(本文中只使用1個(gè))對圖像進(jìn)行特征提取,其中雙線性調(diào)整器(Bilinear Resizer)能夠向后面的網(wǎng)絡(luò)模型中合并以原始分辨率計(jì)算得到的焊縫特征,調(diào)整器結(jié)構(gòu)中使用的幾個(gè)跳連接(skip connection)能使得可學(xué)習(xí)調(diào)整器融合更多圖像特征從而更容易進(jìn)行學(xué)習(xí)。本文在U-Net網(wǎng)絡(luò)頭端接入了可學(xué)習(xí)調(diào)整器,提取輸入圖像的焊縫特征,然后將經(jīng)過調(diào)整器后的圖像數(shù)據(jù)輸入網(wǎng)絡(luò),同時(shí)向U-Net中合并其學(xué)習(xí)到的特征。

在U-Net的編碼-解碼模塊之間,本文采用了特征增強(qiáng)模塊對經(jīng)過下采樣的圖像進(jìn)行特征加強(qiáng),不同于U-Net原始網(wǎng)絡(luò)直接采用在通道維度進(jìn)行簡單拼接的方法,我們分別將四層將要進(jìn)行融合的焊縫特征圖進(jìn)行限制對比度自適應(yīng)直方圖均衡(CLAHE)處理,CLAHE通過計(jì)算經(jīng)過下采樣后的焊縫灰度圖像每一個(gè)區(qū)域的直方圖,來重新分布焊縫特征圖的亮度值。在重新分布焊縫特征圖亮度信息的過程中,CLAHE還通過預(yù)先設(shè)定的閾值來裁剪直方圖以達(dá)到限制增強(qiáng)幅度的目的。在本文中,其閾值設(shè)定為3,經(jīng)過處理后的焊縫圖像像素灰度值分布更加均衡,有利于增強(qiáng)焊縫特征圖的邊緣信息,利于焊縫分割任務(wù)的進(jìn)行。圖7、8分別為特征加強(qiáng)前后的焊縫特征圖以及灰度圖像像素穩(wěn)定對比。

圖7 特征加強(qiáng)前后的焊縫特征圖

圖8 灰度圖像像素穩(wěn)定對比圖

3.2 模型訓(xùn)練

本研究基于改進(jìn)U-Net模型的焊縫特征提取的硬件環(huán)境為CPU i5 9300H 2.34GHz,24GB內(nèi)存、NVIDIA GeForce GTX1660Ti顯卡,操作系統(tǒng)為Windows 10 專業(yè)版,編程語言為Python 3.6,深度學(xué)習(xí)框架為 Tensorlow 1.13.2和Keras 2.1.5。

網(wǎng)絡(luò)訓(xùn)練采用隨機(jī)梯度下降(SGD)作為優(yōu)化器,U-Net以及Resizer Model聯(lián)合使用交叉熵?fù)p失(Cross Entropy Loss)進(jìn)行訓(xùn)練,訓(xùn)練輪次數(shù)為10000次,學(xué)習(xí)率(Learning Rate)采用多項(xiàng)式衰減策略,使用衰減策略可以避免梯度無法收斂至全局最低點(diǎn)。初始及結(jié)束時(shí)學(xué)習(xí)率分別設(shè)置為0.0025、0。每一輪新學(xué)習(xí)率計(jì)算公式:

epoch=min(epoch,Decay Steps)

(1)

(2)

其中,DecaySteps為學(xué)習(xí)率衰減步長,本文中設(shè)置為20,power設(shè)置為1。

網(wǎng)絡(luò)結(jié)構(gòu)主要包含Encode模塊中的卷積層(Conv1～Conv8)、池化層(Pool1～Pool4)以及Decode模塊中的反卷積層(Deconv1～Deconv4)、卷積層(Conv11～Conv18),并且層與層之間均穿插批歸一化層BN,其中每層卷積核的大小(Kernel)、卷積核的移動步長(Stride)、補(bǔ)零填充的層數(shù)(Padding)的詳細(xì)參數(shù)如表1所示,由于各層之間卷積核參數(shù)具有共性,將其進(jìn)行合并展示。

表1 改進(jìn)后的U-Net網(wǎng)絡(luò)模型詳細(xì)參數(shù)表

4 實(shí)驗(yàn)結(jié)果分析

4.1 不同算法分割對比

本文選擇傳統(tǒng)圖像閾值分割法,經(jīng)典的全卷積網(wǎng)絡(luò)FCN算法、U-Net算法、PSPNet算法、改進(jìn)的U-Net算法對焊縫特征圖像進(jìn)行分割實(shí)驗(yàn)。為了比較不同算法的精確度和魯棒性,隨機(jī)選擇數(shù)據(jù)集中三個(gè)樣本進(jìn)行預(yù)測分割,如圖9所示,為不同算法的分割結(jié)果,從上到下依次是:(a)原圖；(b)傳統(tǒng)閾值分割結(jié)果；(c)FCN算法分割結(jié)果；(d)U-Net算法分割結(jié)果；(e)PSPNet算法分割結(jié)果；(f)本文改進(jìn)的U-Net算法分割結(jié)果。

由圖9可知,由于受到強(qiáng)弧光以及弧光飛濺干擾,對于傳統(tǒng)的閾值分割法,焊縫特征提取結(jié)果存在以下問題:弧光像素和激光線像素相似,閾值設(shè)定困難,容易將焊接時(shí)飛濺的弧光誤判為激光條紋。對于FCN算法,分割效果與閾值分割法相比有明顯提升,能排除弧光干擾,但激光條紋在拐點(diǎn)或弧光干擾的區(qū)域容易出現(xiàn)斷點(diǎn)。對于U-Net和PSPNet算法,對在直線區(qū)域的激光條紋提取的準(zhǔn)確率提高,但對拐點(diǎn)和強(qiáng)光區(qū)域的激光條紋容易產(chǎn)生斷點(diǎn),不能完整的分割出激光條紋。本文提出的改進(jìn)型U-Net算法在特征提取結(jié)構(gòu)中融入可學(xué)習(xí)調(diào)整器,在編解碼塊中增加圖像增強(qiáng)模塊,增強(qiáng)特征信息,抑制弧光干擾,減少誤判,分割結(jié)果顯示改進(jìn)型U-Net算法能完整的分割出連續(xù)的激光條紋,魯棒性和準(zhǔn)確性更好。

圖9 不同算法分割結(jié)果

4.2 評價(jià)指標(biāo)

對焊縫特征提取結(jié)果的精度判斷需要一個(gè)評價(jià)指標(biāo),本文引入準(zhǔn)確率(Accuracy,acc),平均交并比(Mean Intersection over Union,mIou),平均像素精確度(Mean Pixel Accuracy,mpa)三個(gè)指標(biāo)對焊縫特征提取進(jìn)行分析。準(zhǔn)確率(acc)是指分割正確焊縫特征圖像占整個(gè)圖像的比例,準(zhǔn)確率越高代表模型質(zhì)量越好。mIou是計(jì)算真實(shí)值和預(yù)測值兩個(gè)集合的交集和并集之比,將每一類IOU計(jì)算后累加平均,是基于全局評價(jià)。mpa是指每個(gè)類內(nèi)被正確分類的像素?cái)?shù)的比例,acc、mIou和mpa的計(jì)算公式:

(3)

(4)

(5)

其中,TP(True Positive)為分割正確的焊縫特征像素；TN(True Negative)為分割正確的焊縫背景像素； FP(False Positive)為分割錯(cuò)誤的焊縫背景像素；FN(False Negative)為分割錯(cuò)誤的焊縫特征像素。

4.3 實(shí)驗(yàn)分析

將本文引用的acc、mIou、mpa三個(gè)評價(jià)指標(biāo)與其他算法進(jìn)行對比,分別計(jì)算閾值分割法,FCN算法、U-Net算法、PSPNet算法、改進(jìn)型U-Net算法的指標(biāo)值,如表2所示,閾值分割法、FCN算法、U-Net算法、PSPNet算法、本文改進(jìn)型U-Net算法的acc值分別是50.59 %、96.53 %、98.32 %、98.64 %、99.34 %,mIou值分別為48.42 %、86.53 %、87.62 %、88.44 %、89.36 %,mpa值分別為78.36 %、92.30 %、93.54 %、94.86 %、95.62 %,與其他方法相比,本文改進(jìn)型U-Net的焊縫特征提取效果準(zhǔn)確度更高,具有良好的抗噪聲能力,在基于激光視覺自動焊接的工業(yè)應(yīng)用中將發(fā)揮重要的作用。

5 結(jié) 論

針對目前基于激光視覺的自動焊接焊縫特征容易受到弧光干擾,出現(xiàn)焊接偏移,焊接效果不穩(wěn)定等問題,本文提出一種改進(jìn)的U-Net網(wǎng)絡(luò)模型,首先在特征提取前加入可學(xué)習(xí)的調(diào)整器,使網(wǎng)絡(luò)能融合更多特征信息,然后在編解碼之間加入特征加強(qiáng)模塊,增強(qiáng)焊縫特征信息,抑制弧光干擾。將深度學(xué)習(xí)技術(shù)應(yīng)用在焊縫特征提取的過程中,解決了復(fù)雜噪聲干擾環(huán)境下焊縫特征提取精度低的問題。

表2 不同算法指標(biāo)值

本文改進(jìn)的U-Net算法的三個(gè)分割精度指標(biāo)acc值為99.34 %,mIou值為89.36 %,mpa值為95.62 %,三個(gè)指標(biāo)均高于本文對比的分割算法,從最終分割結(jié)果看,本實(shí)驗(yàn)?zāi)軓幕」飧蓴_嚴(yán)重的環(huán)境中準(zhǔn)確提取焊縫特征,提取精度比較高,在未來的研究工作中將進(jìn)一步優(yōu)化數(shù)據(jù)集和網(wǎng)絡(luò)結(jié)構(gòu),實(shí)現(xiàn)焊縫特征點(diǎn)定位,提升特征提取效果。