基于深度學(xué)習(xí)的焊縫定位與缺陷識(shí)別

薛龍，曹楷順，黃軍芬，黃繼強(qiáng)，鄒勇，曹瑩瑜

摘要：針對(duì)大型構(gòu)件缺陷焊縫的自動(dòng)定位及缺陷識(shí)別是實(shí)現(xiàn)焊縫打磨、補(bǔ)焊等自動(dòng)化操作的必要條件。大型構(gòu)件焊縫及焊縫缺陷圖像具有形狀多樣、灰度分布隨機(jī)等特點(diǎn)，加大了圖像處理的難度。提出一種基于深度學(xué)習(xí)的焊縫定位及缺陷識(shí)別方法，通過深度學(xué)習(xí)目標(biāo)檢測(cè)方法確定焊縫位置并識(shí)別焊瘤及不合格缺陷，通過深度學(xué)習(xí)語義分割方法識(shí)別氣孔及凹坑缺陷。選取FPN網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)建和訓(xùn)練焊縫定位及缺陷識(shí)別模型，并通過增加樣本數(shù)量完成模型優(yōu)化，焊縫定位識(shí)別準(zhǔn)確率達(dá)到95%，焊瘤識(shí)別準(zhǔn)確率達(dá)到98%，氣孔與凹坑兩類缺陷的識(shí)別準(zhǔn)確率約為91.8%。

關(guān)鍵詞：焊縫定位;缺陷識(shí)別;深度學(xué)習(xí)方法

中圖分類號(hào)：TG441.7? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號(hào)：1001-2003（2021）09-0031-05

DOI：10.7512/j.issn.1001-2303.2021.09.06

0? ? 前言

隨著大型港機(jī)設(shè)備生產(chǎn)制造要求的進(jìn)一步提升，監(jiān)測(cè)其焊接質(zhì)量成為保障生產(chǎn)安全的重要環(huán)節(jié)。港機(jī)大型設(shè)備在生產(chǎn)過程中焊接工作量大，不可避免地會(huì)產(chǎn)生如氣孔、凹坑、焊瘤等焊接缺陷，由于焊縫數(shù)量多，依賴人工完成焊縫缺陷識(shí)別大大影響了工作效率。國內(nèi)針對(duì)港機(jī)大型設(shè)備焊縫缺陷的自動(dòng)化識(shí)別技術(shù)相較于國外發(fā)展較為落后，為了提高港機(jī)生產(chǎn)效率及生產(chǎn)質(zhì)量，需要研發(fā)出焊縫缺陷自動(dòng)化處理系統(tǒng)，其中焊接缺陷的自動(dòng)化定位識(shí)別技術(shù)是重要關(guān)鍵點(diǎn)之一[1]。由于港機(jī)設(shè)備上不同位置的焊縫及焊縫缺陷的形狀、亮度等不同，增大了定位識(shí)別難度。應(yīng)對(duì)這種紋理、形狀、亮度均有變化的對(duì)象識(shí)別，深度學(xué)習(xí)的方法具有很好的識(shí)別效果。因此，文中提出應(yīng)用深度學(xué)習(xí)的方法實(shí)現(xiàn)焊縫定位與缺陷識(shí)別[2]。借助HALCON的深度學(xué)習(xí)功能，收集缺陷數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練以及優(yōu)化，從而實(shí)現(xiàn)焊縫的定位以及缺陷識(shí)別。

1 焊縫定位與缺陷識(shí)別方案設(shè)計(jì)

深度學(xué)習(xí)在圖像領(lǐng)域的三大主要功能為圖像分類、目標(biāo)檢測(cè)及語義分割。圖像分類是根據(jù)圖像中主要特征信息確定圖像中主要目標(biāo)對(duì)象的類別。目標(biāo)檢測(cè)功能是針對(duì)每張圖片包含多個(gè)待檢測(cè)目標(biāo)的情況，如工件圖像中包含多種焊接缺陷（焊瘤、氣孔等等），可用于確定圖像中各種缺陷類別信息及其所在位置。語義分割功能是實(shí)現(xiàn)圖像像素級(jí)別的定位與識(shí)別[3-5]，適用于識(shí)別焊縫氣孔、凹坑等邊緣不規(guī)則的缺陷?；谏疃葘W(xué)習(xí)的語義分割給予每個(gè)像素一個(gè)標(biāo)簽，分割的目標(biāo)可以具有更精確的邊緣，判斷圖像中的缺陷類型及缺陷邊緣[6]。本研究中基于深度學(xué)習(xí)的目標(biāo)檢測(cè)功能開發(fā)焊縫定位算法，基于深度學(xué)習(xí)的語義分割功能開發(fā)氣孔及凹坑焊縫缺陷識(shí)別定位算法。

焊縫定位及缺陷識(shí)別總體流程如圖1所示。采集工件圖像后，通過深度學(xué)習(xí)目標(biāo)檢測(cè)方法完成焊縫定位任務(wù)，同時(shí)將焊瘤、存在嚴(yán)重不合格缺陷的焊縫進(jìn)行定位識(shí)別;焊縫定位后，在焊縫區(qū)域通過深度學(xué)習(xí)語義分割方法識(shí)別凹坑及氣孔缺陷。

文中深度學(xué)習(xí)方法應(yīng)用的訓(xùn)練網(wǎng)絡(luò)是基于FPN網(wǎng)絡(luò)的結(jié)構(gòu)。FPN網(wǎng)絡(luò)是Tsung Yili等人在2017年提出的金字塔網(wǎng)絡(luò)結(jié)構(gòu)Feature Pyramid Network。通過該網(wǎng)絡(luò)結(jié)構(gòu)解決了不同尺寸圖像的目標(biāo)檢測(cè)問題[7]，它可以將卷積神經(jīng)網(wǎng)絡(luò)的高維特征與低維特征進(jìn)行融合，使網(wǎng)絡(luò)所包含的語義更加豐富。在塔形結(jié)構(gòu)端部的目標(biāo)會(huì)有更高的分辨率，有助于小目標(biāo)的識(shí)別[8]。FPN網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

研究過程中發(fā)現(xiàn)，代表焊縫及焊縫缺陷的像素在圖像中的占比非常小，而高分辨率的相機(jī)拍攝的工件圖像包含的信息量非常大，焊縫及缺陷屬于小目標(biāo)，因此適合運(yùn)用這種塔形結(jié)構(gòu)的FPN網(wǎng)絡(luò)進(jìn)行焊縫定位及缺陷識(shí)別，既保證了圖像輸入輸出尺寸前后一致，又保證了焊縫與焊縫缺陷最終的識(shí)別效果。

2 焊縫定位

焊縫定位算法通過深度學(xué)習(xí)中的目標(biāo)檢測(cè)功能來實(shí)現(xiàn)。目標(biāo)檢測(cè)工作流程主要包含：準(zhǔn)備數(shù)據(jù)、網(wǎng)絡(luò)模型訓(xùn)練、推理驗(yàn)證。準(zhǔn)備數(shù)據(jù)包括采集焊縫圖像、圖像中焊縫標(biāo)注;訓(xùn)練包括選取網(wǎng)絡(luò)框架并創(chuàng)建網(wǎng)絡(luò)模型，基于特定待識(shí)別目標(biāo)訓(xùn)練模型，并評(píng)估訓(xùn)練模型的性能;推理驗(yàn)證即指在新圖像集上應(yīng)用訓(xùn)練好的模型。焊縫定位算法流程如圖3所示。

2.1 焊縫定位網(wǎng)絡(luò)模型訓(xùn)練

基于深度學(xué)習(xí)目標(biāo)檢測(cè)方法的焊縫定位算法要求有充足的焊縫圖像樣本，樣本中包括不同形狀、亮度的焊縫，然后對(duì)圖像中的焊縫進(jìn)行標(biāo)注，基于FPN網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)建和訓(xùn)練焊縫定位模型，以及優(yōu)化網(wǎng)絡(luò)模型等。

訓(xùn)練用于焊縫目標(biāo)檢測(cè)的深度學(xué)習(xí)網(wǎng)絡(luò)使用的計(jì)算機(jī)硬件配置為：CPU型號(hào)Intel Corei7-6700HQ，GPU型號(hào)NVIDIA GeForce GTX 1060，運(yùn)行內(nèi)存為6 GB，固態(tài)硬盤存儲(chǔ)容量為256 GB，內(nèi)存為金士頓 DDR4，參數(shù)為8 GB@ 2 400 MHz。軟件參數(shù)如表1所示。

軟硬件的合理配置可確保網(wǎng)絡(luò)模型訓(xùn)練的順利進(jìn)行。焊縫圖像樣本數(shù)據(jù)集共444張圖像，其中測(cè)試集為65張，約占總圖像數(shù)量的12%，剩余379張圖像用于焊縫定位網(wǎng)絡(luò)模型訓(xùn)練，經(jīng)統(tǒng)計(jì)，總體識(shí)別準(zhǔn)確率為78.8%，如圖4所示，焊縫識(shí)別效果不太理想，需要進(jìn)一步優(yōu)化網(wǎng)絡(luò)模型。

2.2 網(wǎng)絡(luò)模型優(yōu)化

通過分析上面網(wǎng)絡(luò)模型訓(xùn)練結(jié)果，對(duì)樣本圖像數(shù)據(jù)進(jìn)行調(diào)整，重新對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，在訓(xùn)練中將訓(xùn)練圖像增加到696張，焊縫定位識(shí)別準(zhǔn)確率增加到95%。初始網(wǎng)絡(luò)模型訓(xùn)練后焊縫識(shí)別結(jié)果及網(wǎng)絡(luò)模型優(yōu)化后焊縫識(shí)別結(jié)果統(tǒng)計(jì)如表2所示。

識(shí)別準(zhǔn)確率的提升反應(yīng)到焊縫圖像中即為準(zhǔn)確的焊縫定位，定位效果如圖5所示。圖中紅色矩形框中的區(qū)域便是網(wǎng)絡(luò)模型優(yōu)化后定位識(shí)別的焊縫區(qū)域，該區(qū)域很好地覆蓋了焊縫位置，雖然工件右側(cè)受到強(qiáng)光干擾，半塊工件反光嚴(yán)重，不過坡口中焊縫位置依然準(zhǔn)確。綜上所述，充足數(shù)量的訓(xùn)練樣本可以提升網(wǎng)絡(luò)模型的訓(xùn)練效果。

3 缺陷識(shí)別

工件中的焊縫缺陷根據(jù)特征不同分別應(yīng)用深度學(xué)習(xí)目標(biāo)檢測(cè)和語義分割兩種方法進(jìn)行識(shí)別。焊縫圖像中焊瘤缺陷輪廓的圓度較高并且通常與焊縫分離，因此使用深度學(xué)習(xí)目標(biāo)檢測(cè)的方法進(jìn)行識(shí)別定位。焊縫上的氣孔、凹坑缺陷因?yàn)榕c焊縫融合并且邊緣輪廓不規(guī)則，采用深度學(xué)習(xí)語義分割方法進(jìn)行識(shí)別定位。針對(duì)這兩種缺陷識(shí)別方案進(jìn)行了實(shí)驗(yàn)研究。

3.1 應(yīng)用深度學(xué)習(xí)目標(biāo)檢測(cè)法實(shí)現(xiàn)缺陷識(shí)別

在采用深度學(xué)習(xí)目標(biāo)檢測(cè)方法進(jìn)行焊縫定位識(shí)別的過程中，標(biāo)注焊縫的同時(shí)可以將焊瘤缺陷與斷續(xù)焊縫（定義為不合格缺陷，見圖6）一起標(biāo)注出來，具體標(biāo)注數(shù)量如表3所示。通過網(wǎng)絡(luò)模型訓(xùn)練，在實(shí)現(xiàn)焊縫定位識(shí)別的同時(shí)也實(shí)現(xiàn)了焊瘤及不合格缺陷的定位識(shí)別。

統(tǒng)計(jì)網(wǎng)絡(luò)模型訓(xùn)練結(jié)果得出，焊瘤缺陷識(shí)別準(zhǔn)確率為80%、不合格類型識(shí)別準(zhǔn)確率為67%。通過不斷優(yōu)化訓(xùn)練數(shù)據(jù)集，焊瘤識(shí)別準(zhǔn)確率由80%提高到98%，不合格缺陷識(shí)別準(zhǔn)確率由67%提高到78%，焊瘤與不合格缺陷識(shí)別效果如圖7所示。

圖7中白色框選范圍內(nèi)是通過網(wǎng)絡(luò)模型識(shí)別的缺陷位置。上面焊縫中共有4個(gè)焊瘤缺陷，都被準(zhǔn)確地識(shí)別出來;下面焊縫屬于不合格缺陷，框選區(qū)域表明對(duì)這類缺陷有良好的識(shí)別定位效果。

3.2 應(yīng)用深度學(xué)習(xí)語義分割法實(shí)現(xiàn)缺陷識(shí)別

在完整識(shí)別焊縫的基礎(chǔ)上對(duì)焊縫上存在的氣孔、凹坑缺陷進(jìn)行下一步的識(shí)別，此時(shí)就需要借助深度學(xué)習(xí)的語義分割方法。氣孔、凹坑缺陷邊緣較為清晰，但是邊界形態(tài)各異，深度學(xué)習(xí)語義分割的方法可以細(xì)化每個(gè)像素的分類，較適用于邊緣不規(guī)則缺陷的識(shí)別。凹坑缺陷及標(biāo)注示意如圖8所示，氣孔缺陷與標(biāo)注后效果示意如圖9所示。

深度學(xué)習(xí)語義分割方法的工作流程同樣包括準(zhǔn)備數(shù)據(jù)、網(wǎng)絡(luò)模型訓(xùn)練、推理驗(yàn)證三部分，其中準(zhǔn)備數(shù)據(jù)包括采集焊縫圖像、圖像中氣孔及凹坑的標(biāo)注。語義分割方法要求圖像標(biāo)注精確度較高，達(dá)到像素級(jí)標(biāo)注，可以從根本上解決邊緣不貼合目標(biāo)、背景信息過多等問題。實(shí)驗(yàn)中標(biāo)注完成的訓(xùn)練圖像共430張，推理驗(yàn)證數(shù)據(jù)集共73張圖像。

深度學(xué)習(xí)語義分割方法通常采用交并比均值（MIoU）和像素精度均值（MPA）作為算法衡量標(biāo)準(zhǔn)。其中MIoU是將焊縫中每一類（背景、氣孔、凹坑）的交并比求平均值。每一類的交并比是屬于該類的實(shí)際像素集合與預(yù)測(cè)像素集合的交集和并集之比。焊縫圖像分為背景、氣孔、凹坑3類（k=0，1，2），MIoU的計(jì)算公式如式（1）所示

式中 pij表示本屬于類i但被預(yù)測(cè)為類j的像素?cái)?shù)量，pii為預(yù)測(cè)正確的像素?cái)?shù)量，pji表示本屬于類j但被預(yù)測(cè)為類i的像素?cái)?shù)量。交并比均值是簡單、高效的衡量缺陷識(shí)別準(zhǔn)確程度的參數(shù)[9]。

準(zhǔn)確率均值是指分別計(jì)算背景、氣孔、凹坑3類中每個(gè)類別分類正確的像素?cái)?shù)和該類所有像素?cái)?shù)的比例然后求平均。MPA的計(jì)算公式如式（2）所示。

語義分割方法同樣基于FPN網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)建和訓(xùn)練網(wǎng)絡(luò)模型，訓(xùn)練后獲得交并比均值MIoU為0.582 （MIoU>0.5），準(zhǔn)確率均值MPA為0.683（MPA>0.5），表明網(wǎng)絡(luò)模型滿足要求。

基于語義分割方法網(wǎng)絡(luò)模型訓(xùn)練氣孔與凹坑兩類缺陷的識(shí)別準(zhǔn)確率約為91.8%，體現(xiàn)出了語義分割方法在焊縫缺陷識(shí)別上的良好效果。焊縫氣孔和凹坑識(shí)別效果如圖10所示。

4 結(jié)論

（1）采用深度學(xué)習(xí)目標(biāo)檢測(cè)法識(shí)別并定位焊縫，基于FPN網(wǎng)絡(luò)結(jié)構(gòu)創(chuàng)建和訓(xùn)練焊縫定位模型，通過增加圖像數(shù)據(jù)集優(yōu)化定位模型，焊縫定位識(shí)別準(zhǔn)確率達(dá)到95%。

（2）采用深度學(xué)習(xí)目標(biāo)檢測(cè)法實(shí)現(xiàn)了焊瘤和不合格缺陷識(shí)別，通過優(yōu)化訓(xùn)練數(shù)據(jù)集，焊瘤識(shí)別準(zhǔn)確率達(dá)到98%，不合格缺陷識(shí)別準(zhǔn)確率達(dá)到78%。

（3）采用深度學(xué)習(xí)語義分割方法進(jìn)行了焊縫氣孔和凹坑兩類缺陷的識(shí)別，識(shí)別準(zhǔn)確率約為91.8%。

參考文獻(xiàn)：

[1]Edwards G R. Inspection of welded joints[M]. ASM handbook welding， brazing and soldering，ASM International，1993（6）：1081-1088.

[2]范立南，韓曉微，張廣淵. 圖像處理與模式識(shí)別[M]. 北京：科學(xué)出版社，2007：1-2.

[3]蘇賦，呂沁，羅仁澤.基于深度學(xué)習(xí)的圖像分類研究綜述[J]. 電信科學(xué)，2019，35（11）：58-74.

[4]顧佳晨，高雷，劉路璐.基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在冷軋表面缺陷檢測(cè)中的應(yīng)用[J]. 冶金自動(dòng)化，2019，43（6）：19-22，27.

[5]侯文慧. 基于深度學(xué)習(xí)的焊縫圖像缺陷識(shí)別方法研究[D]. 安徽：中國科學(xué)技術(shù)大學(xué)，2019.

[6]凌晨，張?chǎng)瓮?，馬雷.基于Mask R-CNN算法的遙感圖像處理技術(shù)及其應(yīng)用[J]. 計(jì)算機(jī)科學(xué)，2020，47（10）：151-160.

[7]劉艷飛，丁樂樂，孟凡效，等.深度辨別性增強(qiáng)網(wǎng)絡(luò)高分影像語義分割[J]. 遙感信息，2021，36（2）：24-31.

[8]程龍.基于特征融合的目標(biāo)檢測(cè)算法研究[D].北京：北京郵電大學(xué)，2020.

[9]曠視科技數(shù)據(jù)業(yè)務(wù)團(tuán)隊(duì). 計(jì)算機(jī)視覺圖像與視頻數(shù)據(jù)標(biāo)注[M]. 北京：人民郵電出版社，2020.