深度學(xué)習(xí)在焊縫缺陷檢測的應(yīng)用研究綜述

王靖然　王桂棠　楊波　王志剛　符秦沈　楊圳

摘要：焊縫缺陷的檢測在石油化工等領(lǐng)域是極其關(guān)鍵的環(huán)節(jié)，焊接質(zhì)量的好壞直接影響到結(jié)構(gòu)的使用性能。對于X射線焊縫圖像評定，目前采用的人工評片受到多種主觀因素的影響，導(dǎo)致漏檢或錯(cuò)檢情況相對較高。近年來，隨著工業(yè)智能檢測技術(shù)的發(fā)展，深度學(xué)習(xí)在圖像特征學(xué)習(xí)中的獨(dú)特優(yōu)勢使其在缺陷自動(dòng)檢測中具備重要的實(shí)用價(jià)值。綜述了以神經(jīng)網(wǎng)絡(luò)技術(shù)為代表的深度學(xué)習(xí)模型在焊縫缺陷檢測方面的研究進(jìn)展，詳細(xì)分析了基于卷積神經(jīng)網(wǎng)絡(luò)和Faster R-CNN網(wǎng)絡(luò)的工業(yè)設(shè)備焊縫缺陷自動(dòng)檢測的理論模型及其優(yōu)缺點(diǎn)，并對焊縫缺陷自動(dòng)檢測技術(shù)的發(fā)展進(jìn)行了展望。

關(guān)鍵詞：焊縫缺陷;卷積神經(jīng)網(wǎng)絡(luò);Faster R-CNN網(wǎng)絡(luò);自動(dòng)檢測

中圖分類號：TG409 文獻(xiàn)標(biāo)志碼：A

文章編號：1009—9492（2021）03—0065—04

0引言

隨著我國工業(yè)化程度的不斷提高，焊接技術(shù)已廣泛應(yīng)用到承壓容器、冶金工業(yè)、石油化工等各個(gè)領(lǐng)域，工業(yè)設(shè)備焊接質(zhì)量的好壞直接影響焊接結(jié)構(gòu)的使用性能和壽命。由于生產(chǎn)工藝和焊接環(huán)境等因素影響，工業(yè)設(shè)備焊縫位置在制造和使用過程中容易產(chǎn)生各類焊接缺陷，依照焊縫位置的不同可分為內(nèi)部缺陷（裂紋、圓形缺陷、未熔合、未焊透等）和表面缺陷（咬邊、燒穿等）。對于表面缺陷可以通過視覺檢測方法直接識別焊縫缺陷類型和損傷程度，而焊縫內(nèi)部缺陷則需要借助其他無損檢測技術(shù)進(jìn)行缺陷識別和研判，如脈沖超聲檢測技術(shù)（UT）X射線檢測技術(shù)（RT）和渦流檢測技術(shù)（ET）等。其中RT由于可以準(zhǔn)確識別缺陷的位置和長度，在焊縫缺陷檢測中應(yīng)用最為廣泛。目前RT的缺陷定性、定量主要還是依賴人工的評定法，包括人工評片和機(jī)器視覺等。人工評片受評片人員的專業(yè)水平和身體狀況等主觀因素影響，容易造成缺陷漏檢或誤判等情況;機(jī)器視覺廣泛應(yīng)用于焊縫圖像的缺陷分割，主要是針對人工選取的特征進(jìn)行提取和分析，這不僅依賴于人工選定，且對某些缺陷難選出優(yōu)質(zhì)的特征，當(dāng)所提取的特征質(zhì)量不佳時(shí)，就得不到較高的識別準(zhǔn)確率。

為了降低依賴人工評定法的主觀性、差異性，研究焊縫缺陷自動(dòng)檢測系統(tǒng)成為重要的研究方向。近年來，將深度學(xué)習(xí)的圖像特征自動(dòng)學(xué)習(xí)應(yīng)用于工業(yè)設(shè)備焊縫缺陷檢測成為主流研究方向。目前主要包含卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）和Faster R-CNN兩種網(wǎng)絡(luò)模型，通過利用算法模型自動(dòng)學(xué)習(xí)的特點(diǎn)，自動(dòng)提取焊縫缺陷，實(shí)現(xiàn)焊縫缺陷的自動(dòng)檢測。一方面，其方法避免了傳統(tǒng)算法中人工提取特征的局限性和復(fù)雜性;另一方面，深度學(xué)習(xí)在自然語言處理、圖像分類和物體檢測等領(lǐng)域獲得了廣泛應(yīng)用，為深度學(xué)習(xí)在焊縫缺陷檢測中的應(yīng)用奠定基礎(chǔ)。

本文針對目前主流的基于深度學(xué)習(xí)技術(shù)的焊縫缺陷檢測模型進(jìn)行了歸納總結(jié)。先后對基于深度學(xué)習(xí)技術(shù)的焊縫缺陷檢測的相關(guān)模型進(jìn)行詳細(xì)論述，隨后對基于深度學(xué)習(xí)的焊縫缺陷自動(dòng)檢測模型進(jìn)行了總結(jié)和展望。

1焊縫缺陷檢測模型

目前深度學(xué)習(xí)技術(shù)的很多模型都被應(yīng)用在焊縫缺陷圖像中，其中應(yīng)用比較廣泛的包括卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）和Faster R-CNN兩種網(wǎng)絡(luò)模型。

1.1卷積神經(jīng)網(wǎng)絡(luò)

CNN最早由Yann于1998年提出，可以自動(dòng)提取圖像的顏色、邊緣和紋理等特征，避免了傳統(tǒng)算法中復(fù)雜的特征提取過程，并且在扭曲不變性應(yīng)用上具有良好的魯棒性。在CNN中，主要包括3種網(wǎng)絡(luò)層：卷積層（Convolutions）、下采樣層（Subsampling）和全連接層（Fully Connection）。

卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵部分在于感受野、權(quán)值共享和下采樣層。神經(jīng)元只需要感知圖像局部特征即可，然后綜合不同的局部神經(jīng)元得到全局信息，減少了神經(jīng)元連接的數(shù)目，降低模型復(fù)雜度。權(quán)值共享就是對圖像用同樣的卷積核進(jìn)行卷積操作，因此可以檢測到不同位置的同一類型特征，既有較好的平移不變性，同時(shí)也減少了訓(xùn)練參數(shù)量，提高了模型的運(yùn)算速率。下采樣層可以降低特征維度同時(shí)保留有用信息，防止過擬合。

1.2 Faster R-CNN網(wǎng)絡(luò)

Faster R-CNN網(wǎng)絡(luò)在2016年被Ren s等提出，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，整體檢測框架為：

（1）原始圖像先經(jīng)過CNN層進(jìn)行特征提取，得到特征圖;

（2）特征圖分為兩部分，一部分特征圖進(jìn)入RPN層產(chǎn)生區(qū)域建議框;

（3）將區(qū)域建議框映射到另一部分特征圖上，輸入到RoI pooling層，輸出RoI特征圖;

（4）對RoI特征圖進(jìn)行分類和邊框回歸。

Faaer R-CNN網(wǎng)絡(luò)實(shí)現(xiàn)了區(qū)域推薦網(wǎng)絡(luò)（RPN）和Fast R-CNN檢測網(wǎng)絡(luò)共享同一特征圖，解決了R-CNN對region進(jìn)行特征提取時(shí)的重復(fù)計(jì)算和Fast R-CNN找出所有候選框的耗時(shí)計(jì)算問題。Faster R-CNN將區(qū)域建議和Fast R-CNN融入到一個(gè)網(wǎng)絡(luò)模型中，實(shí)現(xiàn)了端到端的目標(biāo)檢測，大幅提升了檢測精度和效率。

2焊縫缺陷檢測方法

2.1基于卷積神經(jīng)網(wǎng)絡(luò)

Li等在AlexNet模型的基礎(chǔ)上根據(jù)焊縫的缺陷特征進(jìn)行了微調(diào)，通過對比了其他經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)，其中AlexNet的分類準(zhǔn)確率最高達(dá)到97%。

Liu等提出了一種基于VGGl6的全卷積結(jié)構(gòu)對焊縫缺陷圖像進(jìn)行分類，以較小的數(shù)據(jù)集就能實(shí)現(xiàn)了氣孔和裂紋兩類缺陷的高精度識別，其訓(xùn)練集和驗(yàn)證集的準(zhǔn)確度在45 000步（10個(gè)epoch）后趨于100%，測試集的精度也達(dá)到了97.6%。

Li等設(shè)計(jì)了一個(gè)6級10層的卷積神經(jīng)網(wǎng)絡(luò)，通過分割定義出一個(gè)疑似缺陷區(qū)域（SuspectedDefectRegion，SDR）圖像，將SDR圖像作為CNN的輸入可使缺陷的平均識別率提高到98.8%。

Hou等提出了深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）模型，該模型使用Sofimax算子進(jìn)行微調(diào)，并且比較了3種重采樣方法解決缺陷樣本不平衡問題的效果。實(shí)驗(yàn)結(jié)果表明該模型學(xué)到的DCNN特征比傳統(tǒng)手工特征和堆疊稀疏自動(dòng)編碼器（SSAE）特征具有更好的分類能力，SMOTE重采樣方法能夠更好地解決分類不平衡的問題，缺陷分類準(zhǔn)確率達(dá)到97.2%。

Liu等提出了一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（CNNs）和長短期記憶網(wǎng)絡(luò)（LSTM）的CNN-LSTM算法，如圖2所示。首先CNN提取熔池圖像特征，轉(zhuǎn)化為特征矩陣后送入到LSTM網(wǎng)絡(luò)進(jìn)行特征融合分類。實(shí)驗(yàn)結(jié)果表明，焊接熔池缺陷檢測精度達(dá)94%，單幅圖像處理時(shí)間為0.067ms，完全滿足基于熔池圖像的實(shí)時(shí)監(jiān)測要求。

Fan等在CNN模型中使用ELU激活函數(shù)使模型訓(xùn)練時(shí)有更好的魯棒性，同時(shí)利用超像素分割（SLIC）算法對圖像像素進(jìn)行像素塊處理，增大了焊縫圖像中感興趣區(qū)域的占比，提高模型的特征提取能力。實(shí)驗(yàn)表明該方法對4種類型的焊縫缺陷圖像整體識別準(zhǔn)確率達(dá)到97.8%。

Gu等提出一種多尺度壓縮激勵(lì)網(wǎng)絡(luò)模型（SINet），將卷積模塊與Inception模塊、壓縮激勵(lì)模塊（SEblock）相結(jié)合進(jìn)行多尺度融合和特征重標(biāo)定提高缺陷識別準(zhǔn)確率，并且采用深度卷積對抗生成網(wǎng)絡(luò)（DCGAN）擴(kuò)充數(shù)據(jù)集，最終在測試集上準(zhǔn)確率達(dá)到96.77%。

Jiang等提出將隨機(jī)森林與CNN相結(jié)合，強(qiáng)化了特征提取能力，同時(shí)根據(jù)焊縫缺陷特征提出了一種綜合考慮池化域與所在特征圖分布的池化模型，使得池化模型具有一定的動(dòng)態(tài)自適應(yīng)性。實(shí)驗(yàn)表明比傳統(tǒng)CNN方法有更高的識別率。

Agus Khumaidi等使用卷積神經(jīng)網(wǎng)絡(luò)和高斯核的方法對4種不同類型的焊縫缺陷進(jìn)行識別，準(zhǔn)確率達(dá)到了95.83%。

Daniel Bacioiu等使用能夠抵消強(qiáng)大弧光的HDR攝像機(jī)組成的視覺系統(tǒng)捕獲焊縫圖像，并構(gòu)建了基于CNN和FCN的分類模型，分別采用6種缺陷、4種缺陷和2種缺陷數(shù)據(jù)集對模型進(jìn)行訓(xùn)練，其最高識別精度分別為71%、89%和95%。

Huang等使用生成對抗網(wǎng)絡(luò)擴(kuò)充數(shù)據(jù)集，并且對輕量卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行Dropblock和全局平均池化優(yōu)化，有效提高了焊縫缺陷識別的準(zhǔn)確率和泛化能力。

Seungmin Shin等提出了一種基于深度神經(jīng)網(wǎng)絡(luò)（DNN）的無損檢測方法，基于焊接電壓信號實(shí)時(shí)檢測和預(yù)測氣孔缺陷。經(jīng)實(shí)驗(yàn)對比，基于DNN框架比人工神經(jīng)網(wǎng)絡(luò)（ANN）模型的性能高15%。

基于卷積神經(jīng)網(wǎng)絡(luò)的方法主要是增加卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)以及與其他模型進(jìn)行融合，從而克服原來網(wǎng)絡(luò)結(jié)構(gòu)簡單、特區(qū)特征類別單一的缺點(diǎn)，增強(qiáng)網(wǎng)絡(luò)對焊縫缺陷特征的提取能力，使模型達(dá)到更高的識別準(zhǔn)確率。但是也增加了模型的參數(shù)量，導(dǎo)致模型訓(xùn)練時(shí)間增加。

2.2基于Faster R-CNN網(wǎng)絡(luò)

Du等采用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）代替Faster R-CNN原來的特征融合方式，mAP值提高了40.7%;RoIAlign代替原來的RoI pooling方式，消除了量化誤差，準(zhǔn)確率提高了23.6%，同時(shí)對圖像使用了旋轉(zhuǎn)、裁剪等數(shù)據(jù)增強(qiáng)算法，提高了模型的檢測精度。

Max Ferguson等提出了一種基于掩模區(qū)域CNN（Mask R-CNN）的鑄造缺陷識別系統(tǒng)，在Faster R-CNN基礎(chǔ)上多出分割分支，如圖3所示。該缺陷檢測系統(tǒng)同時(shí)對輸入圖像進(jìn)行缺陷檢測和分割，適用于多種缺陷檢測任務(wù)。結(jié)果表明，訓(xùn)練網(wǎng)絡(luò)同時(shí)進(jìn)行缺陷檢測和缺陷實(shí)例分割，比單純訓(xùn)練缺陷檢測具有更高的缺陷檢測精度，同時(shí)利用遷移學(xué)習(xí)減少對訓(xùn)練數(shù)據(jù)的需求，提高訓(xùn)練模型的預(yù)測精度。

Chang等采用FasterR-CNN，通過GT包圍盒的長寬比重新選定anchor大小以及對訓(xùn)練集進(jìn)行圖像增強(qiáng)，獲得工業(yè)CT缺陷檢測模型。實(shí)驗(yàn)結(jié)果表明該模型可以快速準(zhǔn)確地標(biāo)出裂紋、夾渣和氣泡的位置，檢測準(zhǔn)確率高達(dá)96%，平均每張圖片的總檢測時(shí)間為166 ms。

Guo等對數(shù)據(jù)集進(jìn)行了預(yù)處理，經(jīng)過實(shí)驗(yàn)對比發(fā)現(xiàn)采用自適應(yīng)直方圖均衡化（AHE）增強(qiáng)圖像和雙中值模糊（DMB）降噪可以使基于Resnetm]提取圖像特征的Faster R-CNN模型的mAP達(dá)到58.6%。

Zhong等使用Unet網(wǎng)絡(luò)和Resnet網(wǎng)絡(luò)作為特征提取器使得Faster R-CNN模型具有更深的神經(jīng)網(wǎng)絡(luò)，圖像的特征提取能力增強(qiáng)。如表1所示，改進(jìn)后的模型對裂痕識別率達(dá)到98%，對氣孔識別率達(dá)到了97.1%。

Qu等針對小尺度目標(biāo)檢測不準(zhǔn)確的問題對Faster R-CNN進(jìn)行優(yōu)化，再使用Resnet代替VGGNet進(jìn)行特征提取，均值平均準(zhǔn)確率（mAP）達(dá)到62.4%。基于Faster R-CNN的方法主要是進(jìn)行了模型融合，單一的網(wǎng)絡(luò)模型往往不能提取所有的有用特征信息，采用多個(gè)模型進(jìn)行融合的方式可以充分利用各個(gè)模型的優(yōu)勢提取多維特征，增加了更多細(xì)節(jié)信息，從而提高了模型的識別率。但是也存在模型設(shè)計(jì)困難和達(dá)不到預(yù)期性能等問題。

3結(jié)束語

本文對近年來提出的基于深度學(xué)習(xí)的焊縫缺陷自動(dòng)檢測方法進(jìn)行了歸納和總結(jié)。

（1）傳統(tǒng)的人工提取焊縫缺陷特征識別算法的魯棒性不強(qiáng)、泛化能力差，并且檢驗(yàn)人員的主觀因素可能會降低識別準(zhǔn)確率。深度學(xué)習(xí)與傳統(tǒng)方法相比優(yōu)勢明顯，深度網(wǎng)絡(luò)可以自動(dòng)從數(shù)據(jù)中學(xué)習(xí)并更新網(wǎng)絡(luò)參數(shù)，使其具有強(qiáng)大的特征學(xué)習(xí)能力。目前在深度學(xué)習(xí)模型自動(dòng)識別焊縫缺陷方面大多采用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)和改進(jìn)的Faster R-CNN網(wǎng)絡(luò)這兩種模型，缺陷識別準(zhǔn)確率高。

（2）基于卷積神經(jīng)網(wǎng)絡(luò)的方法雖然準(zhǔn)確率相比與傳統(tǒng)方法得到了顯著提高，但并沒有在焊縫圖像中定位出缺陷的位置。而基于Faster R-CNN的方法雖然框出了缺陷的位置，但只對某類缺陷識別率高，整體的識別準(zhǔn)確率不高。

（3）基于深度學(xué)習(xí)的焊縫缺陷智能檢測算法目前只能對焊縫缺陷進(jìn)行定性分析，而實(shí)際檢測過程中要依據(jù)國家標(biāo)準(zhǔn)對焊縫缺陷進(jìn)行定性分析，所以離工業(yè)應(yīng)用還有一定的差距，目前可以作為輔助人工檢測的技術(shù)手段。

深度學(xué)習(xí)技術(shù)在焊縫缺陷檢測領(lǐng)域未來的研究工作可以從以下幾個(gè)方面展開。

（1）引入無監(jiān)督學(xué)習(xí)來進(jìn)行焊縫缺陷的自動(dòng)識別。目前大多數(shù)深度學(xué)習(xí)模型，如卷積神經(jīng)網(wǎng)絡(luò)，都需要有標(biāo)簽的數(shù)據(jù)來進(jìn)行監(jiān)督學(xué)習(xí)，而大量的缺陷圖像標(biāo)記是一個(gè)難題。

（2）將生成式對抗網(wǎng)絡(luò)（GAN）引入焊縫缺陷圖像，擴(kuò)大數(shù)據(jù)集，進(jìn)一步提高缺陷的準(zhǔn)確識別率。目前公開的焊縫缺陷數(shù)據(jù)集只有GDXray，且其焊縫缺陷數(shù)據(jù)量少。未來解決圖像數(shù)據(jù)缺乏的問題，不僅可以使用圖像增強(qiáng)、遷移學(xué)習(xí)等技術(shù)，還可以使用生成式對抗網(wǎng)絡(luò)生成焊縫缺陷圖像，進(jìn)一步提高焊縫缺陷自動(dòng)識別的精確度和準(zhǔn)確度。

（3）用深度學(xué)習(xí)進(jìn)行定性分析后，可以采用傳統(tǒng)圖像處理算法對缺陷進(jìn)行提取進(jìn)一步做定量分析。