深度遷移學(xué)習(xí)下的船舶焊接表面缺陷智能檢測(cè)系統(tǒng)

胡曉軒， 甄希金， 朱 琦， 王 浩

(1.上海船舶工藝研究所，上海 200032；2.上海申博信息系統(tǒng)工程有限公司，上海 200032)

0 引 言

船舶焊接占船舶制造30%～40%的工作量[1]，在中小組立生產(chǎn)線上存在多種工藝類型的焊接，大致可分為手工焊、機(jī)器焊、機(jī)器人焊，每一種工藝類型所產(chǎn)生的焊接表面質(zhì)量不一，基本采用人工檢查，工作量較大且檢測(cè)準(zhǔn)確度依賴人工經(jīng)驗(yàn)，檢測(cè)效率不高。

近年來(lái)，隨著人工智能中的深度遷移學(xué)習(xí)框架的快速發(fā)展，基于圖像的缺陷目標(biāo)檢測(cè)越來(lái)越多應(yīng)用于各行各業(yè)。劉夢(mèng)溪等[2-3]通過(guò)改進(jìn)深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)結(jié)構(gòu)及算法，提高焊接缺陷識(shí)別率達(dá)93.26%；HOU等[4]在神經(jīng)網(wǎng)絡(luò)的改進(jìn)過(guò)程中使用時(shí)滯細(xì)胞神經(jīng)網(wǎng)絡(luò)(Delayed Cellular Neural Network，DCNN)模型對(duì)x-射線焊接缺陷分類，分別為小孔、裂紋、未熔合、未焊透，識(shí)別率為97.2%。結(jié)果表明深度學(xué)習(xí)對(duì)焊接特征識(shí)別具有較高精度。

1 總體設(shè)計(jì)

焊接表面缺陷均含有獨(dú)有的特征，首先需要采集大量手工焊和機(jī)器人焊的圖像樣本，對(duì)表面特征進(jìn)行分析；然后通過(guò)選擇合適的深度遷移學(xué)習(xí)方法，設(shè)計(jì)合理的深度遷移學(xué)習(xí)模型作為模型層；最后建立船舶焊接表面缺陷智能檢測(cè)系統(tǒng)，在系統(tǒng)中調(diào)用檢測(cè)算法，實(shí)現(xiàn)焊接表面缺陷的批量檢測(cè)。

根據(jù)船廠的生產(chǎn)制造特點(diǎn)，提出以車間焊接中小組立生產(chǎn)線為對(duì)象的研究框架(見(jiàn)圖1)，通過(guò)現(xiàn)場(chǎng)專用攝像機(jī)采集焊接表面圖像數(shù)據(jù)，這些樣本數(shù)據(jù)一部分作為訓(xùn)練集，一部分作為測(cè)試集，傳輸至上層的船舶焊接表面缺陷智能檢測(cè)系統(tǒng)，進(jìn)行模型的深度遷移學(xué)習(xí)；完成訓(xùn)練的模型經(jīng)部署可使用日常的采樣數(shù)據(jù)進(jìn)行再學(xué)習(xí)，不斷優(yōu)化檢測(cè)模型，檢測(cè)結(jié)果通過(guò)船舶焊接表面缺陷智能檢測(cè)系統(tǒng)進(jìn)行展示。

圖1 深度遷移學(xué)習(xí)下的船舶焊接表面缺陷智能檢測(cè)系統(tǒng)研究框架

2 深度遷移學(xué)習(xí)下的船舶焊接缺陷目標(biāo)檢測(cè)方法

2.1 深度遷移學(xué)習(xí)

深度學(xué)習(xí)對(duì)數(shù)據(jù)具有較大的依賴性，在焊接機(jī)器人領(lǐng)域，由于工況較復(fù)雜且成本高，難以獲取數(shù)量龐大的標(biāo)注數(shù)據(jù)集，因此在很大程度上限制深度學(xué)習(xí)的使用和發(fā)展，而結(jié)合遷移學(xué)習(xí)則可作為解決焊接缺陷學(xué)習(xí)樣本不足的手段之一。根據(jù)深度遷移學(xué)習(xí)中的不同遷移學(xué)習(xí)技術(shù)，可將深度遷移學(xué)習(xí)分為4類：基于實(shí)例(Instance-based，IB)深度遷移學(xué)習(xí)、基于映射(Mapping-based，MB)深度遷移學(xué)習(xí)、基于網(wǎng)絡(luò)(Network-based，NB)深度遷移學(xué)習(xí)和基于對(duì)抗(Adversarial-based，AB)深度遷移學(xué)習(xí)。

2.2 船舶焊接缺陷目標(biāo)檢測(cè)

SqueezeNet[5]、MobileNet[6]、Xception[7]、ShuffleNet[8]、MobileNet V2[9]、ShuffleNet V2[10]等屬于較輕量級(jí)模型，在優(yōu)化CNN卷積層計(jì)算方式上起到作用，較大程度地提高CNN的效率。以MobileNet V2模型和焊接缺陷圖像特征引入DropBlock方法優(yōu)化神經(jīng)網(wǎng)絡(luò)，生成DBMobileNet V2[11]模型，基于該模型進(jìn)行焊接表面缺陷目標(biāo)檢測(cè)及焊接表面質(zhì)量評(píng)估。

根據(jù)《承壓設(shè)備無(wú)損檢測(cè)》和《鋼的弧焊接頭缺陷質(zhì)量分級(jí)指南》，常見(jiàn)焊接缺陷類型包括裂紋、焊瘤、焊穿、弧坑、氣孔、夾渣、咬邊、未熔合、未焊透等，如圖2所示。

圖2 常見(jiàn)焊接缺陷類型

圖像類別可通過(guò)圖像分類任務(wù)進(jìn)行區(qū)分。目標(biāo)檢測(cè)是對(duì)圖像中的某類別物體進(jìn)行標(biāo)記，用邊界框標(biāo)記物體的位置和大小。目標(biāo)檢測(cè)算法分為3類：?jiǎn)渭?jí)(one-stage)類，包括YOLO V1、SSD、YOLO V2、RetinaNet和YOLO V3；雙級(jí)(two-stage)類，包括Fast R-CNN和Faster R-CNN；多級(jí)(multi-stage)類，包括R-CNN和SPP-Net。在檢測(cè)速度測(cè)試中，單級(jí)類算法較為優(yōu)異，但在檢測(cè)準(zhǔn)確度方面不及雙級(jí)類，而多級(jí)類已逐漸被邊緣化。

2.3 YOLO V3算法

YOLO V3算法是YOLO算法和YOLO V2算法的改進(jìn)版。YOLO V3算法在COCO數(shù)據(jù)集上均值平均精度(mean Average Precision，mAP)的指標(biāo)mAP-50比YOLO V2算法高13.9%，檢測(cè)速度是R-CNN算法的1 000倍、Fast R-CNN算法的100倍，在輸入尺寸為416×416像素時(shí)檢測(cè)速度可達(dá)29 ms/frame。

Darknet-53是YOLO V3算法的主干網(wǎng)絡(luò)，主要用于特征提取，采用Leaky ReLU作為激活函數(shù)，通過(guò)使用殘差網(wǎng)絡(luò)提高特征提取的準(zhǔn)確率。針對(duì)船舶焊接表面缺陷目標(biāo)較小的情況，在YOLO V3算法中，YOLO負(fù)責(zé)對(duì)焊接缺陷圖像尺寸進(jìn)行預(yù)測(cè)，Darknet-53用于提取缺陷特征。經(jīng)多尺寸卷積和上采樣，Darknet-53輸出特征圖，進(jìn)行標(biāo)準(zhǔn)卷積運(yùn)算。經(jīng)Darknet-53特征提取處理的焊接表面缺陷預(yù)測(cè)圖像如圖3所示。

圖3 焊接表面缺陷預(yù)測(cè)圖像

對(duì)于焊接缺陷而言，YOLO V3算法在特征提取部分采用提取多特征層進(jìn)行目標(biāo)檢測(cè)：特征層分為3層，即位于Darknet-53的中間層(52,52,256)、中下層(26,26,512)和底層(13,13,1024)；焊接圖像分為13×13網(wǎng)格、26×26網(wǎng)格和52×52網(wǎng)格，每個(gè)網(wǎng)絡(luò)點(diǎn)負(fù)責(zé)1個(gè)區(qū)域?qū)附尤毕葸M(jìn)行檢測(cè)，預(yù)測(cè)結(jié)果對(duì)應(yīng)3個(gè)預(yù)測(cè)框，通過(guò)reshape函數(shù)得到結(jié)果為(N,13,13,3,85)、(N,26,26,3,85)和(N,52,52,3,85)。YOLO V3算法通過(guò)解碼將每個(gè)網(wǎng)絡(luò)點(diǎn)加上其對(duì)應(yīng)的偏移量x_offset和y_offset得到預(yù)測(cè)框的中心，再計(jì)算預(yù)測(cè)框的長(zhǎng)和寬，即可得到焊接缺陷的具體位置。激活函數(shù)可在模型上增加標(biāo)簽，在焊接檢測(cè)中可將氣孔、夾渣等作為標(biāo)簽，從而使模型進(jìn)行對(duì)象識(shí)別。

3 船舶焊接表面缺陷智能檢測(cè)系統(tǒng)功能設(shè)計(jì)

系統(tǒng)設(shè)計(jì)采用msSQL 2016作為數(shù)據(jù)庫(kù)服務(wù)器，并使用.net core跨平臺(tái)框架和ABP開(kāi)發(fā)框架進(jìn)行服務(wù)端開(kāi)發(fā)，以此提高服務(wù)端的穩(wěn)定性和功能完整性。前端界面使用AngularJS 8.2.5框架及Bootstrap框架進(jìn)行頁(yè)面設(shè)計(jì)。系統(tǒng)包括登錄、數(shù)據(jù)預(yù)處理(數(shù)據(jù)清洗、圖像優(yōu)化)、批量檢測(cè)(一鍵檢測(cè)、圖形化展示)、檢測(cè)參數(shù)管理(參數(shù)設(shè)置、模型管理)和權(quán)限管理(用戶管理、角色管理、系統(tǒng)管理)等模塊。系統(tǒng)模塊功能如表1所示。

表1 系統(tǒng)模塊功能

目前，已在船廠中小組立智能焊接生產(chǎn)線試驗(yàn)焊接表面缺陷智能檢測(cè)系統(tǒng)，對(duì)傳統(tǒng)焊機(jī)、手工焊機(jī)、智能焊接機(jī)器人的焊接進(jìn)行檢測(cè)等，如圖4所示。

圖4 焊接表面缺陷智能檢測(cè)

船舶焊接表面缺陷智能檢測(cè)系統(tǒng)試驗(yàn)檢測(cè)結(jié)果如表2所示，初步達(dá)到檢測(cè)預(yù)期效果。

表2 焊接表面缺陷試驗(yàn)檢測(cè)結(jié)果 個(gè)

4 結(jié) 語(yǔ)

為提高船舶焊接表面缺陷檢測(cè)系統(tǒng)的精確性和易用性，研究深度遷移學(xué)習(xí)下的船舶焊接缺陷目標(biāo)檢測(cè)方法，運(yùn)用采用DropBlock方法進(jìn)行卷積核優(yōu)化的MobileNet焊接分類模型和YOLO V3算法，初步實(shí)現(xiàn)船舶焊接表面缺陷的智能檢測(cè)，在試驗(yàn)階段取得預(yù)期效果，為船舶焊接表面缺陷檢測(cè)在船廠實(shí)際應(yīng)用落地探索一條可行路線。