陳英紅 杜明坤
?
基于Mask-RCNN與結(jié)構(gòu)激光的縱焊縫5個(gè)參數(shù)檢測(cè)方法*
陳英紅1杜明坤2
(1.廣東省特種設(shè)備檢測(cè)研究院珠海檢測(cè)院 2.珠海市安粵科技有限公司)
為保證焊接件安全工作,針對(duì)焊縫外觀形貌檢測(cè)提出一種基于Mask-RCNN與結(jié)構(gòu)激光的縱焊縫5個(gè)參數(shù)檢測(cè)方法。首先利用Mask-RCNN卷積神經(jīng)網(wǎng)絡(luò)從焊縫激光線圖像中提取激光線邊界信息;其次采用Hessian矩陣提取激光中心線;然后使用多項(xiàng)式擬合中心線,根據(jù)多項(xiàng)式極值點(diǎn)對(duì)焊縫曲線進(jìn)行分區(qū),分別在擬合曲線與激光中心線上提取焊縫5個(gè)參數(shù)計(jì)算特征點(diǎn),計(jì)算相應(yīng)特征點(diǎn)間距,完成焊縫余高、寬度、咬邊、錯(cuò)邊量和棱角度5個(gè)參數(shù)檢測(cè);最后設(shè)計(jì)實(shí)驗(yàn)樣機(jī)對(duì)半徑為281.35 mm管道縱焊縫進(jìn)行檢測(cè)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明:該方法可一次性快速、準(zhǔn)確檢測(cè)焊縫5個(gè)參數(shù),具有較小的測(cè)量不確定度。
焊縫檢測(cè);機(jī)器視覺;深度學(xué)習(xí)
GB150-2011壓力容器中規(guī)定焊縫5個(gè)參數(shù)為焊縫余高、寬度、咬邊、錯(cuò)邊量和棱角度,其數(shù)值大小檢測(cè)是焊后檢測(cè)的一項(xiàng)關(guān)鍵內(nèi)容[1-2]。目前焊后檢測(cè)通過人工使用放大鏡、焊縫檢驗(yàn)尺和棱角度尺等工具完成,存在精度低、檢測(cè)周期長(zhǎng)、無法連續(xù)檢測(cè)的缺陷,難以滿足大批量工業(yè)生產(chǎn)快速檢測(cè)的需要。焊縫外觀形貌是焊縫5個(gè)參數(shù)檢測(cè)的外在表現(xiàn),因此如何準(zhǔn)確復(fù)現(xiàn)檢測(cè)區(qū)域內(nèi)焊縫外觀形貌是高精度、快速焊后檢測(cè)的研究熱點(diǎn)。焊后檢測(cè)主要包括基于射線成像檢測(cè)方法和基于結(jié)構(gòu)激光的視覺檢測(cè)方法[3-4]。英國華威大學(xué)(2013)對(duì)X射線圖像中分割算法進(jìn)行研究,提出基于模糊邏輯和神經(jīng)網(wǎng)絡(luò)系統(tǒng)的焊縫缺陷識(shí)別圖像處理算法,使用模糊邏輯系統(tǒng)優(yōu)化神經(jīng)網(wǎng)絡(luò)輸出準(zhǔn)確性[5];Goumeidane A B等人(2015)提出一種基于統(tǒng)計(jì)學(xué)模型方法來處理X射線焊縫圖像,利用圖像的局部與全局特征進(jìn)行推理,從而完成圖像濾波和焊縫射線中內(nèi)部缺陷檢測(cè)[6];文獻(xiàn)[7]分析焊縫缺陷局部圖像自相關(guān)矩陣特征值,將主成分析引入焊縫缺陷類型分類。視覺焊縫檢測(cè)主要采用激光三角數(shù)學(xué)模型[8]。肯特大學(xué)(2014)提出一種基于滑動(dòng)矢量方法的焊接接頭建模和尺寸測(cè)量方法[9];土耳其Muhammad J等人(2016)提出順序圖像處理和特征提取算法,采用窄帶濾波器從低質(zhì)量激光圖像中提取有效的焊縫幾何特性[10];哈爾濱工程大學(xué)(2017)用質(zhì)心法提取結(jié)構(gòu)光中心線,用區(qū)域面積法提取結(jié)構(gòu)光中心線上的特征點(diǎn)[11];文獻(xiàn)[12]采用基于斜率分析方法的最小二乘法檢測(cè)焊縫圖像特征,得到焊縫外觀缺陷特征信息。上述焊縫檢測(cè)方法側(cè)重于焊縫內(nèi)部缺陷、部分參數(shù)檢測(cè),還未見焊縫外貌形態(tài)全部參數(shù)(焊縫寬度、余高、錯(cuò)邊量、咬邊和棱角度)檢測(cè)方法研究。
本文使用激光三角檢測(cè)模型,在處理焊縫激光線圖像時(shí),利用Mask-RCNN網(wǎng)絡(luò)實(shí)現(xiàn)激光線特征區(qū)域提??;應(yīng)用Hessian矩陣提取激光條紋中心線,檢測(cè)出焊縫余高、寬度、咬邊、錯(cuò)邊量和棱角度,從而實(shí)現(xiàn)焊縫三維形態(tài)5個(gè)參數(shù)全部檢測(cè)。
基于本文縱焊縫5個(gè)參數(shù)檢測(cè)方法設(shè)計(jì)的焊縫檢測(cè)實(shí)驗(yàn)樣機(jī)內(nèi)部結(jié)構(gòu)如圖1所示。工業(yè)相機(jī)與結(jié)構(gòu)激光器固定于實(shí)驗(yàn)樣機(jī)上;相機(jī)鏡頭軸線與待檢測(cè)平面垂直;結(jié)構(gòu)激光器出射一字線激光與待檢測(cè)平面夾角為;待檢測(cè)位置處焊縫外貌5個(gè)參數(shù)由一字激光線反映。
圖1 焊縫檢測(cè)實(shí)驗(yàn)樣機(jī)內(nèi)部結(jié)構(gòu)
基于Mask-RCNN與結(jié)構(gòu)激光的縱焊縫5個(gè)參數(shù)檢測(cè)流程如圖2所示。
圖2 縱焊縫5個(gè)參數(shù)檢測(cè)流程
本文提出的檢測(cè)方法,僅從單張焊縫激光線圖像,完成焊縫余高、寬度、咬邊量、錯(cuò)邊量和棱角度參數(shù)檢測(cè),其中Mask-RCNN完成激光線邊界信息提??;參考GB150-2011焊縫參數(shù)檢測(cè)定義,以提取激光中心線的焊縫特征點(diǎn)作為焊縫5個(gè)參數(shù)計(jì)算基準(zhǔn)。
1)工業(yè)相機(jī)開啟,拍攝自然光環(huán)境下激光線焊縫圖像;圖像作為訓(xùn)練后Mask-RCNN網(wǎng)絡(luò)輸入,網(wǎng)絡(luò)輸出激光線邊界Mask信息。
2)只包含激光線邊界Mask信息的圖像高斯平滑濾波后,利用Hessian矩陣提取結(jié)構(gòu)光條紋中心點(diǎn)。
3)以圖像坐標(biāo)系為坐標(biāo)基準(zhǔn),取激光中心線在坐標(biāo)系中的極值點(diǎn)為焊縫余高、焊趾兩側(cè)寬度特征點(diǎn);計(jì)算余高特征點(diǎn)與焊趾兩側(cè)寬度特征點(diǎn)間距,得到焊縫余高數(shù)值h;計(jì)算焊趾兩側(cè)寬度特征點(diǎn)間距,得到焊縫寬度數(shù)值d。
4)采用高階多項(xiàng)式擬合激光中心線,取擬合曲線在寬度特征點(diǎn)附近極值點(diǎn)為焊縫咬邊特征點(diǎn);取擬合曲線在焊縫熱影響區(qū)極值點(diǎn)為焊縫錯(cuò)邊量、棱角度特征點(diǎn);計(jì)算咬邊特征點(diǎn)與寬度特征點(diǎn)間距,得到焊縫咬邊數(shù)值u;計(jì)算錯(cuò)邊量、棱角度特征點(diǎn)與以圓筒半徑擬合標(biāo)準(zhǔn)圓弧間距,得到焊縫錯(cuò)邊量數(shù)值s與棱角度數(shù)值e。
Mask-RCNN在Faster-RCNN基礎(chǔ)上擴(kuò)展了分類與回歸任務(wù),是最高水平實(shí)例分割算法[13]。Mask-RCNN網(wǎng)絡(luò)有兩層分支結(jié)構(gòu):第一層分支為原始Faster-RCNN的結(jié)構(gòu),用于對(duì)候選窗口進(jìn)行分類和窗口坐標(biāo)回歸;第二層分支利用全卷積網(wǎng)絡(luò)結(jié)構(gòu)對(duì)每一個(gè)感興趣區(qū)域(region of interest,RoI)預(yù)測(cè)二值分割掩模。使用工業(yè)相機(jī)拍攝130張做好激光線區(qū)域標(biāo)簽的激光線焊縫圖像(分辨率2592×1944),分為訓(xùn)練圖像集100張、驗(yàn)證圖像集5張和測(cè)試圖像25張。在內(nèi)存為32 G,GPU為1080 Ti(顯存11 G)主機(jī)上對(duì)Mask-RCNN模型進(jìn)行訓(xùn)練,在500次訓(xùn)練后損失函數(shù)收斂,停留在1.343左右。訓(xùn)練后Mask-RCNN模型識(shí)別效果圖如圖3所示。
圖3 訓(xùn)練后Mask-RCNN模型識(shí)別效果圖
目前激光條紋中心線提取算法主要有灰度重心法、基于Hessian矩陣中心提取法和形態(tài)學(xué)骨骼化提取方法[14]。其中灰度重心法與形態(tài)學(xué)骨骼化提取方法提取中心線中噪聲過多,不利于后續(xù)多項(xiàng)式擬合中心線的準(zhǔn)確性以及焊縫余高、寬度特征點(diǎn)選取的正確性,因此本文采用基于Hessian矩陣中心提取法完成焊縫激光線中心點(diǎn)提取工作。
Mask-RCNN網(wǎng)絡(luò)輸出Mask圖像是激光線區(qū)域值為Ture,其他區(qū)域值為False的二值矩陣。首先將Mask-RCNN網(wǎng)絡(luò)輸出Mask區(qū)域與原始焊縫激光線圖像按式(1)進(jìn)行圖像處理:
其中,為焊縫激光線RGB圖像三通道矩陣;為Mask-RCNN網(wǎng)絡(luò)輸出矩陣;(,)為圖像坐標(biāo)系下像素點(diǎn)坐標(biāo)。
焊縫激光線RGB圖像只保留激光線區(qū)域RGB信息,其他區(qū)域RGB信息全置為0;經(jīng)Mask信息調(diào)制后焊縫激光線RGB圖像通過大津法轉(zhuǎn)為灰度圖像,對(duì)灰度圖像進(jìn)行高斯平滑濾波處理:
其中,為濾波后圖像;(,)為濾波核函數(shù);取值為激光線寬像素點(diǎn)數(shù)。
計(jì)算濾波圖像中每個(gè)像素點(diǎn)Hessian矩陣為
計(jì)算濾波圖像單個(gè)像素點(diǎn)Hessian矩陣激光線灰度值分布單位向量(n,n),取圖像焊縫區(qū)域中任意一點(diǎn)(1,1),則以點(diǎn)(1,1)為基準(zhǔn)的灰度分布為
中心點(diǎn)位置即灰度分布極值點(diǎn),令式(2)對(duì)變量的一階導(dǎo)為0,可求得
因此,中心點(diǎn)位置可確定為(x1+tnx, y1+tny)?;贖essian矩陣中心線提取效果如圖4所示。
圖4提取的焊縫激光中心線可看作由焊縫兩側(cè)橢圓曲線加中間焊趾突出曲線組成,因此直接使用極值法提取焊縫參數(shù)特征點(diǎn)方法不再適用。本文提出基于區(qū)域劃分的焊縫5個(gè)參數(shù)特征點(diǎn)選取方法。首先將焊縫激光線參照焊接工作區(qū)進(jìn)行分區(qū);然后在不同的區(qū)域內(nèi)使用極值法提取激光中心線或擬合多項(xiàng)式曲線;最后完成焊縫5個(gè)參數(shù)特征點(diǎn)提取。
根據(jù)本文焊縫區(qū)域劃分方法,將焊縫激光中心線中焊縫區(qū)、熱影響區(qū)劃分為焊接區(qū)域,其余曲線區(qū)域劃分為非焊接區(qū)域,如圖5所示。在焊縫激光中心線焊接區(qū)域內(nèi),提取焊縫余高、焊趾兩側(cè)寬度特征點(diǎn);在焊縫激光中心線非焊接區(qū)域,提取焊縫咬邊、錯(cuò)邊量和棱角度特征點(diǎn)。
圖5 焊縫分區(qū)示意圖
多項(xiàng)式曲線擬合結(jié)果如圖6所示。從擬合結(jié)果可以看出,擬合曲線實(shí)數(shù)內(nèi)5個(gè)極值點(diǎn)對(duì)應(yīng)焊縫激光中心線焊趾兩側(cè)焊接區(qū)與非焊接區(qū)交界點(diǎn)、焊縫余高特征點(diǎn)、焊縫焊趾兩側(cè)寬度特征點(diǎn)。依照GB150-2011中焊縫寬度、余高標(biāo)準(zhǔn),結(jié)合焊縫激光中心線與擬合曲線極值信息,采用如下步驟提取焊縫余高與焊縫焊趾兩側(cè)寬度特征點(diǎn),并計(jì)算焊縫寬度、余高參數(shù):
圖6 焊縫5個(gè)參數(shù)特征點(diǎn)多項(xiàng)式曲線擬合結(jié)果
1)在擬合曲線上的焊縫點(diǎn)之間計(jì)算焊縫激光線坐標(biāo)極值點(diǎn)(圖6中為極大值),作為焊縫余高特征點(diǎn)h;
2)在擬合曲線極值點(diǎn)與焊縫余高特征點(diǎn)h之間計(jì)算焊縫激光線坐標(biāo)極值點(diǎn)(圖6中為極小值),作為焊縫寬度特征點(diǎn)d1,d2;
3)得到焊縫余高h(yuǎn)與寬度d計(jì)算數(shù)值:
其中,為相機(jī)標(biāo)定比例系數(shù);為激光線與被檢測(cè)面夾角。
參考GB150-2011與《壓力容器檢驗(yàn)》中焊縫錯(cuò)邊量、棱角度檢測(cè)方法[15],本文提出焊縫圖像錯(cuò)邊量與棱角度檢測(cè)示意圖如圖7所示。截取激光中心線長(zhǎng)度為橢圓弦長(zhǎng),根據(jù)待檢測(cè)圓筒件半徑參數(shù)擬合標(biāo)準(zhǔn)圓,分別計(jì)算擬合曲線極值點(diǎn),即焊縫錯(cuò)邊量、棱角度特征點(diǎn)se1,se2離標(biāo)準(zhǔn)圓弧距離1,2,完成焊縫錯(cuò)邊量s、棱角度e參數(shù)計(jì)算:
其中,Rw為待檢測(cè)圓筒件半徑參數(shù);,為焊縫錯(cuò)邊量、棱角度特征點(diǎn)在圖像坐標(biāo)系中坐標(biāo)。
參考GB150-2011,焊縫焊趾兩側(cè)咬邊參數(shù)在圖像中反映為焊縫咬邊特征點(diǎn)u與焊縫寬度特征點(diǎn)d在圖像坐標(biāo)系中軸線距離,因此焊縫焊趾兩側(cè)咬邊參數(shù)u1,u2表示為
其中u,d為焊縫咬邊、余高特征點(diǎn)在圖像坐標(biāo)系中縱坐標(biāo)。
采用彩色工業(yè)相機(jī)(分辨率2592×1944、感光元件1/2.5′′、像素2.2 μm)以及焦距為185 mm、波長(zhǎng)為660 nm,線寬為1 mm的紅色一字線激光器,構(gòu)造基于Mask-RCNN與結(jié)構(gòu)激光的縱焊縫5個(gè)參數(shù)檢測(cè)樣機(jī)。
圓筒縱焊縫樣品與檢測(cè)軟件界面如圖8所示,圖8(a)為半經(jīng)w=281.35 mm的輸油管道圓筒焊接件;圖8(b)為使用基于PyQt5開發(fā),結(jié)合Matlab與深度學(xué)習(xí)算法的焊縫5個(gè)參數(shù)檢測(cè)儀軟件界面。使用張氏標(biāo)定法標(biāo)定工業(yè)相機(jī)。由于測(cè)量模型中工業(yè)相機(jī)的主要成像平面為焊縫表面,可預(yù)先在焊縫檢測(cè)位置處放置張氏標(biāo)定板,利用計(jì)算標(biāo)定圖像指定尺寸下相機(jī)拍攝圖像中像素個(gè)數(shù)的方法完成相機(jī)標(biāo)定工作。經(jīng)過若干次標(biāo)定實(shí)驗(yàn),取標(biāo)定結(jié)果的平均值作為標(biāo)定結(jié)果,圖像中單位像素間距在實(shí)際中的尺寸為0.025 mm,因此確定= 0.025。
參照上面提出的焊縫5個(gè)參數(shù)檢測(cè)方法,應(yīng)用Python與Matlab聯(lián)合編程完成焊縫5個(gè)參數(shù)檢測(cè)程序設(shè)計(jì)。其中Python負(fù)責(zé)Mask-RCNN算法編程任務(wù);Matlab負(fù)責(zé)中心線、特征點(diǎn)提取與焊縫5個(gè)參數(shù)計(jì)算任務(wù)。在不同被檢焊縫位置,分別采集20次實(shí)驗(yàn)數(shù)據(jù),表1為某一位置處,焊縫5個(gè)參數(shù)部分檢測(cè)結(jié)果。本文分別在10處不同位置處,每個(gè)位置采集20次焊縫檢測(cè)儀檢測(cè)結(jié)果。對(duì)10組實(shí)驗(yàn)結(jié)果進(jìn)行分析,其中焊縫寬度、其余參數(shù)測(cè)量不確定度分別為0.018 mm,0.001 mm。
圖8 圓筒縱焊縫樣品與檢測(cè)
表1 焊縫三維外觀參數(shù)檢測(cè)部分結(jié)果表 (單位:mm)
1)提出基于Mask-RCNN與結(jié)構(gòu)激光的縱焊縫5個(gè)參數(shù)檢測(cè)方法。首先應(yīng)用Mask-RCNN卷積神經(jīng)網(wǎng)絡(luò)從激光焊縫圖像中提取激光線邊界信息;其次基于結(jié)構(gòu)激光單色性好特點(diǎn),采用顏色閾值分割、形態(tài)學(xué)處理相結(jié)合方法提取激光中心線;再從激光中心線沿焊縫方向的極大、極小值點(diǎn)計(jì)算焊縫余高、咬邊深度;最后提取激光中心線處于焊縫熱影響區(qū)部分,通過擬合標(biāo)準(zhǔn)圓弧,檢測(cè)焊縫錯(cuò)邊量與棱角度。
2)采用工業(yè)相機(jī)與520 nm線激光器搭建縱焊縫檢測(cè)實(shí)驗(yàn)樣機(jī)。檢測(cè)半徑為281.35 mm的輸油管道縱焊縫,能準(zhǔn)確測(cè)量焊縫寬度、余高、咬邊、錯(cuò)邊量和棱角度5個(gè)參數(shù),且測(cè)量不確定度較低,其中焊縫寬度與其他參數(shù)測(cè)量不確定度分別為0.018 mm,0.001 mm。
3)應(yīng)用人工智能、深度學(xué)習(xí)與機(jī)器視覺技術(shù),建立焊縫寬度、余高、咬邊、錯(cuò)邊量和棱角度5個(gè)參數(shù)測(cè)量模型,實(shí)現(xiàn)在各種光照條件下的焊縫定位、參數(shù)檢測(cè),有效地提升該方法適用性。
下一步將研究該方法的誤差補(bǔ)償技術(shù)、動(dòng)態(tài)測(cè)量技術(shù),并嘗試應(yīng)用人工智能實(shí)現(xiàn)環(huán)焊縫、內(nèi)部焊縫的三維形態(tài)參數(shù)檢測(cè),實(shí)現(xiàn)一站式全類型焊縫檢測(cè)。
[1] 中華人民共和國國家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局, 中國國家標(biāo)準(zhǔn)化管理委員會(huì).壓力容器:GB 150.1~150.4—2011[S].北京:中國標(biāo)準(zhǔn)出版社, 2012:14.
[2] 王冬林,劉晶,葉勇,等.鋼制壓力容器質(zhì)量控制研究[J].新技術(shù)新工藝,2015(10):110-112.
[3] 周鵬飛,王飛,肖輝,等.DR圖像中氣孔缺陷的自動(dòng)檢測(cè)與識(shí)別[J].無損檢測(cè),2017,39(10):37-41.
[4] Chu H H , Wang Z Y . A vision-based system for post-welding quality measurement and defect detection[J]. The International Journal of Advanced Manufacturing Technology, 2016, 86(9-12):3007-3014.
[5] Baniukiewicz P. Automated defect recognition and identification in digital radiography[J]. Journal of Nondestructive Evaluation, 2013, 33(3):1-8.
[6] Goumeidane A B , Nacereddine N , Khamadja M . Computer aided weld defect delineation using statistical parametric active contours in radiographic inspection[J]. Journal of X-Ray Science and Technology, 2015, 23(3):289-310.
[7] 高煒欣,胡玉衡,武曉朦,等.埋弧焊X射線焊縫缺陷圖像分類算法研究[J].儀器儀表學(xué)報(bào),2016,37(3):518-524.
[8] Jahedsaravani A , Massinaei M , Marhaban M H . Development of a machine vision system for real-time monitoring and control of batch flotation process[J]. International Journal of Mineral Processing, 2017:S0301751617301564.
[9] Nguyen H C , Lee B R . Laser-vision-based quality inspection system for small-bead laser welding[J]. International Journal of Precision Engineering & Manufacturing, 2014, 15(3):415-423.
[10] Muhammad J , Altun H , Abo-Serie E . A robust butt welding seam finding technique for intelligent robotic welding system using active laser vision[J]. International Journal of Advanced Manufacturing Technology, 2016(7–8):1-17.
[11] 褚慧慧,王宗義.基于主動(dòng)視覺的焊縫成形尺寸測(cè)量和缺陷識(shí)別研究[J].熱加工工藝,2017(21):206-209.
[12] Lu Xueqin, Gu Dongxia, Wang Yudong, et al. Feature extraction of welding seam image based on laser vision[J]. IEEE Sensors Journal, 2018, 18(11):4715-4724.
[13] He K, Gkioxari G, Dollar P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2018:2980-2988.
[14] Chen P , Zhang Z , Dai M , et al. Sub-pixel extraction of laser stripe and its application in laser plane calibration[J]. 東南大學(xué)學(xué)報(bào)(英文版),2015,31(1):107-112.
[15] 王紀(jì)兵.壓力容器檢驗(yàn)檢測(cè)[M].2版.北京:化學(xué)工業(yè)出版社, 2016:90-91.
A Mask-RCNN & Structured Light Based on Five Shape Parameters Detection Method for Longitudinal Welds
Chen Yinghong1Du Mingkun2
(1. Guangdong Special Equipment Testing and Research Institute Zhuhai Testing Institute 2. Zhuhai An Yue Technology Co., Ltd.)
The inspection of weld appearance and appearance is an important guarantee for the safe work of welded parts. This paper proposes a parameter detection method based on Mask-RCNN and structural laser longitudinal weld. The method first uses the Mask-RCNN convolutional neural network to extract the laser line boundary information from the weld laser line image. Secondly, the Hessian matrix is used to extract the laser center line. Finally, the polynomial is used to fit the center line, and the polynomial extreme point is used to weld the curve. Partitioning is performed to extract the weld 5 parameters from the fitting curve and the laser center line to calculate the feature points, calculate the corresponding feature point spacing, and complete the parameters of the weld residual height, width, undercut and edge angle. The experimental prototype was designed to test the longitudinal weld of the radius of 281.35 mm pipe. The surface of the test results quickly and accurately detect the weld seam 5 parameters, which has low measurement uncertainty.
Weld Inspection; Machine Vision; Deep Learning
陳英紅,女,1974年生,高級(jí)工程師,主要研究方向:特種設(shè)備檢驗(yàn)檢測(cè)研發(fā)。E-mail:924192172@qq.com
國家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局科技計(jì)劃項(xiàng)目(2017QK105)