基于激光視覺的鋼結(jié)構(gòu)焊縫圖像處理系統(tǒng)

王樹強(qiáng)，周游，陳昊雷，陳釗，韓彥林

(沈陽化工大學(xué),沈陽,110142)

0 序言

鋼結(jié)構(gòu)在橋梁、箱梁、天車橫臂等基礎(chǔ)建設(shè)中得到廣泛應(yīng)用[1]，焊接機(jī)器人[2-4]要求焊縫軌跡具有一定規(guī)則性和重復(fù)定位精度，鋼結(jié)構(gòu)件難以符合要求，使焊接機(jī)器人在鋼結(jié)構(gòu)領(lǐng)域的發(fā)展受到阻礙.鋼結(jié)構(gòu)領(lǐng)域大部分采用手工焊、半自動焊等工藝完成，焊接質(zhì)量難以得到保證.傳統(tǒng)算法難以快速、準(zhǔn)確提取到焊縫中心點[5-7]，所以設(shè)計一種高效快速的焊縫跟蹤方法，用于改善焊接機(jī)器人在鋼結(jié)構(gòu)領(lǐng)域發(fā)展受阻的情況.在焊縫特征點提取方面，李篪[8]在傳統(tǒng)的Otsu 公式上加了修正系數(shù)進(jìn)行改進(jìn)，使新的閾值分割處理的圖像更加接近實際；馬波等人[9]對系統(tǒng)噪聲和測量噪聲進(jìn)行卡爾曼濾波方法處理，以得到優(yōu)化的效果；尤帥等人[10]通過把二值圖像距離變換后的二次閾值分割和改進(jìn)的Hilditch算法對中心線進(jìn)行提取，解決由飛濺造成的斷點修補問題；在焊縫跟蹤方面，楊國威等人[11]提出基于核相關(guān)濾波的焊縫跟蹤算法，以解決焊接時的弧光干擾問題.以上研究說明焊縫自動跟蹤[12]方法可以有效提高焊接性能，但目前的研究還是難以對焊縫做到精確、可靠的追蹤[13-14].

文中設(shè)計了一套鋼結(jié)構(gòu)焊縫圖像處理系統(tǒng)，該方法主要應(yīng)用于鋼結(jié)構(gòu)焊縫焊接，在保證焊縫性能的同時，可以有效提高焊接速度，降低人員技能水平對焊縫質(zhì)量的影響，從而提升焊接效果.文中是針對結(jié)構(gòu)光焊縫圖像的特點，對圖片進(jìn)行中值濾波，去除噪聲，再利用Otsu 閾值分割得到二值化圖像，由于二值化后圖像中還存在連通區(qū)域和斑點，可以運用開操作除去飛濺、弧光造成的干擾，再采用形態(tài)學(xué)算子進(jìn)行骨架提取，并細(xì)化去除中心線上的毛刺.最后對中心線進(jìn)行Hough 變換直線檢測，提取出特征點，使焊縫實時跟蹤更加快速與精確.

1 圖像采集系統(tǒng)設(shè)計

1.1 系統(tǒng)搭建

焊縫跟蹤方法可分為兩大類，即主動視覺跟蹤方法和被動視覺跟蹤方法，其主要的區(qū)別在于主動視覺比被動視覺多了一個輔助光源，文中構(gòu)建的系統(tǒng)采用的是激光器作為輔助光源的主動視覺跟蹤系統(tǒng)，系統(tǒng)主要硬件包括機(jī)器人、相機(jī)、濾鏡、激光器、圖像采集卡、焊絲機(jī)、焊絲.圖像采集如圖1 所示.

圖1 圖像采集示意圖Fig.1 Schematic diagram of image acquisition

具體焊接裝置硬件明細(xì)如表1 所示.利用激光視覺傳感器對65°V 形坡口焊縫進(jìn)行圖像采集，接頭形式為對接，焊接工件采用長度為380 mm，寬度為210 mm，厚度為30 mm，鋼材型號為Q235 碳素結(jié)構(gòu)鋼.焊接機(jī)器人現(xiàn)場工作圖如圖2所示.

表1 焊接裝置硬件明細(xì)表Table 1 Hardware list of welding device

圖2 焊接機(jī)器人現(xiàn)場工作圖Fig.2 On-site work drawing of welding robot

1.2 圖像采集

將激光器與CCD 工業(yè)相機(jī)在空間平面里呈45°位置關(guān)系固定，激光器在工件表面上進(jìn)行垂直照射，從而形成激光條帶.調(diào)整相機(jī)上的光圈，讓激光條帶進(jìn)入相機(jī)視野，采集激光條帶圖像.把采集到的激光條帶圖像傳送給計算機(jī)，利用Matlab 平臺對焊縫圖像進(jìn)行圖片處理，將獲得焊縫中心點的坐標(biāo)信息反饋給控制系統(tǒng)，帶動焊槍進(jìn)行焊接.

在利用Matlab 平臺處理焊縫圖像時，具體圖像處理流程圖如圖3 所示.

2 焊縫圖像識別及處理

圖像處理過程分為2 個部分：第1 部分是圖像處理，第2 部分是焊縫的特征點提取.在CCD 攝像機(jī)采集圖像之后，傳送給計算機(jī)進(jìn)行焊縫圖像處理，首先除去焊縫圖像中的干擾信息，保留焊縫圖像特征，然后通過焊縫提取算法提取焊縫的特征信息.針對采用自適應(yīng)閾值分割后產(chǎn)生的小連通區(qū)域問題，設(shè)計了一種有效的算法，用于去除無效的干擾信息.

2.1 焊縫圖像處理

2.1.1 中值濾波去噪

CCD 視覺傳感器直接采集到的原始焊縫圖像是338 像素×309 像素的灰度圖如圖4a，在傳送過程中CCD 攝像機(jī)等高頻電源、煙霧和弧光對焊縫圖像產(chǎn)生干擾信號，為了解決這一問題，使后續(xù)不影響圖像處理，對焊縫圖像進(jìn)行中值濾波處理.

圖4 中值濾波處理圖像Fig.4 Median filter processing image.(a) original weld image; (b) median filtered image

中值濾波是一種空間域統(tǒng)計排序的濾波方法，屬于一種非線性平滑技術(shù).實現(xiàn)方法是設(shè)有一維序列x1,x2,···,xn，把目標(biāo)像素及其領(lǐng)域內(nèi)的所有像素組成一個以奇數(shù)單位的長度L，然后對輸入序列中連續(xù)提取L個數(shù)，xi-m,···xi,···,xi+m，其所在領(lǐng)域內(nèi)的中心值m=(L-1)/2，再把所有L個像素的灰度值進(jìn)行從小到大的排序，取中值作為領(lǐng)域內(nèi)中目標(biāo)像素的原有灰度值，中值濾波的表達(dá)式為

相比于均值濾波對椒鹽噪聲的處理，中值濾波有很好的處理效果，在去除噪聲的情況下，還很好的保護(hù)信號的邊緣，使其不被模糊.所以選用中值濾波對圖4a 進(jìn)行處理，圖4b 是采用 3×3的濾波模板進(jìn)行中值濾波后的焊縫圖像.

在中值濾波處理之后，焊縫圖像中噪聲基本除去，并且對目標(biāo)邊緣很好的保留.

2.1.2 Otsu 閾值分割

Otsu 算法是一種對于圖像灰度自適應(yīng)的閾值分割算法，它按照圖像上灰度值的分布，把圖像分成前景和背景兩個部分，前景就是通過閾值分割出來想要的部分，如文中的激光條帶，前景和背景的灰度分界值就是要求出的閾值.

將圖像f(x,y)進(jìn)行灰度化處理，得到圖像的灰度范圍為 { 0,1,···,m-1} 級，灰度值為i的像素數(shù)設(shè)為xi，則灰度圖像的總像素值為

灰度值為i像素出現(xiàn)的概率為

選擇閾值t，利用閾值t對目標(biāo)圖像進(jìn)行分割操作，將會產(chǎn)生兩個集合像素點，T1是像素點灰度值大于和等于閾值t的 集合，T2是像素點灰度值小于閾值t的集合，以將灰度圖劃分為兩類，即

T1，T2出現(xiàn)的概率為

計算T1，T2集合內(nèi)的所有像素灰度值的均值分別為

灰度圖像的總體灰度值為

求出T1，T2的類間方差為

計算出最大類間方差t*來選擇閾值，即

用此方法對圖4b 進(jìn)行二值化閾值選取處理，得到圖5a 二值化圖像.

圖5 二值化圖像開操作處理Fig.5 Binary image opening operation processing.(a)binary image; (b) open operations manipulate images

2.1.3 開操作處理

在二值化圖像上，相比于激光條帶，圖片中還存在一塊連通區(qū)域和些許斑點，所以在上述處理之后，又對焊縫圖像進(jìn)行開運算操作，去除干擾的連通區(qū)域，保留激光條帶.選取半徑為7 的圓盤結(jié)構(gòu)元，去除圖像背景中比結(jié)構(gòu)元素尺寸更小的亮度明顯的細(xì)節(jié).處理公式為

結(jié)構(gòu)元素M(x,y)對 圖像f(x,y)的灰度膨脹記為f+M，開運算記為f·M，開運算是先腐蝕后膨脹.處理得到圖5b.可以看到連通區(qū)域和噪點已經(jīng)完全去除，并且很好的保留了目標(biāo)元素.

2.1.4 骨架提取及細(xì)化

因激光條帶有一定的寬度，對激光條帶進(jìn)行骨架提取，使其成單像素條紋.文中采用的是形態(tài)學(xué)操作去掉圖像的內(nèi)點，選取一像素0，如果該像素的四連通區(qū)域都為1，則僅僅保留邊緣像素.接下來是圖像的骨架提取，移除目標(biāo)邊緣像素，但是不允許目標(biāo)發(fā)生斷裂，將保留下來的像素進(jìn)行組合，組成圖像的骨架.得到圖6a，6b.

圖6 開操作處理后骨架提取圖像Fig.6 Skeleton extraction image after opening operation processing.(a) morphological removal of image inliers; (b) skeleton extraction; (c) skeleton thinning

在形態(tài)學(xué)算子處理之后得到的骨架提取圖像，骨架線段上存在些許毛刺，并且有很多空隙，為了后續(xù)處理不受影響，文中對物體進(jìn)行細(xì)化，此操作使沒有孔的物體縮為最小連通區(qū)域，而含有孔的物體收縮為一個鏈接的環(huán)，如圖6c.

骨架圖像在得到細(xì)化處理之后，毛刺全部去除，斷裂區(qū)域和空隙處都得到填充解決，得到了完好的激光條帶骨架，為后續(xù)直線的擬合做好基礎(chǔ).

2.2 特征點提取

在骨架提取之后，為確定焊縫的位置，需要對焊縫中心線進(jìn)行擬合，因為中心線焊縫較為規(guī)則，無破口，故采用焊縫跟蹤技術(shù)領(lǐng)域內(nèi)最常用的Hough 變換，直線檢測.

Hough 變換是建立原始圖像空間中共線的點與參數(shù)空間中共點的線的對應(yīng)關(guān)系，把圖像空間中的直線問題轉(zhuǎn)成參數(shù)空間中的點問題.

對于圖像空間Oxy中任意一點 (xi,yi)，直線方程就是yi=axi+b，其中a表示斜率，b表示截距.總有兩個點 (x1,y1)，(x2,y2) 對應(yīng)同一斜率a，同一截距b.此式對應(yīng)在參數(shù)空間Oab中b=-xia+yi，即相交于點 (a,b) 的兩條直線b=-x1a+y1和b=-x2a+y2.映射關(guān)系如圖7 所示.

圖7 圖像空間與參數(shù)空間的映射關(guān)系Fig.7 The mapping relationship between image space and parameter space.(a) image space; (b) parameter space

利用極坐標(biāo)空間建立參數(shù)空間，表示原始圖像空間和參數(shù)空間的關(guān)系，即

式中：x表示點在圖像空間中的橫坐標(biāo)；y表示點在圖像空間中的縱坐標(biāo)；ρ 表示參數(shù)空間中的極徑；θ表示參數(shù)空間中的極角，即Hough 變換.此變換法具有很強(qiáng)的幾何性能，容易實現(xiàn)，并且不會被直線上的小波動和間隙所干擾，有很強(qiáng)的抗干擾能力，處理過后得到圖8.

圖8 Hough 變換直線擬合圖像Fig.8 Hough transform straight line fitting image

利用Hough 變換直線擬合，很好的提取了激光條帶的中心線，兩條中心線的交點，即拐點就是焊縫的特征點.

3 試驗結(jié)果分析

對處理之后的圖像進(jìn)行分析，可以得到兩條擬合直線ab 和bc 的斜率、截距以及3 個特征點b，a，c 的坐標(biāo)信息b(23，74)，a(205，170)，c(264,372)，其中點a 是斜率突變的兩條直線的交點，即a 點就是所要提取的焊縫中心點.

為了驗證算法的可靠性，在焊接試驗之前，將圖9a 所示焊接機(jī)器人移動到預(yù)定位置，使得焊槍進(jìn)行軌跡與焊縫方向一致.在機(jī)器人運作一段時間之后，Matlab 平臺利用所設(shè)計鋼結(jié)構(gòu)焊縫圖像處理技術(shù)對焊縫圖像進(jìn)行處理，以起弧點為原點，沿焊縫方向每隔38 mm 標(biāo)記一個中心測量點，共取11 個中心測量點.根據(jù)11 個中心點坐標(biāo)信息，通過坐標(biāo)系的轉(zhuǎn)換，把圖像坐標(biāo)轉(zhuǎn)換為機(jī)器人基坐標(biāo)，將得到的實際中心點坐標(biāo)信息反饋給控制系統(tǒng)，使得機(jī)器人帶動焊槍沿著焊縫前進(jìn)，得到實際對接焊縫如圖9b 所示，并將得到的焊縫圖像處理偏差與實際焊縫中心點偏差進(jìn)行對比，如圖10所示.

圖9 焊接機(jī)器人和焊接結(jié)果Fig.9 Welding robot and welding result.(a) welding robot; (b) welding result

圖10 中心測量點偏差對比Fig.10 Deviation comparison diagram of center measuring point

從圖10 可見，焊縫圖像處理的偏差與實際焊縫中心點的偏差都在0.8 mm 范圍內(nèi)，能對焊縫中心點準(zhǔn)確提取，焊接路線沒有偏離中心位，每幀圖像算法運行時間大約是56 ms，滿足要求.

上述對焊縫圖像處理系統(tǒng)進(jìn)行了試驗驗證，對圖像處理各步驟進(jìn)行確定，并對算法進(jìn)行了一定的改進(jìn)處理，最終得到了焊縫中心點的位置信息.試驗結(jié)果表明，實際焊縫中心點的誤差滿足焊接要求，系統(tǒng)具有一定的精確性和魯棒性.

4 結(jié)論

(1) 通過對鋼結(jié)構(gòu)的焊縫跟蹤系統(tǒng)的搭建，滿足了圖像精確采集，滿足試驗要求與分析要求.

(2) 采用了開操作與形態(tài)學(xué)操作相結(jié)合的改進(jìn)算法對激光條帶進(jìn)行提取，最終確定焊縫中心點位置坐標(biāo)信息，完成焊縫跟蹤，這種圖像處理算法適應(yīng)性強(qiáng)，魯棒性強(qiáng).