基于形態(tài)學(xué)算法的焊縫圖像處理技術(shù)

侯 琳， 張 海 傳

( 大連工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院, 遼寧 大連 116034 )

0 引 言

隨著機(jī)械、電力、材料等行業(yè)的發(fā)展，自動(dòng)化焊縫跟蹤技術(shù)已成為一個(gè)重要的研究熱點(diǎn)，它在航空航天、造船業(yè)、建筑業(yè)等領(lǐng)域有廣泛的應(yīng)用，相關(guān)行業(yè)對焊接工藝的要求也越來越高[1]。完整的焊縫跟蹤控制系統(tǒng)由兩個(gè)模塊組成，分別是圖像處理部分和運(yùn)動(dòng)控制部分，其中圖像處理作為整個(gè)過程中十分重要的一環(huán)，其結(jié)果的好壞直接決定著整個(gè)系統(tǒng)的性能。

焊接質(zhì)量主要包括焊縫的幾何形狀、焊縫的位置偏差等，而經(jīng)過圖像傳感器系統(tǒng)獲取的源圖像信息中含有各種各樣的噪聲與畸變[2]，因此如何降低弧光和飛濺的干擾，提高圖像的質(zhì)量，使目標(biāo)物更突出，改善圖像的視覺效果，是本研究的目的。

國外對于視覺傳感器在焊接中的運(yùn)用已經(jīng)有很多年的歷史，英國的Meta公司設(shè)計(jì)的激光焊縫跟蹤系統(tǒng)，將圖像處理軟硬件集成在傳感器內(nèi)部，系統(tǒng)地完成了圖像采集和圖像處理全過程，但是在信號處理方面還沒有更加優(yōu)化的算法[3]。Dinham等[4]引入了一種自適應(yīng)線生長算法，用于忽略焊縫形狀的焊接接頭的魯棒識別，通過工業(yè)焊接機(jī)器人在車間環(huán)境下的實(shí)驗(yàn)，驗(yàn)證了該方法能檢測出工業(yè)弧焊中真實(shí)的角焊縫。

我國在焊接自動(dòng)化方面的研究起步較晚，目前仍處于探索階段，上海交通大學(xué)的機(jī)器人焊接智能化技術(shù)實(shí)驗(yàn)室，針對傳統(tǒng)的示教機(jī)器人，利用視覺和電弧傳感技術(shù)對機(jī)器人GTAW過程進(jìn)行實(shí)時(shí)跟蹤控制，精確度高，但是在強(qiáng)干擾條件下，原料壁厚較薄就會(huì)產(chǎn)生較大的誤差。付建安[5]將X射線焊縫圖像分為背景區(qū)域、板材區(qū)域及焊縫區(qū)域三部分，采用了基于OSTU的雙閾值分割缺陷區(qū)域自動(dòng)分割方法，提高缺陷檢測運(yùn)行速度，但是在提取前并未對缺陷目標(biāo)的連通區(qū)域大小進(jìn)行修正，導(dǎo)致原本屬于同一連通區(qū)域的目標(biāo)，在缺陷提取后被分割成多塊，缺陷標(biāo)記時(shí)被誤認(rèn)為多個(gè)缺陷，對后續(xù)缺陷目標(biāo)的分類結(jié)果造成影響。孫麗云[6]采用正交實(shí)驗(yàn)法將多種圖像處理方法結(jié)合起來，為圖像處理方法的選擇以及幾種圖像處理方法的組合提供了理論依據(jù)，同時(shí)在進(jìn)行圖像特征提取的過程中，對霍夫變換進(jìn)行了改進(jìn)，但是文章研究的焊縫特征識別都未考慮焊接過程中弧光干涉的影響，所研究的圖像處理方法是否適合有弧光影響的焊縫圖像還有待進(jìn)一步驗(yàn)證。降雨志[7]在圖像處理過程中引入差影法和投影法，加入了輔助光源，提高了焊縫識別能力，但是導(dǎo)致系統(tǒng)的穩(wěn)定性變差。楊麗麗[8]采用激光條紋中心線提取方法和焊縫特征點(diǎn)提取方法擬合了焊縫直線，但是由于過程中二值化的閾值不能自動(dòng)調(diào)整，每一次圖像處理都需要重新設(shè)定閾值，整個(gè)過程不具有普遍適應(yīng)性。陳亮[9]采用類似形態(tài)學(xué)的圖像分割方法把焊縫裂紋的形態(tài)特征完整的提取出來，但當(dāng)圖像目標(biāo)發(fā)生變化時(shí)，效果不夠理想，且各類閾值選取均有所不同，效果也將有所減弱。孟凡玉[10]運(yùn)用霍夫變換和邊界跟蹤獲取圖像的特征線段，求得圖像的特征點(diǎn)，但是由于前期圖像處理過程中坡口的弧光干涉沒有完全去除，導(dǎo)致最終的特征點(diǎn)提取和偏差量計(jì)算產(chǎn)生較大誤差。

針對復(fù)雜的焊接環(huán)境，本研究在單搭接焊縫缺陷識別[11]基礎(chǔ)上，提出了多種圖像處理算法相結(jié)合的焊縫檢測方法，該方法首先對原始圖像做預(yù)處理工作，采用圖像灰度化、中值濾波、二值化等方式去除大部分噪聲，使圖像更平滑。再通過改進(jìn)的形態(tài)學(xué)算法進(jìn)一步提取焊縫區(qū)域，最后利用最小二乘法擬合焊縫直線，提高了焊縫的識別率，滿足了工業(yè)系統(tǒng)的要求。

1 焊縫圖像采集系統(tǒng)的組成

設(shè)計(jì)的圖像采集系統(tǒng)如圖1所示。整個(gè)系統(tǒng)由CMOS相機(jī)完成圖像的采集、位置標(biāo)定和數(shù)模轉(zhuǎn)換工作。采集開始后，相機(jī)首先進(jìn)行基本參數(shù)設(shè)置和N點(diǎn)標(biāo)定，標(biāo)定主要用于確定設(shè)備坐標(biāo)系和機(jī)械臂坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，通過N點(diǎn)像素坐標(biāo)和物理坐標(biāo)，實(shí)現(xiàn)相機(jī)坐標(biāo)系和運(yùn)動(dòng)控制模塊物理坐標(biāo)系間的轉(zhuǎn)換[12]。被測焊縫經(jīng)過光源照射后成像于相機(jī)內(nèi)，再由相機(jī)將數(shù)字圖像傳輸?shù)接?jì)算機(jī)，從而獲得初始焊縫圖像。

圖1 焊接控制系統(tǒng)Fig.1 Welding control system

2 焊縫圖像處理

由于焊接過程總是伴隨著工業(yè)環(huán)境中產(chǎn)生的各種污染[13]，因此焊接過程中獲得的圖像有別于自然光下得到的圖像，這決定了焊縫圖像的特殊性。CMOS圖像傳感器所獲得的圖像存在許多噪聲和傳輸過程中產(chǎn)生的畸變，無法根據(jù)原始圖像確定焊縫的準(zhǔn)確位置，因此必須對圖像進(jìn)行處理，增強(qiáng)有關(guān)信息的可檢測性，便于進(jìn)行標(biāo)定，提高圖像質(zhì)量。

2.1 焊縫圖像預(yù)處理

圖像預(yù)處理的結(jié)果直接決定了焊縫直線提取的質(zhì)量，為了降低焊縫直線提取的難度，提高提取精度，預(yù)處理過程包括圖像灰度化和中值濾波兩部分。攝像頭拍攝焊縫照片為彩色圖像，對于一個(gè)大小是m×n的圖像來說，存儲為一個(gè)m×n×3的三維數(shù)組，由于圖片信息的存儲量大，在處理上會(huì)降低系統(tǒng)的執(zhí)行速度。同時(shí)圖像的每個(gè)像素中3個(gè)不同的顏色分量存在許多與識別無關(guān)的信息，因此在圖像處理中經(jīng)常將彩色圖像轉(zhuǎn)變?yōu)榛叶葓D像滿足加快處理速度的要求[15]。焊縫原始圖像和灰度處理后的圖像，如圖2所示。

(a) 焊縫原始圖像(b) 灰度圖像圖2 焊縫圖像Fig.2 Image of weld

灰度圖像只有強(qiáng)度信息，而沒有顏色信息，存儲灰度圖像只需要一個(gè)二維矩陣，矩陣的每個(gè)元素表示對應(yīng)位置的像素灰度值，取值范圍是0～255?；叶然幚矸椒ㄊ羌訖?quán)平均法，即對R、G、B三個(gè)分量進(jìn)行加權(quán)平均后得到的值作為當(dāng)前像素的灰度值。灰度值公式為

I=WR×R+WG×G+WB×B

(1)

式中：WR、WG、WB為R、G、B3個(gè)分量所占的權(quán)重。根據(jù)人眼對紅綠藍(lán)3色彩感覺程度不同，R、G、B分量的權(quán)重分別設(shè)置為0.65、0.33和0.02。

中值濾波是一種非線性平滑技術(shù)，基本原理是把數(shù)字圖像中某一點(diǎn)的值用該點(diǎn)的一個(gè)鄰域中各點(diǎn)值的中值代替，讓周圍的像素值接近真實(shí)值，從而消除孤立的噪聲點(diǎn)[15]。方法是將鄰域中的像素按灰度級排序，取其中間值為輸出像素。中值濾波既能夠抑制隨機(jī)噪聲，同時(shí)又不會(huì)使圖像的邊緣模糊。因此選擇3×3窗口對圖像進(jìn)行處理，如圖3所示。由圖像可以看出，原灰度圖像中的焊砂突起產(chǎn)生的噪聲經(jīng)過中值濾波后已經(jīng)去除，圖像看起來更加平滑[16]。

2.2 圖像二值化

在焊縫識別系統(tǒng)中，為了方便識別，須將預(yù)處理部分切取下來的灰度圖像做二值化處理，使其中的焊縫背景呈白色或黑色，即灰度值只有0和255，減少圖片存儲占用的空間。在此采用最大類間方差法對圖像做處理，最大類間方差法是按圖像的灰度特性，將圖像分成背景和目標(biāo)兩部分[17]。對于圖像I(x，y)，目標(biāo)和背景的分割閾值記作T，屬于目標(biāo)的像素點(diǎn)數(shù)占整幅圖像的比例記為ω0，其平均灰度為μ0；背景像素點(diǎn)數(shù)占整幅圖像的比例為ω1，其平均灰度為μ1。圖像的總平均灰度記為μ，類間方差記為g。假設(shè)圖像的背景較暗，并且圖像的大小為M×N，圖像中像素的灰度值小于閾值的像素個(gè)數(shù)記作N0，像素灰度大于閾值的像素個(gè)數(shù)記作N1，則有：

圖3 中值濾波圖像Fig.3 Median filtered image

ω0=N0/(M×N)

(2)

ω1=N1/(M×N)

(3)

N0+N1=M×N

(4)

ω0+ω1=1

(5)

μ=ω0×μ0+ω1×μ1

(6)

g=ω0(μ0-μ)2+ω1(μ1-μ)2

(7)

將式(6)代入式(7)，得到等價(jià)公式g。

g=ω0ω1(μ0-μ1)2

(8)

通過遍歷的方法得到使類間方差最大對應(yīng)的閾值，即可按照閾值將圖像劃分為目標(biāo)和背景。二值化處理的圖像如圖4所示。由圖像可以看出，圖像過濾了一些對焊縫識別無用的信息，為后續(xù)的處理排除了干擾因素。

圖4 二值化圖像Fig.4 Binarization image

2.3 圖像形態(tài)學(xué)處理

形態(tài)學(xué)圖像處理是指一系列處理圖像形狀特征的技術(shù)，基本思想是利用一種特殊的結(jié)構(gòu)元素來測量或提取有用的圖像分量，對圖像中像素點(diǎn)構(gòu)成的集合進(jìn)行變換來達(dá)到突出主要信息的目的[18]。在通常情況下，形態(tài)學(xué)圖像處理以在圖像中移動(dòng)一個(gè)結(jié)構(gòu)元素并進(jìn)行一種類似于卷積的方式進(jìn)行，結(jié)構(gòu)元素大小任意，包含0和1的組合，在每個(gè)像素位置與它下面的二值圖像之間進(jìn)行一種特定的邏輯運(yùn)算，結(jié)果輸出在圖像中對應(yīng)的該像素的位置上，產(chǎn)生的效果取決于結(jié)構(gòu)元素的大小、內(nèi)容及邏輯運(yùn)算的性質(zhì)。常見的形態(tài)學(xué)運(yùn)算采用單一的結(jié)構(gòu)元素對圖像做處理，未發(fā)揮出形態(tài)學(xué)運(yùn)算的優(yōu)勢。因此，本研究選擇采用多種結(jié)構(gòu)元素結(jié)合的形態(tài)學(xué)算法，達(dá)到改進(jìn)圖像處理結(jié)果的目的。

在形態(tài)學(xué)處理語言中，二值圖像A和結(jié)構(gòu)元素C都是定義在二維笛卡爾網(wǎng)格上的集合，像素為1的點(diǎn)是集合的元素。當(dāng)一個(gè)結(jié)構(gòu)元素原點(diǎn)位移到點(diǎn)(x，y)時(shí)，記為Cxy。在形態(tài)學(xué)處理中常用的方法有膨脹和腐蝕。一般腐蝕概念為

(A?C(x，y)=min{A(x+x′，y+y′)-

C(x′，y′)|(x′，y′)∈DC}

(9)

膨脹的概念為

(A?C)(x，y)=max{A(x-x′，y-y′)+

C(x′，y′)|(x′，y′)∈DC}

(10)

式中：A(x，y)表示輸入圖像，C(x，y)表示結(jié)構(gòu)元素，DC為C的定義域。

根據(jù)膨脹和腐蝕概念可知，腐蝕運(yùn)算的結(jié)果是圖像中與結(jié)構(gòu)元素相對應(yīng)的點(diǎn)與該圖像的灰度差的最小值，而膨脹相反，為和的最大值。腐蝕和膨脹運(yùn)算是所有形態(tài)學(xué)運(yùn)算的基礎(chǔ)，其中先對圖像做腐蝕處理，再對腐蝕后的圖像做膨脹的方法，稱為開運(yùn)算，如式(11)所示。開運(yùn)算可以使圖像的輪廓變得更光滑，斷開狹窄的間斷和消除細(xì)的突出物。反之，先對圖像做膨脹，再對膨脹后的圖像做腐蝕的方法，稱為閉運(yùn)算[19]，如式(12)所示。閉運(yùn)算可以消弭狹窄的間斷和細(xì)長的鴻溝，消除小的孔洞，填補(bǔ)輪廓線中的斷裂。

AОC=(A?C)?C

(11)

A·C=(A?C)?C

(12)

在圖像處理的過程中多次使用同一種結(jié)構(gòu)元素會(huì)導(dǎo)致結(jié)果沒有明顯的變化，不能達(dá)到提高圖像質(zhì)量和增強(qiáng)關(guān)鍵信息可檢測性的目的，因此采用了三種不同的結(jié)構(gòu)元素對圖像進(jìn)行多次腐蝕和膨脹，最終得到焊縫直線。三種不同的結(jié)構(gòu)元素矩陣分別為

運(yùn)算公式為

Sk(A)=[(A?C1)?C2]?kC3-{[(A?C1)?

C2-kC3]?C3}?C3

(13)

式中：k表示對圖像做k次相同的運(yùn)算，形態(tài)學(xué)處理結(jié)果如圖5所示。

圖5 形態(tài)學(xué)處理Fig.5 Morphological processing

經(jīng)過不同的結(jié)構(gòu)元素做形態(tài)學(xué)腐蝕和膨脹后，圖像變?yōu)橐粭l可以表示焊縫位置的曲線，方便了之后的直線擬合，提高了焊縫識別的精確度。

2.4 焊縫直線擬合

得到焊縫清晰的圖像之后，采用最小二乘法做直線擬合，以該直線表示焊縫的具體位置。給定n個(gè)序列xi，與其對應(yīng)的yi組成n個(gè)(x，y)坐標(biāo)點(diǎn)?，F(xiàn)在要找到一條直線L，使這條直線盡可能地通過或靠近這些點(diǎn)，讓這n個(gè)點(diǎn)與L的距離(殘差)平方和最小[20]。設(shè)擬合直線的方程為

L=kx+b

(14)

將處理后的圖像中所有像素值為0的點(diǎn)的坐標(biāo)提取出來，構(gòu)成一個(gè)坐標(biāo)集合(xi，yi)，則誤差平方和為

(15)

參數(shù)a，b滿足：

(16)

(17)

(18)

通過這種方法得到a和b的值，即可求得擬合直線[21]，擬合結(jié)果如圖6所示。

圖6 焊縫直線擬合

Fig.6 Weld line fitting image

3 結(jié)果及分析

圖像處理的結(jié)果表明實(shí)際焊縫軌跡與擬合軌跡基本重合，考慮到焊縫實(shí)際寬度的影響，根據(jù)像素點(diǎn)坐標(biāo)誤差分布情況，在曲線中一共采樣得到233個(gè)像素為0的點(diǎn)的坐標(biāo)，其中誤差相對距離在3個(gè)像素點(diǎn)以內(nèi)的點(diǎn)有213個(gè)，擬合直線的精確度為91.5%，滿足工業(yè)要求。有極少部分像素點(diǎn)與擬合曲線有較大偏差，這是因?yàn)樵谇捌趫D像處理的過程中，邊緣局部反光造成的噪聲點(diǎn)并沒有完全去除，這也是之后需要繼續(xù)改進(jìn)的方向。

4 結(jié) 論

焊縫控制對我國焊接自動(dòng)化水平的推進(jìn)和國民經(jīng)濟(jì)的發(fā)展有巨大的作用，而圖像處理部分是整個(gè)焊接任務(wù)的基礎(chǔ)和核心。研究過程中，深刻認(rèn)識到焊縫定位充分依賴于圖像處理的結(jié)果。實(shí)驗(yàn)在傳統(tǒng)的圖像處理算法基礎(chǔ)上做出改進(jìn)，將多種結(jié)構(gòu)元素綜合運(yùn)用在形態(tài)學(xué)算法的處理過程中，對圖像進(jìn)行反復(fù)多次腐蝕和膨脹處理，直到圖像結(jié)果達(dá)到了預(yù)定要求。并結(jié)合了圖像灰度化，中值濾波消除孤立的噪聲點(diǎn)，最大類間方差法的圖像二值化，有效的分離了焊縫區(qū)域和背景區(qū)域，最后運(yùn)用最小二乘法擬合焊縫直線，該方法原理簡單，縮短了焊接前期圖像處理的時(shí)間，可以快速有效地提取出焊縫圖像的有用信息，便于標(biāo)定焊縫位置，實(shí)驗(yàn)結(jié)果證明效果良好，為之后焊縫控制系統(tǒng)的定位和焊槍的移動(dòng)打下了良好的基礎(chǔ)，對焊接自動(dòng)化水平的提高具有重要的意義。