基于區(qū)域連通濾波的薄板焊縫跟蹤圖像處理算法

清華大學(xué)機械工程系(北京市 100084)

歐志輝 孫振國

基于區(qū)域連通濾波的薄板焊縫跟蹤圖像處理算法

清華大學(xué)機械工程系(北京市 100084)

歐志輝 孫振國

針對工件表面經(jīng)過局部打磨或點固的薄板對接、搭接焊縫的焊縫中心線提取和焊接起始位置搜索問題，提出了一種基于區(qū)域連通濾波與Hough直線變換相結(jié)合的圖像處理算法。采用自適應(yīng)二值化算法有效分離打磨后灰度值非常接近的背景區(qū)域和目標(biāo)區(qū)域；然后根據(jù)薄板對接、搭接焊縫寬度窄、直線型的形態(tài)學(xué)特征，采用區(qū)域連通濾波方法提取出焊縫區(qū)域；對于焊接圖像中存在的點固點干擾，通過區(qū)域連通濾波與Hough直線變換相結(jié)合進行濾除。試驗結(jié)果表明，該方法能實現(xiàn)快速準(zhǔn)確的薄板對接、搭接焊縫跟蹤，跟蹤精度在±0.3 mm以內(nèi)。

區(qū)域連通濾波 對接 搭接 圖像處理 焊縫跟蹤

0 序 言

采用計算機視覺及圖像處理技術(shù)，進行焊縫跟蹤，從而實現(xiàn)焊接過程的自動化，可以減少工作強度、改善勞動條件、提高焊接效率和焊接質(zhì)量，是焊接智能化發(fā)展的重要方向[1-3]。而如何設(shè)計合理有效的焊縫跟蹤圖像處理算法，從相機獲取的焊接區(qū)域圖像中快速準(zhǔn)確地提取焊縫中心線，一直是焊接工作者研究的熱點問題之一[4-6]。

對于常規(guī)的薄板對接、搭接，根據(jù)其直線特征，運用Hough直線變換可粗略提取焊縫直線，利用最小二乘法對直線方程進行濾波能準(zhǔn)確地提取出焊縫中心線[7]。但部分工件由于表面有大量油污或銹斑存在，直接焊接容易產(chǎn)生缺陷，無法保證焊接質(zhì)量，需要在施焊前對工件表面進行打磨、拋光等清潔處理。打磨后的工件，部分背景區(qū)域與目標(biāo)區(qū)域灰度值較接近，且可能出現(xiàn)與焊縫特征接近的區(qū)域，如果直接對焊縫圖像進行Hough變換提取直線容易出現(xiàn)誤判。對于沒有點固點的薄板對接、搭接焊縫，文獻中采用結(jié)構(gòu)光視覺，通過求取灰度的二階導(dǎo)數(shù)可準(zhǔn)確求取焊縫中心[8]。但在薄板焊接時，為防止變形，焊前會對工件進行點固，點固點特征較復(fù)雜，結(jié)構(gòu)光圖像特征不明顯，容易出現(xiàn)誤判。對于有點固點存在的焊縫圖像，文獻中通過增量閾值法濾除點固點干擾[9]。但如果工件表面因為打磨而存在較多暗斑，增量閾值法會誤將有效區(qū)域刪除，導(dǎo)致特征點過少而不能準(zhǔn)確地提取焊縫中心線。

針對經(jīng)過局部打磨，有點固點干擾的薄板對接、搭接焊縫，文中提出并實現(xiàn)了一種基于區(qū)域連通濾波與Hough直線變換相結(jié)合的焊縫跟蹤圖像處理算法，根據(jù)各區(qū)域面積大小及薄板焊縫寬度窄、直線型的形態(tài)學(xué)特征，有效排除了局部打磨及點固點帶來的干擾，準(zhǔn)確識別焊接初始點。

1 焊縫圖像處理算法

在實際應(yīng)用中，薄板焊縫跟蹤系統(tǒng)一般在焊槍前加上防護板，并配以合適的輔助光源與濾光片來濾除弧光干擾。采用CCD視覺傳感器采集的典型對接、搭接焊縫圖像如圖1所示。由圖1可見，這兩種焊縫圖像具有相似的目標(biāo)區(qū)域，采用的圖像處理算法的流程基本相同，即：首先采用局部自適應(yīng)二值化處理來有效分離目標(biāo)區(qū)域和干擾區(qū)域，然后對其進行2次區(qū)域連通濾波處理來提取出焊縫區(qū)域，并利用灰度重心法對其進行單像素化，最后采用Hough直線變換與最小二乘擬合相結(jié)合的方法來有效提取焊縫中心線。下文以對接焊縫為例加以詳述。

圖1 有點固點的對接、搭接焊縫圖像

1.1 圖像局部自適應(yīng)二值化處理

在提取焊縫特征前，必須對圖像進行二值化處理[10]。二值化可將圖像中的目標(biāo)區(qū)域和背景區(qū)域進行分離，從而減少圖像中的干擾。如圖2所示，對于經(jīng)過局部打磨的工件，部分背景區(qū)域與焊縫區(qū)域灰度值接近，直接對圖像進行固定閾值二值化，不僅閾值不易選取，而且容易錯將焊縫區(qū)域當(dāng)成背景區(qū)域，丟失目標(biāo)信息，也容易將背景區(qū)域當(dāng)成焊縫區(qū)域，導(dǎo)致后續(xù)處理更加復(fù)雜甚至誤判。固定閾值二值化圖像如圖3a所示。從圖中可看出，固定閾值二值化誤將部分背景區(qū)域當(dāng)成目標(biāo)區(qū)域，使得目標(biāo)區(qū)域難以提取。為克服上述干擾，文中采用局部自適應(yīng)二值化處理，即根據(jù)像素的鄰域塊的灰度值來確定該像素位置上的二值化閾值。局部自適應(yīng)二值化閾值的計算原理為：

(1)

式中：i，j分別為圖像的行和列變量；f(i，j)為圖像第i行第j列的灰度值；K確定所選鄰域塊的大?。籆為常量；T為所求取的閾值；m，n分別為圖像的行和列位置。

圖2 局部打磨對接焊縫

用上述局部自適應(yīng)閾值公式進行二值化處理，選取K=15，C=30，得到二值化圖像如圖3b所示。從圖中可看出，局部自適應(yīng)閾值二值化能很好地將焊縫區(qū)域與干擾區(qū)域進行分離，為后續(xù)焊縫區(qū)域的提取提供了基礎(chǔ)。

1.2 基于區(qū)域連通濾波的焊縫區(qū)域提取

焊接起始點作為整個焊接過程的基準(zhǔn)值，其定位的精度直接影響焊縫跟蹤的精度。而焊縫區(qū)域提取是焊縫圖像處理中的重要步驟，在焊前搜索焊接起始位置時顯得尤為重要。焊縫圖像經(jīng)過自適應(yīng)二值化預(yù)處理后分開成若干區(qū)域，包括焊縫區(qū)域和干擾區(qū)域。其中，干擾區(qū)域主要是由反射、打磨及工件表面暗斑等引起的。通過分析這些干擾區(qū)域可發(fā)現(xiàn)，其區(qū)域大小及形狀特征與焊縫區(qū)域有較大差別。因此，可以通過連通域分析得到各連通區(qū)域的大小和形狀特征參數(shù)，根據(jù)對接焊縫具有的焊縫寬度窄、直線型等特點，進行區(qū)域連通濾波可快速、有效地濾除干擾區(qū)域，得到焊縫區(qū)域。

圖3 二值化后的焊縫圖像

連通域常見的鄰接關(guān)系有4鄰接和8鄰接，文中考慮4鄰接連通域。區(qū)域連通檢測步驟為：①第一次掃描，訪問二值圖像中像素f(i，j)，如果某個像素f(i，j)=1且4鄰域像素都為0，則賦予一個新的label，即label++，f(i，j) =label；②如果某個像素 f(i，j)=1且4鄰域內(nèi)有像素值不為0，則將鄰域中最小label賦給f(i，j)；③記錄下鄰域中有多個像素f(i，j)=1的各個label之間的相等關(guān)系，即這些不同label值同屬一個連通區(qū)域；④第二次掃描，如果像素f(i，j)>1，找到與label=f(i，j)同屬相等關(guān)系的最小label值，賦給f(i，j)；⑤掃描完成后，圖像中具有相同label值的像素就組成了同一個連通區(qū)域。

對二值化處理后的圖像按上述步驟進行區(qū)域連通檢測，再對各連通域進行邊界矩形提取，可得到包含各個連通域的最小矩形及其形狀參數(shù)。通過圖像分析所獲得的形狀描述可以用于目標(biāo)識別[11]。

從圖3b中可看出，二值化后圖像存在很多小面積區(qū)域，這是由于工件表面的暗斑產(chǎn)生的。這些干擾區(qū)域的面積與焊縫區(qū)域面積相差很大，因此可設(shè)定連通區(qū)域面積閾值來濾除這些小面積干擾區(qū)域。第1次區(qū)域連通濾波，濾除干擾后圖像如圖4所示。

圖4 第1次區(qū)域連通濾波圖像

由圖4可見，通過上述濾波后，小面積干擾區(qū)域均已濾除，剩下的是由于打磨引起的大面積干擾區(qū)域。這些干擾區(qū)域沒有任何形狀規(guī)則，而對接焊縫是直線且寬度很窄，其邊界矩形的寬長比很小。因此，對各連通域的邊界矩形求取寬長比值，則可濾除與焊縫中心區(qū)域形狀相差較大的區(qū)域。各連通區(qū)域?qū)掗L比值與區(qū)域面積關(guān)系如圖5所示。

圖5 區(qū)域面積與寬長比關(guān)系圖

從圖5可看出，各連通區(qū)域中，焊縫區(qū)域的寬長比最小，且比值與其它區(qū)域相差較大。通過設(shè)定合理寬長比閾值可有效地濾除干擾區(qū)域。第2次區(qū)域連通濾波后的圖像如圖6所示，此時干擾區(qū)域被完全濾除，焊縫區(qū)域被有效地提取出來。

1.3 焊縫中心線提取

對于沒有點固點存在的焊縫圖像，經(jīng)過區(qū)域連通濾波后，各干擾區(qū)域均已濾除，僅剩下焊縫區(qū)域，如圖6所示。對區(qū)域連通濾波后的圖像按列掃描，利用灰度重心法求取每一列的焊縫中心。其原理為：

圖6 第2次區(qū)域連通濾波圖像

(2)

式中：i，j分別為圖像的列和行； g(i)為每一列焊縫中心所在位置；N為f(i，j)≠0的個數(shù)；f(i，j)為圖像中第i列第j行的灰度值(取值為0或1)；n為圖像的總行數(shù)。

對求取的焊縫中心用最小二乘法進行直線擬合，擬合后的焊縫中心線如圖7所示。

圖7 沒有點固點擬合的焊縫中心線

對于存在如圖1a所示的有點固點且工件表面存在較多暗斑的焊縫，先采用區(qū)域連通濾波與Hough直線變換相結(jié)合，來濾除點固點干擾，然后用最小二乘濾波擬合焊縫中心線。

由于Hough變換需要進行坐標(biāo)轉(zhuǎn)換，直接對焊縫區(qū)域進行Hough變換，會耗時較長。為減少Hough變換運算時間，首先利用公式(2)對焊縫區(qū)域進行單像素化。再對單像素化后的焊縫區(qū)域進行Hough直線變換，檢測到若干條直線段，選擇最長線段上的點進行最小二乘直線擬合，擬合的直線即為所求取的焊縫中心線，如圖8所示。

圖8 有點固點擬合的焊縫中心線

2 試驗效果

(1)分別對不銹鋼、打磨與不打磨的碳鋼進行焊縫跟蹤試驗。薄板焊縫寬度約為0.5 mm，長度1 080 mm，每隔20 mm進行抽樣計算焊縫跟蹤精度，使用同一套設(shè)備對相同的焊縫進行跟蹤試驗，重復(fù)試驗20次得到焊縫跟蹤精度隨跟蹤長度的變化曲線如圖9所示。從試驗結(jié)果可以看出，文中所提出的算法對不銹鋼和打磨前后的碳鋼均適應(yīng)，且跟蹤偏差能夠維持在±0.3 mm以內(nèi)。

圖9 焊縫跟蹤試驗結(jié)果

(2)為驗證所設(shè)計圖像處理算法實際應(yīng)用效果，在成都艾格科技有限責(zé)任公司搭建的集裝箱薄板自動化組焊試驗平臺上進行了大量的薄板對接焊接試驗，結(jié)果表明，文中所設(shè)計的圖像處理算法能夠有效克服弧光干擾，跟蹤速度和精度滿足工程應(yīng)用要求。

3 結(jié) 論

提出了一種針對于工件表面局部打磨，有點固點干擾的對接、搭接焊縫視覺跟蹤方法。首先采用自適應(yīng)閾值二值化可有效分離干擾區(qū)域與焊縫區(qū)域。然后通過區(qū)域連通濾波，根據(jù)各區(qū)域面積大小及薄板焊縫寬度窄、直線型的形態(tài)學(xué)特征，有效排除了打磨帶來的干擾。用區(qū)域連通濾波與Hough直線變換相結(jié)合有效消除了點固點干擾。相關(guān)試驗表明，該算法適應(yīng)性強、精度高，能準(zhǔn)確找到焊接的起始位置，可滿足相關(guān)企業(yè)集裝箱薄板對接焊縫的自動焊接要求。

[1] 吳 林，陳善本. 智能化焊接技術(shù)[M]. 北京: 國防工業(yè)出版社，2000.

[2] 陳 強，孫振國. 計算機視覺傳感技術(shù)在焊接中的應(yīng)用[J]. 焊接學(xué)報,2001，22(1):83-90.

[3] 宋天虎. 轉(zhuǎn)型升級——現(xiàn)代焊接制造的發(fā)展趨勢[J]. 焊接，2013(7):10-13.

[4] Muhammad J，Altun H，AboSerie E. Welding seam profiling techniques based on active vision sensing for intelligent robotic welding[J]. International Journal of Advanced Manufacturing Technology，2016:1-19.

[5] Chen H，Liu K，Xing G，et al. A robust visual servo control system for narrow seam double head welding robot[J]. International Journal of Advanced Manufacturing Technology，2014，71:1849-1860.

[6] 何銀水，張 華.水下焊接中無弧V形焊縫的識別[J]. 焊接，2006(2):39-43.

[7] 方灶軍，鄢治國，徐 德. 集裝箱薄板的對接焊縫視覺跟蹤系統(tǒng)[J]. 上海交通大學(xué)學(xué)報，2008，42(11):80-83.

[8] 莫勝撼，喻寧娜，梁廣瑞，等. 基于結(jié)構(gòu)光無坡口對接焊縫圖像實時處理研究[J]. 焊接技術(shù)，2009，38(9):14-18.

[9] 張伯奇，鄭 軍，潘際鑾. 基于視覺檢測的對接焊縫跟蹤方法[J]. 電焊機，2010，40(12):15-18.

[10] 喻寧娜，莫勝撼，戴建樹. 基于激光視覺傳感的焊縫圖像閾值分割法研究[J]. 焊接，2015(5):21-24.

[11] 郭振民，陳善本，吳 林，等. 數(shù)字圖像處理技術(shù)在弧焊機器人視覺伺服系統(tǒng)中的應(yīng)用[J]. 機器人，2001，23(7):698-711.

2016-08-21

國家自然科學(xué)基金資助項目(51475259)

TG409

歐志輝，1989年出生，碩士研究生。研究方向為基于視覺的焊縫跟蹤與檢測。