用于相貫線焊縫檢測機(jī)器人的圖像處理算法*

劉 曦， 徐光鋒， 費躍農(nóng)

(1.深圳大學(xué) 機(jī)電與控制工程學(xué)院，廣東 深圳 518060；2.深圳市神視檢驗有限公司，廣東 深圳 518060)

?

用于相貫線焊縫檢測機(jī)器人的圖像處理算法*

劉 曦1， 徐光鋒2， 費躍農(nóng)1

(1.深圳大學(xué) 機(jī)電與控制工程學(xué)院，廣東 深圳 518060；2.深圳市神視檢驗有限公司，廣東 深圳 518060)

針對管道相貫線焊縫難以檢測的問題，提出了一種用于管道相貫線焊縫自動檢測機(jī)器人軌道識別和定位的圖像處理算法。在顏色空間轉(zhuǎn)換和彩色邊緣檢測基礎(chǔ)上，引入圖像金字塔方法的Hough變換直線檢測算法，快速識別磁性色碼條并實現(xiàn)機(jī)器人自身姿態(tài)和運動軌跡的實時控制，將多閾值處理引入?yún)^(qū)域生長算法分割人工標(biāo)識點，對人工標(biāo)識點進(jìn)行計數(shù)從而實現(xiàn)定位。實驗結(jié)果驗證了提出的圖像處理算法的有效性。

圖像處理； 區(qū)域生長； 多閾值； 相貫線焊縫； 焊縫檢測機(jī)器人

0 引 言

管道相貫線焊縫的檢測環(huán)境復(fù)雜且惡劣，檢測難度大且檢測效率較低，因此，針對管道相貫線焊縫的自動檢測機(jī)器人日益受到科研人員和工程人員的重視[1]。機(jī)器人需要攜帶無損檢測設(shè)備自主地沿著主管與支管之間的相貫線焊縫運動并完成對焊縫缺陷的檢測和定位，因此，機(jī)器人必須具備自動尋跡和定位的功能。為了實現(xiàn)對焊縫的準(zhǔn)確檢測，機(jī)器人需要實時調(diào)整自身的姿態(tài)和行駛軌跡以使檢測探頭始終與焊縫保持一定的距離和角度[2]。常見的機(jī)器人導(dǎo)航定位方式有機(jī)器視覺導(dǎo)航、GPS導(dǎo)航、傳感器導(dǎo)航等。視覺導(dǎo)航主要是機(jī)器人通過攝像頭獲得環(huán)境信息，并規(guī)劃出所需路徑[3]。GPS導(dǎo)航以空間衛(wèi)星為基礎(chǔ)，定位精度高、能全天候工作，但存在抗干擾能力差等問題[4]。傳感器導(dǎo)航包含超聲波傳感器、紅外線傳感器和磁場傳感器等多種形式，傳感器導(dǎo)航常常采用多傳感器融合的技術(shù)，使得這種導(dǎo)航方式應(yīng)用廣泛[5～7]。

目前，國內(nèi)外關(guān)于機(jī)器人自動導(dǎo)航與定位的研究有很多。文獻(xiàn)[8]中介紹了一種采用檢測交變磁場方式實現(xiàn)導(dǎo)航的農(nóng)用噴霧機(jī)器人，由于易受到外界磁場的干擾使得這種電磁引導(dǎo)方式具有一定的局限性[8]；文獻(xiàn)[9]中介紹了一種基于激光鼠標(biāo)以及慣性測量單元(inertial measurement unit,IMU)系統(tǒng)的機(jī)器人導(dǎo)航和定位方法，這種方法中的激光鼠標(biāo)需要對光學(xué)鏡頭做很復(fù)雜的改造并且IMU系統(tǒng)很容易受磁場環(huán)境的影響[9,10]。

管道相貫線焊縫的檢測環(huán)境復(fù)雜，機(jī)器人需要在一個三維曲面上運動。狹窄的通過空間和雜亂磁場的干擾等因素使得諸多導(dǎo)航定位方式無法實現(xiàn)[11]。本文根據(jù)管道相貫線焊縫自動檢測機(jī)器人視覺導(dǎo)航和定位的實際需求，提出了一種用于該機(jī)器人的圖像處理算法。實驗表明:算法具備計算復(fù)雜度低、抗噪聲能力強(qiáng)和穩(wěn)定準(zhǔn)確的特點。

1 視覺導(dǎo)航對圖像處理要求

為了幫助機(jī)器人自動識別軌道和定位，圍繞相貫線焊縫放置了一圈帶有磁性的色碼條，綠色的色碼條上等間隔的分布著紅色和藍(lán)色的人工標(biāo)識點。機(jī)器人通過識別色碼條來實現(xiàn)軌道識別，同時通過對色碼條上等間隔交替排列的紅色和藍(lán)色人工標(biāo)識點的識別與計數(shù)實現(xiàn)定位功能，以輔助對焊縫缺陷進(jìn)行定位。

圖像處理算法需要實現(xiàn)的功能就是在攝像頭拍攝的圖像中，準(zhǔn)確找到色碼條位置以計算出檢測探頭與色碼條之間距離與角度，同時,還需要準(zhǔn)確地分割出紅色和藍(lán)色標(biāo)識點。如圖1中所示，實際管道焊縫有的存在銹跡、有的經(jīng)過打磨而具備金屬光澤、有的涂有防銹涂料或沾染油污，因此,拍攝圖像中可能存在局部紋理噪聲、大面積反光、顏色干擾等情況，這些都給色碼條的識別和分割增加了難度。另外，由于機(jī)器人需要根據(jù)圖像處理結(jié)果進(jìn)行控制，所以,對于圖像處理算法的實時性要求也比較高。

圖1 幾種不同類型焊縫表面

2 圖像處理算法

2.1 顏色空間轉(zhuǎn)換

常用的RGB顏色空間三分量之間存在很強(qiáng)的相關(guān)性且顏色信息和亮度信息混合在一起，易受光照環(huán)境影響,不適用于機(jī)器人的圖像處理。而YUV模型中亮度信號Y和色度信號U,V分離，有利于排除光照影響[12]。RGB色彩空間到Y(jié)UV色彩空間的轉(zhuǎn)換如式(1)所示[13]

(1)

選擇YUV模型并且只使用與亮度無關(guān)的色度信號U,V進(jìn)行圖像處理，可以有效地將光照環(huán)境不均、局部反光等干擾因素排除，只利用圖像顏色特征實現(xiàn)識別和分割。U,V兩個顏色分量就成為了一個二維的平面模型，可以看成是YUV顏色空間的三維立方模型投影在Y=0的平面上。

2.2 彩色邊緣檢測與二值化處理

為了在圖像中找到色碼條的位置，可以利用色碼條的邊緣信息。令y，u，v為沿YUV顏色空間的Y，U，V軸的單位向量，并定義向量為[14]

(2)

(3)

令gxx，gyy,gxy表示這些向量的點積，如下所示

(4)

(5)

(6)

使用這種表示法，最大變化率的方向可以由角度

(7)

給出，且在角度θ(x，y)方向上點(x，y)處的變化率的值由式(8)給出

(8)

由于本文只考慮U，V分量而不考慮Y分量，所以，可以認(rèn)為所有像素點的Y值均為0。為分析圖像的特征，還需要選擇合適的閾值將邊緣檢測的結(jié)果進(jìn)行二值化[15]。

2.3 多分辨率Hough變換的直線檢測

Hough變換直線檢測，需要利用直線的極坐標(biāo)方程將x-y坐標(biāo)系中的特征點變換到參數(shù)空間中。具體計算時，對需要進(jìn)行變換的特征像素點，要使α從-90°到90°，每次增加一個步進(jìn)角Δα，將其坐標(biāo)進(jìn)行一次變換。若對結(jié)果精度要求較高，則步進(jìn)角Δα需要足夠小，計算量將會非常大而不利于實時處理，所以，本文引入了圖像金字塔的圖像處理思想。

圖2 圖像金字塔示意

如圖2中所示，運用某種規(guī)則或計算，將金字塔底層的高分辨率圖像迭代到上一層低分辨率的近似圖像，即可用多個分辨率處理一幅圖像。

(9)

2.4 區(qū)域生長及其實現(xiàn)

圖像中不同顏色像素點的U，V值的組合是不同的，因此，可以利用像素點的顏色特征作為區(qū)域生長的準(zhǔn)則分割人工標(biāo)識點與背景。區(qū)域生長是根據(jù)事先定義的準(zhǔn)則將像素或者子區(qū)域聚合成更大的區(qū)域的過程[17，18]。

2.4.1 區(qū)域生長種子點

圖像邊緣像素點的一側(cè)即為需要提取的色碼條，于是可以將彩色邊緣檢測二值圖結(jié)果中的特征像素點作為區(qū)域生長的種子點。

2.4.2 區(qū)域生長準(zhǔn)則

色碼條所在的像素點一定在邊緣像素點的附近，可以作為區(qū)域生長準(zhǔn)則的位置信息。同時，色碼條上的顏色信息也可以作為區(qū)域生長準(zhǔn)則的重要信息。以往的研究中，大多采用單一的位置信息或者顏色信息作為區(qū)域生長的準(zhǔn)則，而本文的算法則結(jié)合了圖像的位置信息與顏色信息，并且采用多閾值處理的方式實現(xiàn)顏色分布區(qū)域的動態(tài)閾值調(diào)整，增加了算法的可靠性。

綠色的色碼條、紅色標(biāo)識點、藍(lán)色標(biāo)識點以及背景的像素點在U-V分布上，各自的區(qū)間不同，可以利用顏色的分布區(qū)間作為區(qū)域生長準(zhǔn)則。設(shè)計的區(qū)域生長準(zhǔn)則如下：

1)待生長的像素點與種子點的距離限制

待生長點P(x,y)與種子點Pseed(xi,yi)的位置關(guān)系為

(10)

式中 dT為距離限定閾值。

2)待生長點P(x,y)滿足顏色分布區(qū)間

區(qū)域生長過程中，將所有滿足上述條件的待生長像素點生長為新的特征點。

攝像頭的自動曝光度調(diào)整和自動白平衡調(diào)整等功能使得拍攝的圖像序列中存在偏色現(xiàn)象，導(dǎo)致一種顏色的U-V分布區(qū)間存在一定范圍的波動。因此，傳統(tǒng)固定顏色區(qū)間的區(qū)域生長算法使生長結(jié)果存在較大的缺損或者引入大面積的噪聲。多閾值處理與區(qū)域生長算法相結(jié)合，在區(qū)域生長準(zhǔn)則中引入動態(tài)閾值區(qū)間可以很好地解決偏色現(xiàn)象造成的顏色分布區(qū)間波動的問題[19]。

2.4.3 區(qū)域生長停止條件

對每一個種子點按照區(qū)域生長準(zhǔn)則進(jìn)行一次區(qū)域生長，當(dāng)遍歷完整幅圖中所有的種子點之后停止區(qū)域生長。

2.5 多閾值處理

基于最小二乘法原理的最大類間方差法，常常用于圖像的二值化閾值分割。但本文中需要用2個或2個以上的全局閾值對圖像進(jìn)行分割，于是引入了多閾值處理[21]。以最大類間方差法為基礎(chǔ)的可分性度量可以擴(kuò)展到任何數(shù)量的分量。在K個類C0，C1，…，CK-1的情況下，類間方差可歸納為

(11)

其中

Pk=∑i∈Ckpi

(12)

(13)

(14)

(15)

3 實驗結(jié)果

相貫線焊縫檢測機(jī)器人的圖像處理算法流程如圖3所示。圖像處理算法由一塊搭載Samsung ARM Cortex—A9處理器的卡片電腦實現(xiàn)，穩(wěn)定時圖像處理的速度可以達(dá)到10幀/s以上。

圖3 圖像處理算法流程

由圖4中可以看到，原始圖像在轉(zhuǎn)換到Y(jié)UV顏色空間之后，U,V分量灰度圖中排除了光照、陰影等和亮度有關(guān)的信息，而只保留了色度信息。

圖4 原始圖片及Y,U,V分量灰度圖

利用多分辨率的Hough變換直線檢測方法，最終找到比較精確的色碼條上下邊界的擬合直線結(jié)果如圖5所示，圖中藍(lán)色和紅色的直線分別為色碼條上下邊界的直線擬合結(jié)果。

圖5 直線擬合結(jié)果

經(jīng)過區(qū)域生長及多閾值處理后，可以準(zhǔn)確地將綠色的色碼條以及紅色、藍(lán)色標(biāo)識點與背景分割開，最終的分割效果如圖6所示。

圖6 綠色軌道、紅色以及藍(lán)色標(biāo)識點的分割效果

機(jī)器人在運動的過程中，采集到的是連續(xù)的圖像序列。圖像處理算法需要對采集到的每一幅圖像進(jìn)行識別和分割。機(jī)器人在幾種不同類型的鋼管表面進(jìn)行了實驗，包括帶有銹跡的鋼管表面、經(jīng)過打磨而非常光亮的鋼管表面以及涂有焊縫防銹涂層的鋼管表面。實驗結(jié)果表明，圖像處理算法面對以上情況都能準(zhǔn)確穩(wěn)定地實現(xiàn)識別和分割。

4 結(jié)束語

本文提出的針對于一種相貫線焊縫檢測機(jī)器人的圖像處理算法能夠穩(wěn)定地識別出色碼條和標(biāo)識點從而實現(xiàn)機(jī)器人的自主尋跡和定位。算法中結(jié)合了目標(biāo)的位置信息和顏色信息，增強(qiáng)了處理結(jié)果的準(zhǔn)確性和穩(wěn)定性，并優(yōu)化了算法的結(jié)構(gòu)使其滿足了實時處理的要求。在搭載Samsung ARM Cortex—A9處理器的卡片電腦上穩(wěn)定時可以實現(xiàn)10幀/s。以上的圖像處理速度。實驗結(jié)果表明：無論是在經(jīng)過打磨的焊縫表面還是帶有輕微鐵銹的焊縫表面，該算法都能夠準(zhǔn)確地識別出色碼條、分割出人工標(biāo)識點，給管道相貫線焊縫檢測機(jī)器人的控制提供準(zhǔn)確的導(dǎo)航和定位信息。算法執(zhí)行穩(wěn)定、可靠且具有一定的抗干擾性。

[1] 嚴(yán) 凌,胡偉利,李建萍.鋼結(jié)構(gòu)桁架相貫線焊縫超聲檢測方法研究[J].南昌航空大學(xué)學(xué)報:自然科學(xué)版,2005,19(2):95-99.

[2] 鄢 波,顏國正.基于冗余關(guān)節(jié)機(jī)器人的插接管道焊縫掃查系統(tǒng)設(shè)計[J].光學(xué)精密工程,2004,12(4):420-425.

[3] 崔 維,丁 玲.基于視覺導(dǎo)航和RBF的移動采摘機(jī)器人路徑規(guī)劃研究[J].農(nóng)機(jī)化研究,2016(11):234-238.

[4] 歐陽正柱,何克忠.GPS在智能移動機(jī)器人中的應(yīng)用[J].微計算機(jī)信息,2001,15(11)：56-58.

[5] 黃漫國,樊尚春,鄭德智,等.多傳感器數(shù)據(jù)融合技術(shù)研究進(jìn)展[J].傳感器與微系統(tǒng),2010,29(3):5-8.

[6] 陳小寧,黃玉清,楊 佳.多傳感器信息融合在移動機(jī)器人定位中的應(yīng)用[J].傳感器與微系統(tǒng),2008,27(6):110-113.

[7] 趙小川,羅慶生,韓寶玲.機(jī)器人多傳感器信息融合研究綜述[J].傳感器與微系統(tǒng),2008,27(8):1-4.

[8] 楊世勝,張 賓,于曙風(fēng),等.電磁誘導(dǎo)農(nóng)用噴霧機(jī)器人路徑導(dǎo)航系統(tǒng)的設(shè)計與實現(xiàn)[J].機(jī)器人,2007,29(1)：78-87.

[9] Hyun D,Yang H S,Yuk G H,et al.A dead reckoning sensor system and a tracking algorithm for mobile robots[C]∥2009 IEEE International Conference on Mechatronics，ICM 2009,IEEE,2009:1-6.

[10] 李旭輝.MEMS發(fā)展應(yīng)用現(xiàn)狀[J].傳感器與微系統(tǒng),2006,25(5):7-9.

[11] 楊文偉.鋼管桁架相貫線焊縫的檢測與焊接缺陷分析[J].山西建筑,2007,33(34):3-4.

[12] Andreas Koschan,Mongi Abidi.彩色數(shù)字圖像處理[M].章毓晉,譯.北京：清華大學(xué)出版社,2010：55-57.

[13] 張 錚,徐 超,任淑霞，等.數(shù)字圖像處理與機(jī)器視覺[M].北京：人民郵電出版社,2014：287-288.

[14] Gonzalez R C,Woods R E.數(shù)字圖像處理[M].2版.北京：電子工業(yè)出版社,2013: 281-283.

[15] 潘永利,孫小雪.數(shù)字圖像處理技術(shù)在移動機(jī)器人中的應(yīng)用[J].青島理工大學(xué)學(xué)報,2008,29(5):124-128.

[16] 岳冬雪,黃新生.基于改進(jìn)的多分辨率Hough變換的直線檢測方法[J].計算機(jī)仿真,2006,23(9):76-79.

[17] 劉步實,梁秋媛,覃 曉.區(qū)域生長算法在校園道路識別中的應(yīng)用[J].軟件導(dǎo)刊,2016,15(3):144-146.

[18] 柯 衛(wèi),王宏力,袁 宇,等.基于區(qū)域生長法的星圖中星的提取方法[J].傳感器與微系統(tǒng),2015,34(12):57-58.

[19] 林開顏,吳軍輝,徐立鴻.彩色圖像分割方法綜述[J].中國圖象圖形學(xué)報,2005,10(1):1-10.

[20] 汪海洋,潘德爐,夏德深.二維Otsu自適應(yīng)閾值選取算法的快速實現(xiàn)[J].自動化學(xué)報,2007,33(9):968-971.

[21] 王 磊,段會川.Otsu方法在多閾值圖像分割中的應(yīng)用[J].計算機(jī)工程與設(shè)計,2008,29(11):2844-2845.

Image processing algorithm for intersecting line weld inspection robot*

LIU Xi1, XU Guang-feng2, FEI Yue-nong1

(1.College of Mechanics and Control Engineering,Shenzhen University,Shenzhen 518060,China;2.SENSE Engineering Services Ltd,Shenzhen 518060,China)

An image processing algorithm for automatic detecting robot of intersecting line weld to identify pathway and localization is proposed,aiming at problem that the intersecting line weld is difficult to be detected.On the basis of color space conversion and color edge detection,an image pyramids method is introduced to the Hough transform line detection algorithm,to identify the magnetic color-coded strips quickly and achieve real-time control of the attitude and motion trajectory of the robot; a multi-threshold calculation is applied to the region growing algorithm to segment the artificial mark points,and the artificial mark points are counted so as to realize localization.The effectiveness of the proposed image processing algorithm is verified through experimental results.

image processing; region growing; multi-threshold; intersecting line weld; weld inspection robot

10.13873/J.1000—9787(2017)07—0146—04

2016—09—06

深圳市技術(shù)創(chuàng)新計劃資助項目(20150327135346)

TP 24

A

1000—9787(2017)07—0146—04

劉 曦(1991-)，男，碩士研究生，研究方向為圖像處理與機(jī)器視覺。

費躍農(nóng)(1962-)，男，通訊作者，博士，教授，從事無損檢測、焊接設(shè)備及自動化、機(jī)器人控制技術(shù)、圖像處理與機(jī)器視覺、機(jī)電一體化技術(shù)、電力電子控制技術(shù)、計算機(jī)控制技術(shù)、智能測控技術(shù)研究工作，E—mail:feiyn@szu.edu.cn。