基于雙色光源視覺的標準焊接工件搜尋與焊縫定位

（北京工業(yè)大學(xué)機械工程及應(yīng)用電子技術(shù)學(xué)院，北京100124）

0 前言

近年來，計算機技術(shù)、機器人技術(shù)、電子技術(shù)的不斷發(fā)展為焊接自動化奠定了堅實基礎(chǔ)，因而焊接實現(xiàn)全自動化成為必然趨勢[1]。其關(guān)鍵技術(shù)是焊縫路徑的識別。

目前，焊接機器人的焊縫識別方法主要有示教編程、離線編程和自主編程3種形式[2-3]。

相比其他兩種方式，自主編程技術(shù)提高了焊接機器人的智能化水平，已經(jīng)成為現(xiàn)代焊接技術(shù)的發(fā)展趨勢，主要的一個方向就是利用機器視覺傳感器和相關(guān)處理算法規(guī)劃焊接路徑。通過視覺傳感方式定位焊縫，無需與傳感器發(fā)生接觸或者相對運動，與其他傳感方式相比具有定位快、精度高、抗干擾能力強等優(yōu)勢，對于實現(xiàn)智能化機器人焊接適用性最強[4-5]。

在英國、德國、加拿大、日本等發(fā)達國家已經(jīng)有較為成熟的視覺傳感產(chǎn)品廣泛應(yīng)用于焊接領(lǐng)域[6]。國內(nèi)對基于視覺的焊接機器人研究雖然取得了一些成果，也出現(xiàn)了產(chǎn)品化的系統(tǒng)，但在系統(tǒng)集成度、柔性化、自主性等方面與國外先進技術(shù)還有一定差距，產(chǎn)品應(yīng)用有待完善[6]。

本研究針對上述需求，基于視覺技術(shù)研究了焊接工件的識別及焊縫的定位。

1 標準化工件定位特點與視覺系統(tǒng)設(shè)計

1.1 標準化工件定位特點

根據(jù)不同的工業(yè)需求，現(xiàn)代焊接會出現(xiàn)不同的標準化工件焊接，具有尺寸標準、形狀特征明顯、焊接數(shù)量大等特點。

在研究標準化工件的自動焊接中，根據(jù)其特有的形狀特征，基于機器視覺工件的特征元素，改變傳統(tǒng)圖像信息的表達方式，保留圖像重要特征的同時，研究焊接工件識別和焊縫路徑獲取的方法。

1.2 視覺系統(tǒng)設(shè)計

針對標準化工件自動化焊接問題，設(shè)計了一套視覺定位系統(tǒng)，包括雙色復(fù)合光源、視覺傳感器、運動控制器、圖像處理器等。視覺傳感系統(tǒng)框圖如圖1所示。

圖1 視覺傳感系統(tǒng)框圖Fig.1 Visual sensing system block diagram

光源是機器視覺系統(tǒng)中重要的組件之一，合適的光源是機器視覺系統(tǒng)正常運行的必備條件。因此，機器視覺光源的選擇非常重要。使用光源的目的是區(qū)分目標物體與背景，獲得高品質(zhì)、高對比度的圖像。LED光源是目前應(yīng)用最多的機器視覺光源，具有效率高、壽命長、防潮防震、節(jié)能環(huán)保等特點，適用于焊接環(huán)境。由于本研究的目標工件具有明顯的角度，所以在實驗處理過程中選用雙色LED光源以不同角度照射待焊接區(qū)域，獲取明顯的特征信息。

焊縫路徑的獲取是完成基于主動雙色光源掃描信息的視覺標定方法研究的關(guān)鍵，其提取的精度直接影響視覺標定的準確性。本研究中CCD相機采集的焊接工件信息原始圖是彩色圖像，其信息量相對較大且存在大量的隨機噪聲，因此，優(yōu)先對采集的彩色圖像進行圖像預(yù)處理，提取出焊接工件的特征輪廓信息，利用圖像特點，采用分步算法獲取焊縫路徑。

2 標準化工件的視覺宏觀定位

2.1 圖像處理流程

原始圖像采用雙色單目視覺圖像采集，通過固定相機與目標的距離，調(diào)節(jié)相機的焦距可以使圖像達到最清晰的要求，雙色光源可以適應(yīng)不同的操作環(huán)境，減少環(huán)境對圖像信息的影響。本研究以大型鍋爐管道連接件的焊接為對象來驗證視覺系統(tǒng)，CCD相機拍攝的原始圖像如圖2所示，該工件上下為管道，中間U型工件為連接件，U型工件的下邊緣為焊縫，焊縫上已有一個點焊點，最終的焊縫應(yīng)覆蓋該點焊點。

圖2 實驗原始圖像Fig.2 Experiment original drawing

具體圖像處理流程主要步驟為：顏色模型轉(zhuǎn)換→空間閾值分割→連通域求取→目標識別→焊縫路徑獲取。

2.2 顏色模型轉(zhuǎn)換

對于圖像信息而言，顏色差異和邊界是工件與背景圖像最直接的區(qū)別，因此通過顏色分量的提取可以簡化目標物的識別以及從復(fù)雜場景中提取目標。將原始圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，使目標識別排除光照引起的噪聲和干擾以達到最理想效果。

每一種顏色都是以色調(diào)（Hue，簡H）、飽和度（Saturation，簡 S）和明度（Value，簡 V）來表示的。

顏色從RGB到HSV轉(zhuǎn)換為非線性變換，其轉(zhuǎn)換關(guān)系為[7]

對原彩色圖像顏色模型轉(zhuǎn)換后各分量結(jié)果如圖3所示。

HSV顏色模型中，H分量工件輪廓與背景具有明顯梯度，S分量工件左側(cè)輪廓與背景幾乎融為一體，V分量焊縫特征明顯。綜上分析，本研究選用H分量和V分量。

2.3 HSV空間閾值分割

圖像閾值化分割是一種最常用、最簡單的圖像分割方法，其基本原理是：設(shè)定一個閾值，循環(huán)圖像中的每一個像素點的值和閾值進行比較，當(dāng)像素點灰度值或彩色值大于閾值時則置為1，小于閾值時則置于0。在實際應(yīng)用中，圖像分割后的效果取決于閾值的選擇，有關(guān)閾值的設(shè)定與選取目前有固定閾值分割法、Otsu分割法、迭代閾值法、灰度直方圖熵法。由于本研究采用雙色光源獲得原始圖像，轉(zhuǎn)換到HSV空間后顏色特征已知，所以采用固定閾值分割法。對轉(zhuǎn)換到HSV空間圖像的H分量和V分量進行空間閾值分割，分割后效果如圖4所示。

由經(jīng)過閾值分割后的圖像可知，二值化后的圖像已經(jīng)明顯得到目標區(qū)域（U形）且特征十分明顯。但要準確識別出目標，還需去除雜點以及非目標區(qū)域。

2.4 連通區(qū)域及分析

圖3 HSV顏色空間圖像Fig.3 HSV color space image

圖4 閾值分割結(jié)果Fig.4 Threshold segmentation results

連通區(qū)域（Connected Component）一般是指圖像中具有相同像素值且位置相鄰的前景像素點組成的圖像區(qū)域（Region，Blob）。從視覺上看，彼此連通的點形成一個區(qū)域，而不連通的點形成不同的區(qū)域。這樣一個所有的彼此連通的點構(gòu)成的集合稱為一個連通區(qū)域。連通區(qū)域分析（Connected Component-Analysis，Connected Component Labeling）是指找出并標記圖像中的各個連通區(qū)域。由于需要將目標提取出來以便后續(xù)處理，所以要對閾值分割后的圖像進行連通域求取。形態(tài)學(xué)處理可剔除圖像中感興趣區(qū)域外的冗余形態(tài)結(jié)構(gòu)，從而達到簡化圖像數(shù)據(jù)、保持圖像基本形態(tài)特征等優(yōu)點，主要用于解決噪聲濾除、邊緣檢測、特征提取、圖像分割以及圖像恢復(fù)與重建等圖像處理問題。

防止因噪聲影響導(dǎo)致不同連通域出現(xiàn)連接等問題，可以利用開運算對圖像進行處理。連通域求取結(jié)果如圖5所示。

圖5 求取連通域Fig.5 Find the connected domain

由圖5可知，標準化目標所在連通區(qū)域面積較大，通過標準計算，可獲得目標連通區(qū)域的面積范圍，通過所有連通區(qū)域與所求面積范圍的對比，篩選出在此面積范圍內(nèi)的連通區(qū)域，篩選結(jié)果如圖6所示，白色區(qū)域為連通區(qū)域。

圖6 面積篩選后連通域Fig.6 Area after the filter to connect the domain

由圖6可知，篩選結(jié)果較為理想，干擾連通區(qū)域形狀不規(guī)則，而目標區(qū)域形狀特征明顯。

2.5 目標識別

基于標準化工件特點，利用形狀特征作為目標識別的信息，擊中擊不中變換是形態(tài)學(xué)中用來檢測形狀的一個基本工具，本研究利用其內(nèi)外匹配的思想，將所求連通域與自構(gòu)二值化模板進行“與”操作，計算匹配程度。為防止干擾連通域面積較大，導(dǎo)致目標匹配錯誤，將連通域與模板進行取“反”操作，將背景作為匹配目標，計算匹配度，以此類推，記錄所有連通區(qū)域的匹配結(jié)果，選擇其中“與”操作和取“反”操作后，找出匹配度最大的連通區(qū)域并標記，則此連通區(qū)域為目標工件，識別結(jié)果如圖7所示。

由圖7可知，目標定位準確，符合識別要求。因此，在目標位置確定后，可進一步進行焊縫路徑識別與定位。

圖7 目標識別Fig.7 Target Recognition

3 焊縫的精確定位

在工件識別且定位的基礎(chǔ)上去識別焊縫的路徑與起始點可降低工作量，提高速度。將工件左、下邊界線的交點作為焊縫起始點，右、下邊界線的交點作為結(jié)束點，在起始點、結(jié)束點求取前必須擬合出工件的邊界線。由于工件為標準工件，則過起始點與結(jié)束點的直線路徑為焊縫路徑。邊界線的擬合要求準確提取出工件的邊緣。利用Canny算子檢測工件邊緣，Hough變換將邊緣擬合成邊界線。

3.1 Canny算子檢測邊緣

（1）Canny邊緣檢測基本原理。

圖像邊緣檢測必須滿足兩個條件：一是能有效地抑制噪聲；二是必須盡量精確確定邊緣位置。根據(jù)對信噪比與定位乘積進行測度，得到最優(yōu)化逼近算子，即Canny邊緣檢測算子。

（2）Canny邊緣檢測算法。

首先用高斯濾波器平滑圖像；用一階偏導(dǎo)的有限差分來計算梯度的幅值和方向；對梯度幅值進行非極大值抑制；最后用雙閾值算法檢測和連接邊緣。

對H分量使用Canny算子后效果如圖8所示，檢測到邊界特征點。

圖8 Canny算子檢測邊緣Fig.8 Canny operator detects edges

3.2 分區(qū)Hough變換檢測直線

通過Canny算子檢測邊緣，為減小誤差，選擇數(shù)量最多的邊界特征像素擬合成的直線作為工件的邊界。

Hough變換是圖像處理中的一種特征提取技術(shù)，經(jīng)典Hough變換用來檢測直線。其原理是運用兩個坐標空間之間的變換在一個空間中具有相同形狀的直線映射到另一個坐標空間的一個點上形成峰值，從而將檢測直線轉(zhuǎn)化為統(tǒng)計峰值問題。

在圖像xy坐標空間中，經(jīng)過點（xi，yi）的直線表示為

式中a為斜率；b為截距。通過點（xi，yi）的直線有無數(shù)條，且對應(yīng)不同的斜率和截距。如果將xi和yi視為常數(shù)，而將原本的參數(shù)看作變量，則式（1）可表示為

這樣就變換到了參數(shù)平面a-b，該變換就是直角坐標系中對于點（xi，yi）的Hough變換。該直線是圖像坐標空間中的點（xi，yi）在參數(shù)空間的唯一方程?？紤]到圖像坐標空間中的直線如果接近豎直方向，則會因a值接近無窮大而增大計算量，因此使用直線的極坐標方程來表示直線，其方程為

反之，在參數(shù)空間相交于同一點的所有直線，在圖像坐標空間都有共線的點與之對應(yīng)。根據(jù)此特性，基于焊接工件宏觀定位的基礎(chǔ)上，對邊緣檢測后的圖像進行分區(qū)Hough變換，具體方法為：在目標識別（見圖7）標記的左下角范圍內(nèi)對邊緣檢測后的圖像進行Hough直線擬合；同理，在右下角進行同樣擬合；在標記的下邊界范圍內(nèi)進行Hough變換直線擬合，進而確定焊縫路徑的精確位置。

為便于觀察，將焊縫路徑經(jīng)Hough變換后邊界擬合用加粗線表示在HSV顏色空間的H分量圖像上，效果如圖9所示。

圖9 Hough變換效果Fig.9 Hough transform renderings

圖9中粗線部分為找到的邊界線，左側(cè)兩相交直線的方程聯(lián)立可求得交點的坐標作為焊接路徑的起點，同理可獲得右側(cè)交點位置作為焊接路徑的結(jié)束位置。

本研究未對焊縫的深度方向位置進行定位，可借助于圖像的放縮比例得到，更精確的深度方向位置定位可以采用激光結(jié)構(gòu)光視覺的方法獲得，該方法不在此論述。

4 結(jié)論

針對焊接工件與背景特征不明顯，基于機器視覺獲取原始圖像，并對其進行圖像處理算法研究。

（1）為增加焊接工件在復(fù)雜背景信息中的邊界特征信息，設(shè)計采用雙色主動光源，提高了目標工件和背景以及焊縫的識別度。

（2）針對雙色光源工件圖像，將圖像轉(zhuǎn)換至HSV空間，在色調(diào)域和明度域進行進行閾值分割，提高閾值分割的可靠性。

（3）針對標準化焊接工件的特征，參考擊中擊不中運算的算法思想，設(shè)計基于二值化圖像的目標匹配算法，通過目標與背景的雙重形狀匹配，可以準確地提取出工件對象。

（4）通過Canny邊緣檢測算子，可以準確地提取出工件的邊緣，采用分區(qū)Hough變換準確地找到了焊縫的位置，同時找到了工件的左右邊界，然后通過求邊界交點的方法，準確找到了焊縫的起始位置和終止位置。采用工件宏觀識別，然后在局部分區(qū)進行Hough變換的方法減少了對直線識別的步驟，提高了算法的可靠性。

[1]柳倩，桂建軍，楊小薇，等.工業(yè)機器人傳感控制技術(shù)研究現(xiàn)狀及發(fā)展態(tài)勢——基于專利文獻計量分析視角[J].機器人，2016，38（5）：612-620.

[2]陳善本，林濤.智能化焊接機器人技術(shù)[M].北京：機械工業(yè)出版社，2006.

[3]董曉雨.機器人焊接工裝的即插即用控制技術(shù)的研究[D].上海：上海交通大學(xué)，2008：6.

[4]Qian B F，Ma X P.Automatic control of the electric cross sliding welding based on VC++[J].Applied Mechanics&Materials，2014（666）：179-183.

[5]Ambroza P，Bockus S，Kavaliauskiene L.Formation of build-up layers microstructure by arc automatic overlay welding using secondary raw material powders[J].Archives of Metallurgy and Materials，2013，58（2）：549-553.

[6]陽軍軍.基于激光視覺的焊縫定位系統(tǒng)開發(fā)[D].深圳：深圳大學(xué)，2016：22-34.

[7]吳佳藝.基于機器視覺的農(nóng)林環(huán)境導(dǎo)航路徑生成算法研究[D].杭州：浙江工業(yè)大學(xué)，2009.