基于激光單目視覺系統(tǒng)的焊縫提取

岳建鋒，杜博宇，王天琪，李亮玉

（天津工業(yè)大學(xué)天津市現(xiàn)代機(jī)電裝備技術(shù)重點實驗室，天津300387）

基于激光單目視覺系統(tǒng)的焊縫提取

岳建鋒，杜博宇，王天琪，李亮玉

（天津工業(yè)大學(xué)天津市現(xiàn)代機(jī)電裝備技術(shù)重點實驗室，天津300387）

將激光單目視覺傳感器固定在ABB機(jī)器人上組成視覺系統(tǒng)，用Matlab標(biāo)定工具箱實現(xiàn)了對攝像機(jī)參數(shù)的高精度標(biāo)定，與機(jī)器人示教器結(jié)合對機(jī)器人進(jìn)行了手眼標(biāo)定；利用視覺系統(tǒng)采集焊縫圖像，對獲得的圖像進(jìn)行圖像處理和特征分析，并提取計算機(jī)圖像平面上焊縫特征點的圖像坐標(biāo).根據(jù)攝像機(jī)內(nèi)外參數(shù)、機(jī)器人的手眼關(guān)系以及焊縫的特點提出一種簡便的方法將二維平面坐標(biāo)轉(zhuǎn)化為三維坐標(biāo)，用Solidworks還原出焊縫的三維模型，提取焊縫中心線信息進(jìn)行焊接實驗，結(jié)果表明焊接精度滿足實際要求.

激光視覺；單目視覺；圖像處理；視覺標(biāo)定；焊縫提取

隨著工業(yè)自動化技術(shù)的不斷發(fā)展，目前機(jī)器人在焊接領(lǐng)域得到越來越廣泛的應(yīng)用.在惡劣的工作條件下，機(jī)器人可以替代人進(jìn)行焊接操作，大大降低了勞動成本，提高了勞動生產(chǎn)率.目前的工業(yè)機(jī)器人雖然裝備了一些傳感器用來感知周圍環(huán)境以提高其適應(yīng)性，但是在工業(yè)生產(chǎn)中，工作方式主要還是人工示教再現(xiàn).操作者需要預(yù)先通過示教方式來規(guī)劃機(jī)器人的路徑和位姿.對于復(fù)雜的焊接工件，示教點較多，需要進(jìn)行較長時間的示教工作.對于單件或混合產(chǎn)品的批量生產(chǎn)過程，需要進(jìn)行反復(fù)的示教工作，且機(jī)器人的運動精度，基本上取決于編程人員在示教時的耐心程度和目測精度，不能滿足柔性化焊接需求.因而研究焊縫結(jié)構(gòu)和參數(shù)自動識別的焊接自動化技術(shù)是十分必要的[1-2].

目前，在焊接自動化方面所采用的傳感方法有機(jī)械式、電弧式、電磁式、超聲波式和視覺式等.其中，視覺式傳感具有信息量大、靈敏度和測量精度高、抗電磁場干擾能力強(qiáng)、非接觸等優(yōu)點而廣泛使用[3].本文采用條形激光和CCD組成視覺系統(tǒng)，以此系統(tǒng)為基礎(chǔ)提取焊縫坡口參數(shù)的特征并進(jìn)行焊接實驗.

1 系統(tǒng)構(gòu)成和原理

本系統(tǒng)由CCD攝像機(jī)、鏡頭、激光二極管和ABB機(jī)器人等組成.其中攝像機(jī)和激光二極管以一定角度安裝在ABB機(jī)器人機(jī)器臂上.激光二極管發(fā)出條形光投射到焊接工件上，發(fā)生相應(yīng)的變形并產(chǎn)生漫反射. CCD接收從工件上反射的條形光，通過圖像處理等環(huán)節(jié)，可得工件各特征點的相平面坐標(biāo).對視覺系統(tǒng)進(jìn)行標(biāo)定，可將坡口各特征點的相平面坐標(biāo)轉(zhuǎn)換得到世界坐標(biāo)，得到坡口的三維信息.將三維信息轉(zhuǎn)化為焊槍的位置和姿態(tài)參數(shù)，傳輸給機(jī)器人進(jìn)行焊接.其中ABB機(jī)器人重復(fù)定位精度為±0.11 mm.激光視覺傳感器結(jié)構(gòu)示意圖如圖1所示.

圖1 系統(tǒng)結(jié)構(gòu)示意圖Fig.1 Structural diagrams of system

2 視覺系統(tǒng)標(biāo)定

2.1 攝像機(jī)標(biāo)定

在計算機(jī)視覺中，為了從二維圖像中得到三維信息，攝像機(jī)標(biāo)定是必不可少的一步[4].攝像機(jī)標(biāo)定是獲得相機(jī)內(nèi)部參數(shù)和外部參數(shù)、建立圖像中像素坐標(biāo)與空間位置之間關(guān)系的過程[5].針孔模型中，只考慮攝像機(jī)的一階畸變，內(nèi)參的模型如式（1）：

式中：（Xf，Yf）為景物點在圖像平面上的坐標(biāo)；（fcx，fcy）為攝像機(jī)有效焦距；（cx，cy）為攝像機(jī)光心在圖像平面上坐標(biāo)；kc（1）為攝像機(jī)一階畸變系數(shù)；r為點至成像平面原點距離，r2=（Xu/f）2+（Yu/f）2；（X，Y，Z）為點在攝像機(jī)坐標(biāo)系下的坐標(biāo).外參模型如式（2）：

式（2）反映了攝像機(jī)坐標(biāo)系下的空間點（X，Y，Z）與世界坐標(biāo)系下的空間點（Xw，Yw，Zw）之間的關(guān)系；R為3×3的旋轉(zhuǎn)矩陣；T為3×1的平移矩陣.

本文采用基于平面模板的改進(jìn)兩步標(biāo)定法[6]，采用10×10的黑白棋盤作為平面標(biāo)定模板，讀入9幅圖像，以Matlab軟件作為平臺計算攝像機(jī)的內(nèi)部參數(shù)，標(biāo)定結(jié)果如表1所示.外參數(shù)隨著攝像機(jī)與標(biāo)定板位置關(guān)系不同而改變，9幅標(biāo)定圖片對應(yīng)9組不同的外參數(shù).

表1 攝像機(jī)內(nèi)部參數(shù)Tab.1 Camera′s intrinsic parameter

2.2 機(jī)器人手眼關(guān)系

要獲得計算機(jī)圖像平面上的點在世界坐標(biāo)系中的坐標(biāo)，必須獲得攝像機(jī)與機(jī)器人坐標(biāo)系間的關(guān)系，稱為手眼標(biāo)定[7].各坐標(biāo)系間關(guān)系如圖2所示.

圖2 坐標(biāo)系間關(guān)系Fig.2 Relationship between coordinate systems

圖2中，Base為機(jī)器人基坐標(biāo)系，TCP為機(jī)器人末端坐標(biāo)系，W為標(biāo)定板世界坐標(biāo)系，E為攝像機(jī)坐標(biāo)系.T6為Base和TCP間的變換，Tm為TCP和E間的變換，Tc為E和W間的變換，Tg為Base和W之間變換.T6、Tm、Tc、Tg構(gòu)成一個封閉解，由坐標(biāo)系間的關(guān)系，可得到式（3）：

采用ABB機(jī)器人，在機(jī)器人末端安裝焊槍后用五點法對工具坐標(biāo)系標(biāo)定，標(biāo)定完成后，機(jī)器人示教盒可以顯示出TCP在Base坐標(biāo)系下位姿，即T6.用三點法對其進(jìn)行工件坐標(biāo)系標(biāo)定，根據(jù)三點成面公式可以得到W和Base間的關(guān)系，即Tg.標(biāo)定攝像機(jī)的外部參數(shù)，得到攝像機(jī)坐標(biāo)系與標(biāo)靶坐標(biāo)系間的關(guān)系Tc，在攝像機(jī)標(biāo)定實驗中共取得外參9組.選取任意一組參數(shù)，代入式（3）可求得攝像機(jī)相對于機(jī)器人末端的參數(shù)Tm.經(jīng)計算，本系統(tǒng)中的手眼關(guān)系為[8]：

3 焊縫圖像的處理

為了準(zhǔn)確獲得焊縫特征信息，必須要對CCD采集到的焊縫圖像進(jìn)行處理，去除干擾信息提取激光條紋中心線，進(jìn)而提取焊縫特征點.以60°V型坡口焊件為例，采集焊縫圖像，圖像處理的基本流程如圖3所示，圖像處理結(jié)果如圖4所示.

圖3 圖像處理流程Fig.3 Image processing

圖4 圖像處理結(jié)果Fig.4 Result of image processing

濾波是減少圖像中噪聲的有用工具.中值濾波法是一種非線性平滑技術(shù)，它將每一像素點的灰度值設(shè)置為該點某領(lǐng)域窗口內(nèi)的所有像素點灰度值的中值.考慮到濾波效果和運算速度等因素，選用3×3矩形中值濾波器，用快速排序法搜索9個像素的灰度中值來替代當(dāng)前像素的灰度值.中值濾波效果圖如圖4（b）所示.經(jīng)過中值濾波的圖像包含不同級別的灰度值，閾值變換可以將一幅灰度圖像轉(zhuǎn)換成黑白二值圖像.在編程中必須根據(jù)圖像的統(tǒng)計分布性質(zhì)來選擇合適的閾值.目前有多種閾值選取方案，如微分直方圖法、雙峰法等.由于CCD采集到的原始圖像中激光帶的亮度很高，其灰度值接近于255，為了獲得更好的二值化圖像，可以適當(dāng)加大設(shè)定的閾值，將激光帶和背景很好的分離開，保留了激光帶的特征.二值化效果如圖4（c）所示.

經(jīng)過一系列處理得到的二值化圖像，對其進(jìn)行特征值提取仍比較困難，需要先對激光帶的中心線進(jìn)行提取.目前主要方法有2種：一種是對目標(biāo)圖像進(jìn)行邊緣檢測[9]，采用上下輪廓取平均法；另一種是采用中軸變化法直接進(jìn)行骨架提取[10].采用中軸變化法提取出的激光條紋中心線如圖4（d）所示.

對于焊縫中心線圖像，計算特征點方法如下：圖像上每一個點都是像素點，設(shè)激光條紋中心線點集為p{（xi，yi），i=1，2，...，n}，起點為（x0，y0），從起點開始搜索，對于第i列上的點，計算第i+M列上的中心點行坐標(biāo)與第i列上中心點行坐標(biāo)的差值，若這個差值大于給定閾值，則認(rèn)為到達(dá)了激光條紋的轉(zhuǎn)折點[11].為了便于觀察特征點，對激光條紋中心線進(jìn)行了反色處理.經(jīng)實驗發(fā)現(xiàn)，左右兩個拐點檢測效果較好，但是一些無關(guān)點也被檢測出.選取其中一次檢測結(jié)果如圖5所示，檢測出點坐標(biāo)如表2所示.

圖5 提取的數(shù)據(jù)點Fig.5 Data points

表2 數(shù)據(jù)點坐標(biāo)Tab.2 Data points′coordinates

用最小二乘法分別對檢測出的數(shù)據(jù)點做線性擬合，得到兩條段直線方程，求出兩直線交點即可得到特征b點坐標(biāo)，如圖6所示，a、b、c為3個拐點.

將特征點在計算機(jī)圖像中的坐標(biāo)和攝像機(jī)內(nèi)部參數(shù)分別代入式（1），可以得到過攝像機(jī)光心和特征點的直線在攝像機(jī)坐標(biāo)系下的方程，即：

此外，還需求得激光平面的方程才可解得特征點在攝像機(jī)下的坐標(biāo)（X，Y，Z）[12].由于激光平面方程求解較為復(fù)雜，在此提出一種簡單的求取特征點坐標(biāo)的方法.

圖6 特征點圖像坐標(biāo)Fig.6 Feature points′image coordinates

在獲取圖像過程中，操縱機(jī)器人使得攝像機(jī)Z坐標(biāo)軸與焊縫垂直且與工件距離不變，通過機(jī)器人示教盒讀取在TCP坐標(biāo)系下的坐標(biāo)，轉(zhuǎn)換為在攝像機(jī)坐標(biāo)系下的坐標(biāo)Z，代入直線方程（5），可求得特征點在攝像機(jī)坐標(biāo)系下的坐標(biāo).至此，圖像坐標(biāo)點與機(jī)器人基坐標(biāo)系空間點映射完成.

4 實驗驗證

將V型坡口焊件水平固定在工作臺上，操縱機(jī)器人末端沿著焊縫方向行走，每隔一定時間采集焊縫圖像，共采集3次.對每次采集的圖像進(jìn)行處理，得到V型坡口3個特征點的圖像坐標(biāo)，通過上述算法計算得到對應(yīng)特征點的世界坐標(biāo)值并通過示教得到特征點的實際坐標(biāo)，如表3所示.繪制出的特征點實際坐標(biāo)和計算坐標(biāo)如圖7所示.經(jīng)計算，特征點實際坐標(biāo)和計算坐標(biāo)在各坐標(biāo)軸上的誤差在±1.5 mm內(nèi).

表3 特征點坐標(biāo)的求取結(jié)果Tab.3 Feature points′coordinates

圖7 特征點的計算坐標(biāo)和實際坐標(biāo)Fig.7 Feature points′calculated coordinates and actual coordinates

根據(jù)坐標(biāo)點b數(shù)據(jù)，擬合焊縫中心線信息后進(jìn)行焊接實驗，用三維逆向軟件Image ware進(jìn)行線性擬合并分析誤差.計算得到的焊縫與實際焊縫直線偏差在1 mm內(nèi)，如圖8、圖9所示，焊接精度滿足要求.

圖8 兩條擬合線段誤差Fig.8 Error between two fitting lines

圖9 基于焊縫三維數(shù)據(jù)的焊接實驗Fig.9 Welding experiments based on 3D data of welding seam

5 結(jié)語

本文基于激光單目視覺系統(tǒng)，對以下幾方面的內(nèi)容進(jìn)行了研究：

（1）對攝像機(jī)進(jìn)行標(biāo)定實驗，確定攝像機(jī)內(nèi)外參數(shù)，提出一種簡單方法對機(jī)器人進(jìn)行手眼標(biāo)定.

（2）提取CCD獲取的激光條紋圖像的特征點.在消除圖像噪聲、閾值處理、輪廓提取等方法的基礎(chǔ)上，結(jié)合焊縫的特征對圖像進(jìn)行處理，獲取特征點的圖像坐標(biāo).

（3）由特征點圖像坐標(biāo)計算獲得特征點在世界坐標(biāo)系下的三維坐標(biāo)，并用三維繪圖軟件繪制出焊縫三維圖像并進(jìn)行了焊接實驗，滿足精度要求.

[1]SUN Yu，CAI Yong-tian.Market analysis galva-nized sheet and current situation of the technology development[J].AISC Techniques，2001（4）：12-18.

[2]TIAN J S，LIN Wu.A general algorithm of rotating/tilting positioner inverse kinematics for robotic arc welding off-line programming[J].J of Materials Science Technology，2001，17（1）：161-162.

[3]何方殿.用于電弧焊接的跟蹤傳感（上）[J].電焊機(jī)，1990（2）：4-9.

[4]何方殿.用于電弧焊接的跟蹤傳感（下）[J].電焊接，1990（3）：3-7.

[5]劉蘇宜，王國榮，石永華.激光視覺機(jī)器人焊接中攝像機(jī)和手眼的同時標(biāo)定[J].華南理工大學(xué)學(xué)報：自然科學(xué)版，2008，36（2）：74-77.

[6]BISHOP Bradley E，SPONG Mark W.Adaptive calibration and control of 2D monocular visual servo systems[J].Control Engineering Practice，1999（7）：423-430.

[7]毛劍飛，鄒細(xì)勇，諸靜.改進(jìn)的平面模板兩步法標(biāo)定攝像機(jī)[J].中國圖象圖形學(xué)報，2004，9（7）：846-852.

[8]楊廣林，孔令富，王潔.一種新的機(jī)器人手眼關(guān)系標(biāo)定方法[J].機(jī)器人，2006，28（4）：400-405.

[9]王卿，岳建鋒，楊方興，等.鍛壓線機(jī)器人的視覺標(biāo)定[J].天津工業(yè)大學(xué)學(xué)報，2014，33（2）：66-69.

[10]LIAO T Warren，LI Damin，LI Yueming.Extraction of welds from radiographic images using fuzzy classifiers[J].Information sciences，2000（126）：21-40.

[11]趙相賓，李亮玉，夏長亮，等.激光視覺焊縫跟蹤系統(tǒng)圖像處理[J].焊接學(xué)報，2006，27（12）：42-48.

[12]謝春暉.基于結(jié)構(gòu)光的焊縫視覺檢測技術(shù)研究[D].武漢：華中科技大學(xué)，2006.

[13]秦濤.基于結(jié)構(gòu)光視覺傳感器的焊縫實時跟蹤控制[D].上海：上海交通大學(xué)，2012.

Extraction of welding seam based on monocular vision of laser

YUE Jian-feng，DU Bo-yu，WANG Tian-qi，LI Liang-yu
（Tianjin City Key Laboratory of Modern Mechatronics Equipment Technology，Tianjin Polytechnic University，Tianjin 300387，China）

The vision system consists of monocular vision sensor of laser and ABB industrial robot.The camera is calibrated by calibration toolbox of Matlab with high precision.And robot hand-eye calibration is also finished.The welding seam images is captured by vision system，and the captured images are processed and analyzed.Subsequently，the feature points′image coordinate of welding seam are extracted.Then the feature points′world coordinate are also calculated by a simple arithmetic based on camera parameters，relationship of the eye-in-hand and characteristics of welding seam.According to the data，3D model of the welding seam is reconstructed and basing on the data of weld center line，welding experiments is done.The result shows that this method can meet the precision requirement.

laser vision；monocular vision；image processing；visual calibration；weld seam extraction

TQ409；TP391.41

A

1671－024X（2015）06－0084－05

10.3969/j.issn.1671-024x.2015.06.018

2015-09-29

國家自然科學(xué)基金資助項目（U1333128）；天津市科技計劃項目（14ZCDZGX00802）；天津市科技特派員項目（15JCTPJC58400）

岳建鋒（1973—），男，博士，副教授，碩士生導(dǎo)師，主要研究方向為焊接自動化.E-mail：billyue7303@sina.com